Dans le contexte de l'expansion de la téléphonie mobile et de l'Internet de l'année 2000, la conception de systèmes de transmission numériques sur fibre optique atteignant des capacités de l'ordre du terabit/s est envisagée par les équipementiers. Ce travail de thèse contribue à répondre à ce défi technologique, dans le cadre des systèmes terrestres utilisant la technique du multiplexage en longueur d'onde (WDM). Les solutions explorées consistent, premièrement en l'évolution du débit par canal de 10 Gbit/s à 40 Gbit/s puis en l'augmentation de la capacité d'information transmise par unité de bande passante optique jusqu'à 1.28 bit.s-1Hz-1. Les adaptations des systèmes sont préalablement analysées par simulations numériques offrant des règles d'ingénierie et des idées nouvelles puis les résultats de ces analyses sont concrétisés par des expériences de transmission démonstratives allant jusqu'à un multiplexage de 256 canaux à 40 Gbit/s soit une capacité totale de 10 Tbit/s.