Durch den rasant steigenden Bedarf an Übertragungskapazität, vor allem durch die wachsende Bedeutung des Internets, wird intensiv über eine Erhöhung der Kanaldatenrate in optischen Übertragungssystemen nachgedacht. In Zukunft soll die Kanaldatenrate der Ethernetkanäle von derzeit 10 Gbit/s auf 100 Gbit/s und mehr erhöht werden. Die Erhöhung der Kanaldatenrate hat zur Folge, dass bei der Übertragung limitierende lineare und nichtlineare Effekte berücksichtigt werden müssen.Durch den Einfluss der limitierenden Effekte bei höheren Datenraten, ist es notwendig geworden, bandbreiteneffizientere Methoden bei der Übertragung über die optische Glasfaser einzusetzen. Ein Ansatz zur Reduzierung der Signalbandbreite ist der Einsatz von mehrstufigen Modulationsformaten, wodurch der Einfluss bestimmter Effekte verringert werden kann. Eine weitere Möglichkeit, eine zuverlässige und robuste Übertragung zu realisieren, ist die Verwendung eines kohärenten Empfängers. Mit Hilfe eines solchen Empfängers in Kombination mit digitaler Signalverarbeitung ist es möglich, die Signalverzerrungen des optischen Kanals im Elektrischen zu entzerren. Die Kombination aus mehrstufigen Modulationsformaten mit kohärentem Empfang hat den Vorteil, dass der Empfängeraufbau für alle Modulationsformate der Gleiche ist. Für die Demodulation der mehrstufigen Modulationsformate muß nur die digitale Signalverarbeitung an das jeweilige Format angepasst werden. Aus diesem Grund wird in dieser Arbeit kohärenter Empfang in Kombination mit mehrstufigen Modulationsformaten betrachtet. Das Hauptaugenmerk liegt auf der Untersuchung und Optimierung wesentlicher Komponenten der digitalen Signalverarbeitung des kohärenten Empfängers.Eine der wesentlichen Komponenten der digitalen Signalverarbeitung ist die Trägerrückgewinnung. Diese Komponente wurde hinsichtlich des Einflusses von Laserphasenrauschen, ASE-Rauschen und Trägerfrequenzoffset untersucht. Eine weitere wesentliche Komponente der digitalen Signalverarbeitung ist die Entzerrung. Es wurden verschiedene Arten von Entzerrern hinsichtlich ihrer Dispersionstoleranz für die Modulationsformate RZ-QPSK, RZ-8PSK und Star-RZ-16QAM betrachtet.Das Hauptthema dieser Arbeit ist die Taktrückgewinnung. Es wurden zwei Ansätze untersucht. Zum einen die Taktrückgewinnung "Phasenregelkreis mit Gardner-Phasendetektor" und zum anderen eine vorwärtsgerichtete Taktrückgewinnung "Digitales Filter und Quadrierer". Beide Ansätze wurden hinsichtlich des Einflusses verschiedener Effekte auf dem Kanal und des Empfängers untersucht und optimiert. Zu den untersuchten Effekten gehören das Laser-phasenrauschen, der Trägerfrequenzoffset, chromatische Dispersion und Polarisationsmoden-dispersion erster und höherer Ordnung.