Alignment-based neural networks for machine translation

• Alignierung-basierte neuronale Netze für maschinelle Übersetzung

Alkhouli, Tamer Ahmed Najeb; Ney, Hermann (Thesis advisor); Sima'an, Khalil (Thesis advisor)

Aachen (2020)
Doktorarbeit

Dissertation, RWTH Aachen University, 2020

Kurzfassung

Nachdem phrasenbasierte Systeme das Gebiet der maschinellen Übersetzung über ein Jahrzehnt dominieret haben, hat neuronale maschinelle Übersetzung ab 2014 zum neuen Paradigma der maschinellen Übersetzung entwickelt. Neuronale maschinelle Übersetzung zeigt nicht nur eine überlegene Leistung im Vergleich zu herkömmlichen phrasenbasierten Systemen, sondern stellt auch ein elegantes End-to-End-Modell dar, das komplexe Quell-Zielsatzabhängigkeiten erfasst ohne Zwischenschritte zu erfordern. Das macht ihre Anwendung sowohl aus praktischen als auch aus wissenschaftlichen Gründen ansprechend. Konzepte wie Wortalignierung sind bei neuronaler maschineller Übersetzung nicht mehr erforderlich. Obwohl das aufgrund der einfacheren Modellierungspipeline als Vorteil betrachtet werden kann, kann der Verzicht auf Wortalignierung zu einer weniger erklärbaren Übersetzung führen. Phrasenbasierte Systeme generieren Wortfolgen, die bereits in den Trainingsdaten vorhanden sind. Auf der anderen Seite, ist neuronale maschinelle Übersetzung flexibler, und kann Übersetzung von Wortfolgen ohne genaue Übereinstimmung mit den Trainingsdaten generieren. Dieser Aspekt ermächtigt neuronale Modelle fließendere Sätze zu generieren, und macht aber die Übersetzung unabhängig von vordefinierten Einschränkungen. Das Fehlen einer expliziten Wortalignierung erschwert die Rückverfolgung der generierten Übersetzung zu den entsprechnden Quellwörter. In einer Welt, in der immer mehr Produkte mit künstlicher Intelligenz zum Einsatz kommen und Algorithmen für mehr Entscheidungen verantwortlich sind, erfordert die Frage der Rechenschaftspflicht nachvollziehbare Modelle. Insbesondere bei maschineller Übersetzung möchte der Benutzer möglicherweise mehr Kontrolle, um bestimmte Übersetzungen durchzusetzen oder auszuschließen.Diese Dissertation soll einen Schritt in Richtung Nachvollziehbarkeit in neuronaler maschineller Übersetzung anzugehen. Wir führen die Alignierung als latente Variable in neuronale Netzwerkmodelle ein und beschreiben ein Alignierungsbasierten Rahmen für neuronale maschinelle Übersetzung. Die Modelle sind durch herkömmliche IBM und Hidden Markov Modelle inspiriert, die zur Generierung von Wortalignierung für phrasenbasierte Systeme verwendet werden. Unsere Modelle leiten sich jedoch von moderner neuronalen Netzwerkarchitekturen ab, die komplexe Abhängigkeiten erfassen können. In diesem Sinne kann diese Arbeit als Versuch angesehen werden, die Lücke zwischen konventioneller statistischer maschineller Übersetzung und neuronaler maschineller Übersetzung zu schließen. Wir zeigen, dass durch die explizite Verwendung von Wortalignierung die Leistung der neuronalen maschinellen Übersetzung erhalten bleibt, während die Modelle durch die Verbesserung der Alignierungsqualität nachvollziehbarer werden. Wir demonstrieren, dass solche verbesserte Alignierung in der Praxis von Nutzen sind, wenn die Benutzerin die generierte Übersetzung beeinflussen möchte.Wir führen auch rekurrente neuronale Netze in phrasenbasierte Systeme auf zwei Arten ein. Zum einen verwenden wir neuronale Netze, um bereits generierte Übersetzungen neu zu bewerten, zum zweitens benden wir die rekurrente Modelle direkt in die phrasenbasierte Suche ein.