Die Qualität maschineller Übersetzung
Post-Humane Literarische Übersetzung? Ein Kafka(esques) Beispiel

Post-Humane Literarische Übersetzung? Ein Kafka(esques) Beispiel
Wissen Maschinen, was sie tun? | Philippos Vassiliades | CC-BY-SA

Literaturübersetzer*innen verwenden Computer schon lange als grundlegendes Hilfsmittel, zum Beispiel in Form von Online-Wörterbüchern und -Korpora, aber ebenso sträuben sie sich schon lange gegen die Vorstellung, dass die Maschinenübersetzung (Machine Translation, oder MT) – oder selbst computergestützte Übersetzungstools wie Übersetzungsspeicher – beim literarischen Übersetzen eine wesentliche Rolle spielen können. Mit der rasanten Entwicklung der neuronalen Maschinenübersetzung räumen literarische Übersetzungwissenschaftler*innen (und in geringerem Maße auch die Literaturübersetzer*innen selbst) zunehmend ein, dass dieser Standpunkt unhaltbar ist. Ebenso wie Wirtschafts- und Technikübersetzer*innen erwarten sie, dass die Zukunft auch für Literaturübersetzer*innen Aufgaben in der Nachbearbeitung von maschinell erstellten Übersetzungen bringen wird. Manche Formen von literarischen Texten in einem eher einfachen Prosastil können Computer (in den gebräuchlichsten Sprachpaaren) schon jetzt recht gut übersetzen, und dieser Trend wird nur noch weiter zunehmen.

Wir unterschätzen auf eigenes Risiko, wie gut Computer heute tatsächlich schon sind und wie schnell sie sich entwickeln, doch haben sie noch einen weiten Weg vor sich, also ist dies ein guter Zeitpunkt für eine Bestandsaufnahme. Wie gut sind Computer gegenwärtig bei literarischen Übersetzungen?  Um eine Antwort auf diese Frage zu finden, stellte ich den heute führenden MT-Systemen die Aufgabe, eine englische Version eines der berühmtesten Sätze in der deutschen Sprache zu erstellen, den Anfang von Kafkas Erzählung „Die Verwandlung” (1915):

​Als Gregor Samsa eines Morgens aus unruhigen Träumen erwachte, fand er sich in seinem Bett zu einem ungeheueren Ungeziefer verwandelt.

Franz Kafka: „Die Verwandlung“ (1915)

Die Geschichte, die dieser Anfangssatz erzählt, ist natürlich höchst merkwürdig, aber in sprachlicher Hinsicht ist der Satz nichts Besonderes. Er ist grammatikalisch gut aufgebaut, nicht sehr lang oder kompliziert, und für den ahnungslosen MT-Motor birgt er wenige Fallstricke: Es ist unwahrscheinlich, dass „Gregor Samsa” nicht als Name erkannt wird, „eines Morgens” ist ein vollkommen üblicher temporaler Adverbialgenitiv, und so weiter. Im Wesentlichen ist die Bedeutung dieses Satzes vollkommen klar, obwohl Variationen und Unsicherheiten bezüglich der genauen Art von „ungeheuerem Ungeziefer”, in das Gregor verwandelt wurde, zu erwarten wären, denn Kafka lässt dies bewusst offen.
 
Wird dieser Satz in die kostenlos verfügbaren Online-MT-Systeme eingespeist, so ergibt sich ein erstaunlicher Grad der Übereinstimmung. Hier der Marktführer Google Translate:

Die Google-Translate-Version von Franz Kafkas „Die Verwandlung“ Die Google-Translate-Version von Franz Kafkas „Die Verwandlung“ | © Google Translate Diese Übersetzung ist identisch mit dem Ergebnis des schärfsten Konkurrenten von Google Translate, Microsoft (Bing) Translator sowie eines weiteren Big Players, Yandex Translate. Mit geringen Abweichungen in der Wortstellung stimmt sie außerdem überein mit dem Ergebnis von DeepL Translator und Reverso; PONS verändert die Wortfolge und ersetzt „restless“ durch „troubled“, ist sonst aber ebenfalls identisch. Es sollte betont werden, dass diese Vorschläge (abgefragt im Zeitraum Juni bis September 2020) nicht endgültig sind, da sich die Systeme dank Programmier-Upgrades und der Eingabe neuer Trainingsbeispiele, nicht zuletzt von Endbenutzer*innen, ständig weiterentwickeln. Dazu kommt, dass eine anscheinend geringfügige „Korrektur“ der Eingabe – wie die Anpassung der Schreibweise von Kafkas „ungeheueren“ an die Norm der Gegenwartssprache, „ungeheuren“, oder auch nur das Weglassen des Punktes am Satzende – einen erheblichen Einfluss auf das Ergebnis haben kann.

Manche der weniger verbreiteten Engines präsentieren interessante Wortvariationen: Bei SYSTRAN Translate wird Gregor zu einem „monstrous pest“, LingvaNex Translator verwandelt ihn in ein „tremendous vermin“, und noch immer bringen einige besonders schlechte Ausreißer den gesamten Prozess in Verruf. PROMT zerhackt die zweite Hälfte des Satzes:
PROMTs Übersetzung von Franz Kafkas „Die Verwandlung“ PROMTs Übersetzung von Franz Kafkas „Die Verwandlung“ | © PROMT Doch die Goldene Himbeere geht an die Demo des IBM Watson Language Translator:
Übersetzung des IBM Watson Language Translator von Franz Kafkas „Die Verwandlung“ Übersetzung des IBM Watson Language Translator von Franz Kafkas „Die Verwandlung“ | © IBM Watson Language Translator Es ist nun nicht zu erwarten, dass diese Machine-Translation-Motoren bei literarischen Beispielen besonders gut abschneiden, denn für die Arbeit mit dieser Materie sind sie nicht geschult, doch zum Glück sind solche Katastrophen heute die Ausnahme. Im Allgemeinen nähern sich diese MT-Motoren einer einzigen Lösung an, und diese ist akzeptabel.

Ungeziefer VS. INSEkten – ein echter Streitpunkt

Feinsinnige Leser*innen von Kafkas Deutsch beanstanden vielleicht, dass keine der Maschinen in der Lage war, den primären literarischen Effekt des Satzes, die dreifache Alliteration der negativen Vorsilben „unruhigen...ungeheueren...Ungeziefer“ wiederzugeben, aber dann ist die Übertragung dieses Effekts auch noch keinem/r menschlichen Übersetzer*in gelungen. In diesem ersten Satz passiert einfach zu viel, und der Effekt muss geopfert werden. Wie steht es mit „a vermin“? So wie ich könnte man beim ersten Blick auf dieses Ergebnis meinen, dass es sich eindeutig um einen Grammatikfehler handelt, der die unzureichende Kompetenz des Computers in der Zielsprache aufzeigt, denn „vermin“ ist kein zählbares Substantiv. Aber es stellt sich heraus, dass „a vermin“ dafür kein Erkennungsmerkmal ist, denn genau diese Lösung verwendet der amerikanische Übersetzer Stanley Corngold in seiner Bestseller-Version von 1972:

When Gregor Samsa woke up one morning from unsettling dreams, he found himself changed in his bed into a monstrous vermin.

Dieser Übertragung von Corngold schloss sich ein weiterer Humanübersetzer aus den USA an, Joachim Neugroschel. Wenn sie für etwas bezeichnend ist, dann anscheinend für einen Unterschied zwischen amerikanischem und britischem Englisch: Kafka-Übersetzer*innen in Großbritannien, die „vermin“ als Übersetzung für „Ungeziefer“ wählten, fühlten sich meist unwohl mit ihrer Verwendung als zählbares Substantiv und umschreiben sie lieber, wie Joyce Crick als „some kind of monstrous vermin“ oder John R. Williams als „a huge verminous insect“.
 
Sollte man bei Machine-Translation-Systemen eine Ausrichtung auf amerikanisches Englisch feststellen, wäre das keine große Überraschung. Eine kurze Prüfung der vielen von Menschen erstellten englischen Übersetzungen dieser Erzählung – publiziert auf beiden Seiten des Atlantiks – zeigt jedoch, dass die Lösungen der Humanübersetzer*innen sehr viel vielfältiger sind als die von Computersystemen. Die ersten Übersetzer, das schottische Ehepaar Edwin und Willa Muir, gaben „ungeheueres Ungeziefer“ als „a gigantic insect“ wieder, und neuere Versionen enthalten „a monstrous insect“ (Malcolm Pasley), „a monstrous cockroach“ (Michael Hofmann), „an enormous bedbug“ (Christopher Moncrieff) und „some sort of monstrous insect“ (Susan Bernofsky). Jede dieser Übersetzungen ist natürlich akzeptabel, und ihre reiche Vielfalt reflektiert die sehr unterschiedlichen kritischen Spekulationen darüber, was Kafka hier eigentlich ausdrücken will (Baddiel 2015; Gooderham 2015).

Vielfalt, Genauigkeit und Komplexität berücksichtigen

Die Art von Kreatur, in die sich Gregor Samsa verwandelt, ist die notorische Krux bei der Interpretation dieser Erzählung, doch ein Vergleich menschlicher Übersetzungen zeigt weitaus vielfältigere Versionen für jeden Schlüsselbegriff in Kafkas Anfangssatz als die der Machine Translation. Sind Gregors „unruhige“ Träume „uneasy“ (Muirs, Crick, Williams), „unsettling“ (Corngold), „troubled“ (Pasley, David Wyllie, Hofmann, Bernofsky), „agitated“ (Neugroschel), „anxious“ (Ian Johnston) oder „fitful“ (Moncrieff)? Jede Alternative ist grammatikalisch vertretbar, jede vermittelt „die Bedeutung“ (eine Bedeutung) von „unruhigen“, aber jede vermittelt auch eine etwas andere Nuance. Der wertvollste Aspekt vielfacher Neuübersetzungen eines Klassikers ist genau diese Art von Vielfalt: Aus diesem Grund kaufen und lesen wir immer wieder neue Übersetzungen und geben Verlage sie immer wieder in Auftrag. Zumindest im Moment scheint diese Vielfalt jedoch durch die MT-Systeme ausgehebelt zu werden, die auf eine bestimmte Form von akzeptabler Genauigkeit auf Basis eines gemeinsamen, letztendlich noch immer statistischen Modells abzielen, und dies führt dann zu der Art von Angleichung an eine einzige „sichere“ Lösung, wie man es in meinem kleinen Beispiel beobachten kann.
 
Man kann MT-Systemen kaum zum Vorwurf machen, dass sie den Schwerpunkt auf die genaue Übertragung von Quellinhalten setzen, denn dafür sind sie konzipiert, aber reine Information macht Literatur nicht zu dem, was sie ist. Bekanntlich argumentiert Walter Benjamin ja so, dass die primäre Aufgabe der (literarischen) Übersetzung eben nicht die Vermittlung von Information ist (Benjamin 2012, 75). Die gute Nachricht ist, dass Machine Translation ihre „Wildwestzeit“ hinter sich hat und ihr Genauigkeitsgrad in den letzten Jahren rapide gestiegen ist. MT-Entwickler*innen behaupten deshalb, dass in bestimmten begrenzten Bereichen und bei bestimmten Sprachpaaren die MT-Systeme die Parität mit menschlichen Übersetzer*innen erreicht (Linn 2018) oder sie sogar überholt haben (Popel et al. 2020). Solche Behauptungen muss man jedoch in die richtige Relation setzen und erkennen, dass „hochmoderne Systeme außer bei ganz spezifischen Übersetzungsaufgaben noch weit hinter der menschlichen Leistung zurückbleiben“ (Caswell & Liang 2020).

Und im Bereich literarische Übersetzung ist der Weg noch sehr weit (Toral & Way 2018; Matusev 2019; Fonteyne, Tezcan & Macken 2020; Mohar, Orthaber & Onič 2020) – tatsächlich ist hier die „menschliche Parität“ noch ein ferner Traum. MAchine Translation schnitt bei meinem Beispielsatz gut ab, aber jüngste Studien haben gezeigt, dass selbst die neueste MT-Software bei komplexeren literarischen Strukturen rasch ins Straucheln gerät (Läubli, Sennrich und Volk 2018). Schlüsselelemente des literarischen Stils wie die Erzählstimme sind für Machine-Translation-Systeme eine große Herausforderung (Taivalkoski-Shilov 2019a, Taivalkoski-Shilov 2019b, Kenny & Winters 2020). Wie Douglas Hofstadter aufzeigt (Hofstadter 2018), haben Übersetzungscomputer tatsächlich keinerlei Verständnis des Textes, den sie bearbeiten: Es fehlen ihnen Kenntnisse der realen Welt und die Fähigkeit, diese zu nutzen und zu interpretieren (also eine Lokalisierung anstatt bloßer Übersetzung zu erbringen). Zudem stellt man an literarische Übersetzungen auch höhere Ansprüche: Man möchte etwas lesen, das mehr als nur „akzeptabel“ oder „ganz gut“ ist.

Die Zukunft der Übersetzung

Die Kommentator*innen sind sich daher einig, dass „der Mensch wahrscheinlich noch viele Jahre lang die kritischste Komponente beim Übersetzungsablauf sein wird“ (Lumeras & Way 2017, 21), und dass „im Bereich Literatur [...,] Computer es zumindest noch etwas länger schwer haben werden, mit dem Menschen mitzuhalten“ (Polizzotti 2018, 46). Zwischenzeitlich ist zu erwarten, dass menschliche Literaturübersetzer*innen Computerhilfen in noch größerem Umfang nutzen werden, wie es bei ihren Cousinen und Cousins in Wirtschaft und Technik schon seit einiger Zeit der Fall ist (Youdale 2019). Die Zukunft des Übersetzens ist „teils menschlich, teils maschinell“ (Screen, 2017), wobei sich der Schwerpunkt selbst bei der Literaturübersetzung in Richtung menschlicher Nachbearbeitung von maschinell erstellten Übersetzungen verlagert. In der Welt der Humanübersetzung beauftragen Verlage schon lange professionelle Literaturübersetzer*innen mit der Produktion von “wörtlichen” Versionen literarischer Werke, damit bekannte Schriftsteller*innen, denen das Verständnis der Fremdsprache fehlt, diese in publizierbare Neuversionen aufarbeiten können. Ein Beispiel dafür aus jüngster Zeit ist Geoffrey Hills Übersetzung von Ibsens Peer Gynt and Brand (Ibsen 2017) für Penguin auf Basis von kommentierten wörtlichen Versionen der Schauspiele von Janet Garton bzw. Inga-Stina Ewbank. Machine Translation kann hoffen, in absehbarer Zeit zumindest diese Funktion des „Ghostübersetzens“ zu übernehmen und zu automatisieren.

Momentan ist noch nicht abzusehen, ob Computer letztendlich kreativer werden können. Einerseits warnt Hofstadter vor dem „ELIZA-Effekt“, wie er es nennt, wenn Computer menschlicher erscheinen, als sie es tatsächlich sind (Hofstadter 2018); andererseits ist Mark O’Thomas sehr viel optimistischer in Bezug auf eine transhumane Zukunft für die Literaturübersetzung:

Die Rolle der Literaturübersetzer*innen könnte irgendwann in den Bereich einer Software-Anwendung fallen, die sich das Übersetzungsgedächtnis einer bestimmten Person angeeignet hat. Selbst im Rahmen unserer gegenwärtigen Kenntnisse von und Erfahrungen mit Technologie ist eine Software, die den bevorzugten Wortschatz einer Person und dessen übliche Anwendungsweisen in mehr als einer Sprache übernimmt, ohne Weiteres denkbar. Durch das Mapping von diesen in einen Übersetzungsspeicher könnte die Software später Übersetzungen produzieren, die denen eines Übersetzers/einer Übersetzerin ähneln, und bietet zudem die Möglichkeit, Übersetzungen eines bestimmten Übersetzers/einer bestimmten Übersetzerin nach dessen oder deren Tod zu erstellen.

Mark O’Thomas (2017)

Abgesehen von solchen Blicken in die Glaskugel finde ich eine Frage interessanter: Welchen Unterschied würde es für menschliche Literaturübersetzer*innen machen, wenn die Veröffentlichung von MT-generierten Literaturübersetzungen mit einer nur leichten Nachbearbeitung, wie sie gegenwärtig bei den meisten von Menschen produzierten Übersetzungen erforderlich ist (die in diesem Kontext einzig relevante Definition der „menschlichen Parität“), tatsächlich möglich würde? Ganz gleich, wie schnell dies Realität werden könnte (und ob es tatsächlich überhaupt Realität werden kann), zahlt es sich in meinen Augen aus, die möglichen Konsequenzen einer solchen „Rebellion der Maschinen“ abzuwägen und Computern die Fähigkeit zuzutrauen, irgendwann einmal einen „Turing-Test“ im Literaturübersetzen zu bestehen.

Was wird aus menschlichen Übersetzer*innen im post-humanen Zeitalter der Literaturübersetzung?

Vom Standpunkt derjenigen, die literarische Übersetzungen in Auftrag geben und bezahlen (also Verlage), erscheint die vollautomatische, hochwertige Maschinenübersetzung literarischer Texte vielleicht wie eine Utopie. Ist dieses Stadium jedoch einmal erreicht, dann ist es zumindest fraglich, ob die hochmoderne Übersetzungssoftware, die nötig wäre, um Übersetzer*innen als „Mittler*innen“ auszuschalten, kostenlos verfügbar ist. Und es ist nur schwer vorstellbar, dass die Kontrollfunktion von Humanübersetzer*innen jemals vollkommen überflüssig wird, denn beim Vermeiden unerwünschter Verzerrungseffekte schneiden die MT-Algorithmen sehr schlecht ab (Marasligil 2016; Taivalkoski-Shilov 2019a). Vom Standpunkt der Konsument*innen literarischer Übersetzungen (Leser*innen) kann es nur ein Segen sein, wenn riesige Mengen Literatur erstmals in (automatisierter) Übersetzung verfügbar werden. Allerdings wird auch hier die Kontroll-/Posteditorenfunktion der HÜ kaum völlig verschwinden, denn solche Übersetzungen könnten mehr schaden als nützen, wenn sie qualitativ nicht gut genug sind, um sich angenehm zu lesen. Vom Standpunkt der Übersetzer*innen selbst hört man viel über computerbedingte Redundanz, aber gehen Übersetzer*innen wirklich den Weg des mittelalterlichen Kopisten? Die humanen Literaturübersetzer*innen werden ihre gegenwärtige Rolle nach und nach wohl größtenteils verlieren, aber dies bedeutet nicht automatisch Massenarbeitslosigkeit für Übersetzer*innen. Immerhin haben in einem Parallelfall die Bibliothekar*innen durch das Aufkommen der Informationstechnologie ihre Fähigkeiten erweitert und sich zu breiter aufgestellten Informationsexpert*innen gewandelt, und die Literaturübersetzer*innen könnten es ihnen sehr wohl gleichtun.
 
Es gibt viele zeitaufwendige menschliche Aktivitäten, die uns Computer heute ersparen, aber ich glaube nicht, dass wir die Literaturübersetzung zu einer von ihnen machen wollen. Zwar genießen wir die Vorzüge der posthumanen Literaturvervielfältigung (die Mühsal des mittelalterlichen Skriptoriums ist überholt im Zeitalter der Druckpresse, des Fotokopierers und der gescannten PDF-Datei), aber ich würde sagen, dass wir die posthumane Literaturübersetzung nicht wirklich haben wollen. Zum Einen ersetzen neue Technologien alte Gepflogenheiten niemals vollkommen. Die Erfindung des Fernsehens bedeutete nicht den Untergang des Radios; die Erfindung der CD war nicht das Todesurteil für die Schallplatte. Man könnte sich die zukünftige Rolle der Literaturübersetzer*innen ähnlich vorstellen wie die der Schachgroßmeister*innen im Zeitalter des Schach-Supercomputers. In vielerlei Hinsicht wurde Schach durch Computer praktisch „gelöst“: Fast ein Vierteljahrhundert ist vergangen, seitdem der Deep Blue von IBM den damaligen Weltmeister Garry Kasparov 1996 erstmals schlug. Die Kluft zwischen Computer und Mensch ist seither unerbittlich größer geworden, aber dennoch werden nach wie vor Weltmeisterschaften für menschliche Schachspieler*innen abgehalten (man kann von Schach noch immer leben), während Millionen von Amateur-Schachspieler*innen in aller Welt immer noch Freude am Spiel haben – und sich durch Spielen gegen Computer verbessern.
 
Selbst wenn – sowohl im konditionalen als auch zeitlichen Sinne des Wortes – die Literaturübersetzung von Computern „gelöst“ werden sollte, dann rechne ich fest damit, dass Menschen sie weiterhin praktizieren möchten – so wie es im Zeitalter des selbstfahrenden Autos solche geben wird, die noch gern selbst fahren, und so weiter. Humanübersetzer*innen werden nach wie vor Freude am Prozess wie auch am Produkt haben, und es wird auch Leser*innen geben, die Freude an humanübersetzten Produkten haben – die dann Premiumpreise erzielen werden, so wie handgeangelter Fisch im Zeitalter des Verarbeitungsschiffes oder ein handgebauter Aston Martin im Zeitalter des Industrieroboters. Die Literaturübersetzung wird weiterhin ein Ventil für den kreativen menschlichen Geist sein (Large 2018, 92–94) – und wenn Maschinen jemals versuchen sollten, auch diesen Aspekt der Humanübersetzung nachzubilden, dann ist das umso besser für alle.


References:

Baddiel, David (2015), “The Entomology of Gregor Samsa”.
 
Benjamin, Walter (2012), “The Translator’s Task”, trans. Steven Rendall, in Lawrence Venuti (ed.), The Translation Studies Reader, 3rd edn (London and New York: Routledge), 75–83.
 
Caswell, Isaac & Bowen Liang (2020), “Recent Advances in Google Translate”.
 
Fonteyne, Margot, Arda Tezcan&Lieve Macken (2020), “Literary Machine Translation under the Magnifying Glass: Assessing theQuality of an NMT-Translated Detective Novel on Document Level”, in Proceedings of the 12th Conference on Language Resources and Evaluation (LREC 2020), 3783–3791.
 
Gooderham, W.B.(2015), “Kafka’s Metamorphosis and its Mutations in Translation”, The Guardian, 13 May.
 
Hofstadter, Douglas (2018), “The Shallowness of Google Translate”, The Atlantic, 30 January.
 
Ibsen, Henrik (2017), Peer Gynt and Brand, trans. Geoffrey Hill (London: Penguin).
 
Kenny, Dorothy,&Marion Winters, “Machine Translation, Ethics and the Literary Translator’s Voice”, Translation Spaces, 9/1 (August 2020), 123-149.
 
Läubli, Samuel, Rico Sennrich & Martin Volk (2018), “Has Machine Translation Achieved Human Parity? A Case for Document-Level Evaluation”, in Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, 4791-4796, Brussels, Belgium, October-November. Association for Computational Linguistics.
 
Large, Duncan (2018), “Could Google Translate Shakespeare?”, In Other Words, 52 (Winter 2018/19), 79-94.
 
Lawson, Richard H. (1960),“Ungeheueres Ungeziefer in Kafka’s ‘Die Verwandlung’”, German Quarterly, 33/3 (May), 216-219.
 
Linn, Allison (2018), “Microsoft Rreaches a Historic Milestone, Using AI to Match Human Performance in Translating News from Chinese to English”, March 14.
 
Lumeras, Maite Aragonés,& Andy Way (2017), “On the Complementarity between Human Translators and Machine Translation”, Hermes, 56, 21-42.
 
Marasligil, Canan (2016), “Literary Translation Beyond Automation”, International Literature Showcase.
 
Matusov, Evgeny (2019), “The Challenges of Using Neural Machine Translation for Literature”, in Proceedings of the Qualities of Literary Machine Translation, 10–19, Dublin, Ireland, 19 August. European Association for Machine Translation.
 
Mohar, Tjaša,Sara Orthaber &Tomaž Onič (2020), “Machine Translated Atwood: Utopia or Dystopia?”, ELOPE: English Language Overseas Perspectives and Enquiries, 17/1, 125–141.
 
O’Thomas, Mark (2017), “Humanum ex machina: Translation in the Post-Global, Posthuman World”, Target, 29/2 (January), 284–300.
 
Polizzotti, Mark (2018), Sympathy for the Traitor: A Translation Manifesto (Cambridge, MA and London: MIT Press).
 
Popel, Martin et al. (2020), “Transforming Machine Translation: A Deep Learning System Reaches News Translation Quality Comparable to Human Professionals”, Nature Communications, 11/4381.
 
Screen, Ben (2017), “The Future of Translation is Part Human, Part Machine”, The Conversation, 11 July.
 
Taivalkoski-Shilov, Kristiina(2019a),“Ethical Issues Regarding Machine(-Assisted) Translation of Literary Texts”, Perspectives, 27/5, 689–703.
 
Taivalkoski-Shilov, Kristiina (2019b), “Free Indirect Discourse: An Insurmountable Challenge for Literary MTSystems?”, in Proceedings of The Qualities of Literary Machine Translation, 35–39,Dublin, Ireland, 19 August. European Association forMachine Translation.
 
Toral, Antonio, & Andy Way(2018), “What Level of Quality Can Neural Machine Translation Attain on Literary Text?”, in Joss Moorkens et al. (eds), Translation Quality Assessment: From Principles to Practice (Berlin and Heidelberg, Springer), 263-87.
 
Youdale, Roy (2019),“Computer-Aided Literary Translation: An Opportunity, Not a Threat”, In Other Words, 53 (Summer), 45–51.