Assessing Ai-powered Literary Translation Quality: Austen's “sense And Sensibility” As A Corpus

Abstract

This research explores the disparities between the quality of human and AI-powered translations of literary texts. It compares the output of ChatGPT3.5 into Arabic of passages from Austen’s “Pride and Prejudice”- translated without any pre-editing or postediting- to the reference translation by Amin Al-Sharif. It departs from a comprehensive analysis of the translations' linguistic, stylistic, semantic, and structural aspects. The subsequent BLEU Score measurement shows that the Human translation was better in style and conveying meaning. Moreover, although the AI- translation conserves the structure of the Source Text, it fails to produce a text that preserves the stylistic and semantic features of literary prose. Keywords: Literary translation, AI-Powered Machine Translation, Human translation, Quality assessment. Résumé : Cette article explore les disparités entre la qualité de la traduction humaine et celle générée par l’intelligence artificielle de textes littéraires. L’étude compare la sortie de ChatGPT3.5 en arabe de passages choisis du roman de Jane Austen « Pride and Prejudice » et traduits sans aucune préédition ni postédition, à la traduction référence par Amin Al-Sharif. A la suite d’une analyse globale des aspects linguistiques, stylistiques, sémantiques et structurels des traductions, les phrases sélectionnées ont été ensuite soumises à une évaluation automatique à l’aide du BELU score. Les résultats de cette dernière analyse indiquent que la traduction humaine était meilleure en termes de style et de transfert de sens. De plus, bien que la traduction générée à l’aide de l’IA conserve la structure du texte source, elle ne parvient pas à produire un texte qui préserve les caractéristiques stylistiques et sémantiques de la prose littéraire. Mots clés : Traduction littéraire, traduction automatique par l'IA, traduction humaine, évaluation de la qualité