ارزیابی ترجمه‌ی ماشینی

برای ارزیابی MT و اندازه‌گیری کفایت (adequacy) به مقایسه با جمله مرجع نیاز است. مفهوم کفایت می‌تواند با «چه مقدار از معنا در متن منبع در ترجمه بیان شده است؟» منطبق شود. جواب این پرسش یک مقیاس ۵-نقطه‌ای _All/_Most/_Much/_little/_None را به دست می‌دهد. در جایی که جمله مرجع در دسترس نباشد اندازه‌گیری کفایت به جمله‌ی مرجع ندارد، این نوع از ارزیابی به وسیله زبان‌شناس معتبر انجام می‌گیرد اما می‌تواند به وسیله متخصص آموزش‌دیده دوزبانه هم انجام پذیرد.

این نوع از ارزیابی هنگامی که می‌خواهید مطمئن شوید که محتوای ترجمه‌شده شما همان اطلاعات متن اصلی را می‌رساند، به کار برده می‌شود. یک ارزیابی گونه‌شناسی خطای کامل طوری که همه خطاها به صورت جامع شناسایی و دسته‌بندی شده باشند غیرممکن است. این مدل برای ارزیابی MT و به همین میزان انطباق برای ارزیابی کیفیت ترجمه انسانی به کار برده می‌شود.

کفایت: «چه مقدار از معنا در متن منبع در ترجمه بیان شده است؟»

روانی (Fluency): «ترجمه چه حدی خوش‌فرم دستوری است؟ شامل هجیِّ درست است؟ پایبند به کاربرد متداول اصطلاحات، عناوین و نام‌هاست؟ به طور مستقیم قابل قبول است و می‌تواند به عنوان گویشور بومی تلقی شود؟» «خوش‌فرمی ترجمه در زبان مقصد، بدون در نظر گرفتن معنای جمله.»

به ارزیاب‌ها همه محتوا (یا یک نمونه) برای سنجیدن روانی و کفایت داده می‌شود. ارزیابی می‌تواند در سطح سند باشد اما بهتر است در سطح قطعه segment باشد.

روش:

  • مقیاس‌ها:

این مقیاس توسط کنسرسیوم داده‌های زبان‌شناسی Linguistics Data Consortium معرفی شده است.

 

سطح کفایت   Adequacy روانی     Fluency
5 All Flawless
4 Most Good
3 Much Non-native
2 Little Disfluent
1 None Incomprehensible

 

هیچ نمونه یا دستورالعملی برای قضاوت ارزیاب نیست و فقط بستگی به دانش زبان‌شناسی و اطلاع ارزیاب از دو زبان مبدأ و مقصد دارد.

با توجه به این‌که تفاوت معنایی Much و Most چندان مشخص نیست و مبهم است برخی مقیاس  _All _ Much _ Half _ Little _ None را پیشنهاد می‌کنند.

در جدول‌های زیر ترجمه‌ی ماشینی گوگل‌ترنسلیشن و ترگمان ارزیابی می‌شود.

  1. Sentence # 1
original text In the context of MT evaluation, the measurement of ‘adequacy’ requires comparison with a reference sentence.
Reference در زمینه ارزیابی MT، ارزیابی کفایت به مقایسه با جمله مرجع نیاز دارد.
google در زمینه ارزیابی MT، اندازه گیری کفایت نیاز به مقایسه با یک جمله مرجع است.
targoman در زمینه ترجمه ماشینی ارزیابی، اندازه‌گیری ” کفایت ” نیازمند مقایسه با یک مرجع محکوم شده است.

 

  1. Sentence # 2
original text The fourth article discusses discourse analytic research in the area of workplace and organization studies.
Reference مقاله چهارم درباره پژوهش تحلیلی گفتمان‌ در حوزه مطالعات محل کار و سازمان بحث می‌کند.
google چهارمین مقاله مورد بحث گفتمان تحقیق تحلیلی در حوزه مطالعات محل کار و سازمان است.
targoman این مقاله ی چهارم گفتمان درباره تحقیقات تحلیلی در این ناحیه از محل کار و مطالعات سازمانی .

 

  1. Sentence # 3
original text Poirot will abandon the investigation after lunch.
Reference پوآرو تحقیقات را بعد از ناهار رها خواهد کرد.
google پوارو به تحقیقات بعد از ناهار را رها کند.
targoman Poirot را رها خواهد کرد تحقیقات بعد از ناهار.

 

  1. Sentence #4
original text It surprised me that the pig had been stolen.
Reference دزدیده‌ شدن خوک مرا شگفت‌زده کرد. / شگفت‌زده شدم که خوک دزدیده شده است.
google این مرا شگفت زده کرد که خوک دزدیده شده است.
targoman این مرا متعجب که پیگ دزدیده شده است.

 

  1. Sentence #5
original text He believes the taxi driver innocent.
Reference او معتقد است راننده تاکسی بی‌گناه است.
google او معتقد است راننده تاکسی بی گناه است.
targoman او معتقد است که راننده تاکسی بی‌گناه.

 

  1. Sentence #6
original text Lexical information is syntactically represented.
Reference اطلاعات واژگانی به صورت نحوی نشان‌ داده شده است.
google اطلاعات واژگانی است که از لحاظ دستوری، بیان کرد.
targoman اطلاعات لیکسیکال نظر نحوی است .

 

  1. Sentence #7
original text Each theta role is assigned to one and only one argument.
Reference هر نقش تتا به یک و تنها یک موضوع اختصاص داده شده است.
google هر نقش تتا است به یک و تنها یک آرگومان اختصاص داده است.
targoman هر یک به یک نقش تتا اختصاص داده شده است و تنها یک استدلال.

 

  1. Sentence #8
original text I waved my magic wand and turned her into a duck.
Reference من عصای جادویی‌ام را تکان دادم و او را به یک اردک تبدیل کردم.
google من دست تکان دادند گرز جادویی من و او را به یک اردک تبدیل شده است.
targoman من چوب جادو تکان دادم و او را به یک اردک .

 

  1. Sentence #9
original text One of the unsung successes in standardization in computer science has been the regular expression (RE), a language for specifying text search strings.
Reference یکی از موفقیت‌های گمنام در استانداردسازی علم کامپیوتر عبارت منظم (RE)، زبانی برای تشخیص رشته‌های جستجوی متن، بوده است.
google یکی از موفقیت های گمنام در استاندارد در علوم کامپیوتر است عبارت منظم (RE)، یک زبان برای مشخص کردن رشته جستجو در متن بوده است.
targoman یکی از موفقیت‌های گمنام در استانداردسازی در علوم کامپیوتر حالت عادی بوده است ( RE )، یک جستجوی متن زبان برای مشخص کردن .

 

  1. Sentence #10
original text State 4 is the final state or accepting state, which we represent by the double circle.
Reference موقعیت ۴ موقعیت نهایی یا موقعیت پذیرش است که ما [آن را] با دایره دوگانه نشان می‌دهیم.
google دولت ۴ حالت نهایی و یا پذیرش دولت، که ما توسط این دایره دو برابر نشان دهنده است.
targoman ۴ دولتی است یا پذیرش نهایی ما نماینده کشور، که توسط دو دایره کشید.

 

 

کفایت (Adequacy):

google targoman
جمله ۱ all all
جمله ۲ most much
جمله ۳ most most
جمله ۴ all much
جمله ۵ all most
جمله ۶ much none
جمله ۷ all little
جمله ۸ most most
جمله ۹ all much
جمله ۱۰ little none

 

روانی (Fluency):

google targoman
جمله ۱ Flawless Non-native
جمله ۲ Good Non-native
جمله ۳ Disfluent Disfluent
جمله ۴ Good Non-native
جمله ۵ Flawless Non-native
جمله ۶ Non-native Incomprehensible
جمله ۷ Good Disfluent
جمله ۸ Disfluent Non-native
جمله ۹ Good Disfluent
جمله ۱۰ Incomprehensible Incomprehensible

 

استخراج ترجمه‌ها از google translation و targoman در تاریخ بیستم خردادماه ۱۳۹۶ انجام گرفته است.

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *