Sunday, 05 July, 2020

ارزیابی ترجمه‌ی ماشینی


برای ارزیابی MT و اندازه‌گیری کفایت (adequacy) به مقایسه با جمله مرجع نیاز است. مفهوم کفایت می‌تواند با «چه مقدار از معنا در متن منبع در ترجمه بیان شده است؟» منطبق شود. جواب این پرسش یک مقیاس ۵-نقطه‌ای _All/_Most/_Much/_little/_None را به دست می‌دهد. در جایی که جمله مرجع در دسترس نباشد اندازه‌گیری کفایت به جمله‌ی مرجع ندارد، این نوع از ارزیابی به وسیله زبان‌شناس معتبر انجام می‌گیرد اما می‌تواند به وسیله متخصص آموزش‌دیده دوزبانه هم انجام پذیرد.

این نوع از ارزیابی هنگامی که می‌خواهید مطمئن شوید که محتوای ترجمه‌شده شما همان اطلاعات متن اصلی را می‌رساند، به کار برده می‌شود. یک ارزیابی گونه‌شناسی خطای کامل طوری که همه خطاها به صورت جامع شناسایی و دسته‌بندی شده باشند غیرممکن است. این مدل برای ارزیابی MT و به همین میزان انطباق برای ارزیابی کیفیت ترجمه انسانی به کار برده می‌شود.

کفایت: «چه مقدار از معنا در متن منبع در ترجمه بیان شده است؟»

روانی (Fluency): «ترجمه چه حدی خوش‌فرم دستوری است؟ شامل هجیِّ درست است؟ پایبند به کاربرد متداول اصطلاحات، عناوین و نام‌هاست؟ به طور مستقیم قابل قبول است و می‌تواند به عنوان گویشور بومی تلقی شود؟» «خوش‌فرمی ترجمه در زبان مقصد، بدون در نظر گرفتن معنای جمله.»

به ارزیاب‌ها همه محتوا (یا یک نمونه) برای سنجیدن روانی و کفایت داده می‌شود. ارزیابی می‌تواند در سطح سند باشد اما بهتر است در سطح قطعه segment باشد.

روش:

  • مقیاس‌ها:

این مقیاس توسط کنسرسیوم داده‌های زبان‌شناسی Linguistics Data Consortium معرفی شده است.

سطحکفایت   Adequacyروانی     Fluency
5AllFlawless
4MostGood
3MuchNon-native
2LittleDisfluent
1NoneIncomprehensible

هیچ نمونه یا دستورالعملی برای قضاوت ارزیاب نیست و فقط بستگی به دانش زبان‌شناسی و اطلاع ارزیاب از دو زبان مبدأ و مقصد دارد.

با توجه به این‌که تفاوت معنایی Much و Most چندان مشخص نیست و مبهم است برخی مقیاس  _All _ Much _ Half _ Little _ None را پیشنهاد می‌کنند.

در جدول‌های زیر ترجمه‌ی ماشینی گوگل‌ترنسلیشن و ترگمان ارزیابی می‌شود.

  1. Sentence # 1
original textIn the context of MT evaluation, the measurement of ‘adequacy’ requires comparison with a reference sentence.
Referenceدر زمینه ارزیابی MT، ارزیابی کفایت به مقایسه با جمله مرجع نیاز دارد.
googleدر زمینه ارزیابی MT، اندازه گیری کفایت نیاز به مقایسه با یک جمله مرجع است.
targomanدر زمینه ترجمه ماشینی ارزیابی، اندازه‌گیری ” کفایت ” نیازمند مقایسه با یک مرجع محکوم شده است.
  1. Sentence # 2
original textThe fourth article discusses discourse analytic research in the area of workplace and organization studies.
Referenceمقاله چهارم درباره پژوهش تحلیلی گفتمان‌ در حوزه مطالعات محل کار و سازمان بحث می‌کند.
googleچهارمین مقاله مورد بحث گفتمان تحقیق تحلیلی در حوزه مطالعات محل کار و سازمان است.
targomanاین مقاله ی چهارم گفتمان درباره تحقیقات تحلیلی در این ناحیه از محل کار و مطالعات سازمانی .
  1. Sentence # 3
original textPoirot will abandon the investigation after lunch.
Referenceپوآرو تحقیقات را بعد از ناهار رها خواهد کرد.
googleپوارو به تحقیقات بعد از ناهار را رها کند.
targomanPoirot را رها خواهد کرد تحقیقات بعد از ناهار.
  1. Sentence #4
original textIt surprised me that the pig had been stolen.
Referenceدزدیده‌ شدن خوک مرا شگفت‌زده کرد. / شگفت‌زده شدم که خوک دزدیده شده است.
googleاین مرا شگفت زده کرد که خوک دزدیده شده است.
targomanاین مرا متعجب که پیگ دزدیده شده است.
  1. Sentence #5
original textHe believes the taxi driver innocent.
Referenceاو معتقد است راننده تاکسی بی‌گناه است.
googleاو معتقد است راننده تاکسی بی گناه است.
targomanاو معتقد است که راننده تاکسی بی‌گناه.
  1. Sentence #6
original textLexical information is syntactically represented.
Referenceاطلاعات واژگانی به صورت نحوی نشان‌ داده شده است.
googleاطلاعات واژگانی است که از لحاظ دستوری، بیان کرد.
targomanاطلاعات لیکسیکال نظر نحوی است .
  1. Sentence #7
original textEach theta role is assigned to one and only one argument.
Referenceهر نقش تتا به یک و تنها یک موضوع اختصاص داده شده است.
googleهر نقش تتا است به یک و تنها یک آرگومان اختصاص داده است.
targomanهر یک به یک نقش تتا اختصاص داده شده است و تنها یک استدلال.
  1. Sentence #8
original textI waved my magic wand and turned her into a duck.
Referenceمن عصای جادویی‌ام را تکان دادم و او را به یک اردک تبدیل کردم.
googleمن دست تکان دادند گرز جادویی من و او را به یک اردک تبدیل شده است.
targomanمن چوب جادو تکان دادم و او را به یک اردک .
  1. Sentence #9
original textOne of the unsung successes in standardization in computer science has been the regular expression (RE), a language for specifying text search strings.
Referenceیکی از موفقیت‌های گمنام در استانداردسازی علم کامپیوتر عبارت منظم (RE)، زبانی برای تشخیص رشته‌های جستجوی متن، بوده است.
googleیکی از موفقیت های گمنام در استاندارد در علوم کامپیوتر است عبارت منظم (RE)، یک زبان برای مشخص کردن رشته جستجو در متن بوده است.
targomanیکی از موفقیت‌های گمنام در استانداردسازی در علوم کامپیوتر حالت عادی بوده است ( RE )، یک جستجوی متن زبان برای مشخص کردن .
  1. Sentence #10
original textState 4 is the final state or accepting state, which we represent by the double circle.
Referenceموقعیت ۴ موقعیت نهایی یا موقعیت پذیرش است که ما [آن را] با دایره دوگانه نشان می‌دهیم.
googleدولت ۴ حالت نهایی و یا پذیرش دولت، که ما توسط این دایره دو برابر نشان دهنده است.
targoman۴ دولتی است یا پذیرش نهایی ما نماینده کشور، که توسط دو دایره کشید.

کفایت (Adequacy):

googletargoman
جمله ۱allall
جمله ۲mostmuch
جمله ۳mostmost
جمله ۴allmuch
جمله ۵allmost
جمله ۶muchnone
جمله ۷alllittle
جمله ۸mostmost
جمله ۹allmuch
جمله ۱۰littlenone

روانی (Fluency):

googletargoman
جمله ۱FlawlessNon-native
جمله ۲GoodNon-native
جمله ۳DisfluentDisfluent
جمله ۴GoodNon-native
جمله ۵FlawlessNon-native
جمله ۶Non-nativeIncomprehensible
جمله ۷GoodDisfluent
جمله ۸DisfluentNon-native
جمله ۹GoodDisfluent
جمله ۱۰IncomprehensibleIncomprehensible

استخراج ترجمه‌ها از google translation و targoman در تاریخ بیستم خردادماه ۱۳۹۶ انجام گرفته است.

0 comments on “ارزیابی ترجمه‌ی ماشینی

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *