Дар арзёбии сифати тарҷумаи мошинӣ, на танҳо муқоиса кардани натиҷаҳои системаҳои гуногуни тарҷума, балки инчунин тафтиш кардан муҳим аст, ки оё фарқиятҳои пайдошуда аз ҷиҳати оморӣ муҳиманд. Ин ба мо имкон медиҳад, ки баҳо диҳем, ки оё натиҷаҳои бадастомада дурустанд ва онҳоро ба маълумоти дигар умумӣ кардан мумкин аст.
Дар ин мақола, мо ду нишондиҳандаи маъмултаринро барои арзёбии сифати тарҷума, BLEU ва COMET баррасӣ мекунем ва таҳлил мекунем, ки чӣ гуна аҳамияти омории фарқиятҳои байни ду системаи тарҷумаро бо истифода аз ин ченакҳо санҷед.
Аҳамияти омории BLEU ва COMET
Метрикаи BLEU (Таҳқиқоти арзёбии дузабона) сифати тарҷумаро тавассути муқоисаи n-граммаҳои матни тарҷумашуда бо n-граммаҳо дар тарҷумаи истинод (инсонӣ) арзёбӣ мекунад. Мувофиқи тадқиқоти “Бале, ба мо санҷиши аҳамияти оморӣ лозим аст, барои даъвои беҳбудии аз ҷиҳати оморӣ назаррас дар метрикаи BLEU нисбат ба кори қаблӣ, фарқият бояд аз 1.0 BLEU зиёдтар бошад. Агар мо такмили “-и хеле назаррасро ҳамчун ” p-арзиши “0.001< баррасӣ кунем, такмил бояд 2.0 нуқтаи BLEU ё бештар бошад.
Боз як метрикаи васеъ истифодашаванда, COMET (Метрики оптимизатсияшудаи кросслингвалӣ барои арзёбии тарҷума) модели омӯзиши мошинро барои арзёбии сифати тарҷума дар муқоиса бо тарҷумаи истинод истифода мебарад. Таҳқиқот нишон дод, ки фарқияти аз 1 то 4 хол метавонад аз ҷиҳати оморӣ ночиз бошад, яъне дар доираи хатогӣ. Ҳатто фарқияти холҳои 4.0 COMET метавонад ночиз бошад.
Ин натиҷаҳо барои таҳиягарони системаҳои тарҷумаи мошинӣ таъсири муҳими амалӣ доранд. Танҳо муқоисаи ченакҳои ададӣ метавонад ба хулосаҳои бардурӯғ дар бораи беҳтар шудани сифати тарҷума оварда расонад. Ба ҷои ин, санҷишҳои оморӣ бояд барои муайян кардани он, ки фарқиятҳои мушоҳидашуда воқеан маъно доранд ё не.
Интихоби метрик барои муқоисаи системаҳои тарҷума
Дар мақолаи “Ба киштӣ ё на ба киштӣ: Арзёбии васеъи метрикаи автоматӣ барои тарҷумаи мошин, муҳаққиқон аз Microsoft таҳқиқ карданд, ки кадом метрика барои арзёбии сифати тарҷумаи мошин бо арзёбии тарҷумонҳои касбӣ беҳтар алоқаманд аст. Барои ин онхо тачрибаи зеринро гузаронданд.
Тарҷумонҳои касбӣ, ки забони мавриди ҳадафро хуб медонанд, аввал матнро бидуни таҳрири баъдӣ дастӣ тарҷума карданд ва сипас тарҷумони мустақил сифати ин тарҷумаҳоро тасдиқ кард. Тарҷумонҳо контекстро аз ҷумлаҳои дигар диданд, вале ҷумлаҳоро алоҳида тарҷума карданд.
Тибқи натиҷаҳои ин таҳқиқот, метрикаи COMET, ки тарҷумаро дар асоси варианти истинод арзёбӣ мекунад, дар муқоиса бо арзёбии тарҷумонҳои касбӣ таносуб ва дақиқии баландтаринро нишон дод.
Муаллифони мақола инчунин омӯхтаанд, ки кадом метрик ҳангоми муқоисаи сифати системаҳои гуногуни тарҷумаи мошинӣ дақиқии баландтарин медиҳад. Тибқи бозёфтҳои онҳо, COMET дақиқтарин ченак барои муқоисаи системаҳои тарҷума бо ҳамдигар мебошад.
Барои санҷидани аҳамияти омории фарқиятҳои байни натиҷаҳо, муаллифон равишеро, ки дар мақолаи “Санҷишҳои аҳамияти оморӣ барои арзёбии тарҷумаи мошин тавсиф шудаанд, истифода бурданд.
Маълум аст, ки метрикаи COMET воситаи боэътимодтарин барои арзёбии сифати тарҷумаи мошинӣ ҳам ҳангоми муқоисаи он бо тарҷумаи инсон ва ҳам ҳангоми муқоисаи системаҳои гуногуни тарҷума бо ҳамдигар мебошад. Хулоса барои таҳиягарони системаҳои тарҷумаи мошинӣ муҳим аст, ки бояд кори моделҳои худро объективӣ арзёбӣ ва муқоиса кунанд.
Санҷиши аҳамияти оморӣ
Боварӣ ҳосил кардан муҳим аст, ки фарқиятҳои мушоҳидашуда байни системаҳои тарҷума аз ҷиҳати оморӣ муҳиманд, яъне бо эҳтимолияти баланди он, ки онҳо натиҷаи омилҳои тасодуфӣ нестанд. Бо ин мақсад, Филипп Коен пешниҳод мекунад, ки усули bootstrap дар худ истифода шавад моддаи “Санҷишҳои аҳамияти оморӣ барои арзёбии тарҷумаи мошинІН.
Усули аз нав намунагирии bootstrap як тартиби оморӣ мебошад, ки ба интихоб бо ивазкунӣ барои муайян кардани дақиқии (ғаразнок) баҳодиҳии намунавии дисперсия, миёна, инҳирофи стандартӣ, фосилаҳои эътимод ва дигар хусусиятҳои сохтории интихоб асос ёфтааст. Аз ҷиҳати схемавӣ, усули пурборкуниро метавон ба таври зерин муаррифӣ кард:
Алгоритм барои санҷиши аҳамияти оморӣ:
1. Намунаи пурборкунандаи ҳамон андоза аз намунаи аслӣ ба таври тасодуфӣ тавлид мешавад, ки дар он баъзе мушоҳидаҳо метавонанд якчанд маротиба гирифта шаванд ва дигарон умуман гирифта намешаванд.
2. Барои ҳар як намунаи bootstrap, арзиши миёнаи метрика (масалан, BLEU ё COMET) ҳисоб карда мешавад.
3. Тартиби интихоби пурборкунӣ ва ҳисоб кардани ҳисоби миёна борҳо (даҳҳо, садҳо ё ҳазорҳо) такрор карда мешавад.
4. Аз маҷмӯи миёнаи ба даст овардашуда, миёнаи умумӣ ҳисоб карда мешавад, ки миёнаи тамоми интихоб ҳисобида мешавад.
5. Фарқи байни арзишҳои миёна барои системаҳои муқоисашуда ҳисоб карда мешавад.
6. Барои фарқияти байни миёна фосилаи эътимод сохта мешавад.
7. Меъёрҳои оморӣ барои муайян кардани он, ки оё фосилаи эътимод барои фарқияти миёна аз ҷиҳати оморӣ муҳим аст, истифода мешавад.
Аризаи амалӣ
Равиши дар боло тавсифшуда барои метрикаи COMET дар китобхонаи Unbabel/COMET амалӣ карда мешавад, ки он ба ғайр аз ҳисоб кардани метрикаи COMET, инчунин қобилияти санҷиши аҳамияти омории натиҷаҳои бадастомадаро фароҳам меорад. Ин равиш як қадами муҳим дар самти арзёбии боэътимод ва дурусти системаҳои тарҷумаи мошин мебошад. Танҳо муқоисаи ченакҳо метавонад аксар вақт гумроҳкунанда бошад, хусусан вақте ки фарқиятҳо хурданд.
Татбиқи усулҳои таҳлили оморӣ, ба монанди bootstrap, як қадами муҳим дар баҳодиҳии объективӣ ва муқоисаи кори системаҳои тарҷумаи мошинӣ мебошад. Ин ба таҳиягарон имкон медиҳад, ки ҳангоми интихоби равишҳо ва моделҳои оптималӣ қарорҳои огоҳона қабул кунанд ва ба корбарон пешниҳоди боэътимоди натиҷаҳоро таъмин кунанд.
Хулоса
Ҳамин тариқ, ҳангоми муқоисаи системаҳои тарҷумаи мошинӣ, истифодаи усулҳои оморӣ барои ҷудо кардани беҳбудиҳои пурмазмун аз омилҳои тасодуфӣ муҳим аст. Ин ба пешрафти технологияи тарҷумаи мошинӣ баҳодиҳии объективӣ медиҳад.
