Машины орчуулгын чанарын үнэлгээнд орчуулгын янз бүрийн системийн үр дүнг харьцуулахаас гадна олдсон ялгаа нь статистикийн хувьд чухал эсэхийг шалгах нь чухал юм. Энэ нь олж авсан үр дүн нь хүчинтэй эсэхийг үнэлэх боломжийг бидэнд олгодог бөгөөд бусад өгөгдөлд нэгтгэж болно.
Энэ нийтлэлд бид орчуулгын чанарыг үнэлэх хамгийн түгээмэл хоёр хэмжүүр болох BLEU болон COMET-ийг хянаж, эдгээр хэмжигдэхүүнийг ашиглан орчуулгын хоёр системийн ялгааны статистик ач холбогдлыг хэрхэн шалгах талаар дүн шинжилгээ хийсэн.
BLEU болон COMET-ийн статистикийн ач холбогдол
BLEU (Хос хэлний үнэлгээний дутуу судалгаа) хэмжигдэхүүн нь орчуулсан текст дэх n-граммыг лавлагаа (хүний) орчуулгын n-граммтай харьцуулах замаар орчуулгын чанарыг үнэлдэг. Судалгааны дагуу “Yes, Бидэнд статистикийн ач холбогдлын тестинг” хэрэгтэй, өмнөх ажилтай харьцуулахад BLEU хэмжигдэхүүн статистикийн хувьд мэдэгдэхүйц сайжирсан гэж мэдэгдэхийн тулд ялгаа нь 1.0 BLEU онооноос их байх ёстой. Хэрэв бид “p-утга ” 0.001“гэж < өндөр ач холбогдолтой” сайжруулалтыг авч үзвэл сайжруулалт нь 2.0 BLEU оноо ба түүнээс дээш байх ёстой.
Өөр нэг өргөн хэрэглэгддэг хэмжигдэхүүн болох COMET (Орчуулгын үнэлгээний хэлний оновчтой хэмжүүр) нь лавлагааны орчуулгатай харьцуулахад орчуулгын чанарыг үнэлэхийн тулд машин сургалтын загварыг ашигладаг. Судалгаанаас харахад 1-ээс 4 онооны зөрүү нь статистикийн хувьд ач холбогдолгүй, өөрөөр хэлбэл алдааны хязгаарт багтаж болно. 4.0 COMET онооны зөрүү ч гэсэн ач холбогдолгүй байж болно.
Эдгээр үр дүн нь машин орчуулгын системийг хөгжүүлэгчдэд чухал практик үр дагавартай. Тоон хэмжигдэхүүнийг энгийнээр харьцуулах нь орчуулгын чанарыг сайжруулах талаар төөрөгдүүлсэн дүгнэлтэд хүргэж болзошгүй юм. Үүний оронд ажиглагдсан ялгаа нь үнэхээр утга учиртай эсэхийг тодорхойлохын тулд статистик туршилт хийх хэрэгтэй.
Орчуулгын системийг харьцуулах хэмжигдэхүүнийг сонгох
“To Ship or Not to Ship: An Extensive Evaluation for Machine Translation”, Майкрософт компанийн судлаачид машин орчуулгын чанарыг үнэлэх ямар хэмжүүр нь мэргэжлийн орчуулагчдын үнэлгээтэй хамгийн сайн хамааралтай болохыг судалжээ. Ингэхийн тулд тэд дараах туршилтыг хийсэн.
Зорилтот хэлийг эзэмшсэн мэргэжлийн орчуулагчид эхлээд текстийг дараах засваргүйгээр гараар орчуулж, дараа нь бие даасан орчуулагч эдгээр орчуулгын чанарыг баталгаажуулсан. Орчуулагчид контекстийг бусад өгүүлбэрээс харсан боловч өгүүлбэрүүдийг тусад нь орчуулсан.
Энэхүү судалгааны үр дүнгээс үзэхэд лавлагааны хувилбарт үндэслэн орчуулгыг үнэлдэг COMET хэмжүүр нь мэргэжлийн орчуулагчдын үнэлгээтэй харьцуулахад хамгийн өндөр хамаарал, нарийвчлалыг харуулсан байна.
Өгүүллийн зохиогчид мөн янз бүрийн машин орчуулгын системийн чанарыг харьцуулахдаа аль хэмжигдэхүүн хамгийн өндөр нарийвчлалыг өгдөг болохыг судалжээ. Тэдний олж мэдсэнээр COMET нь орчуулгын системийг өөр хоорондоо харьцуулах хамгийн үнэн зөв хэмжүүр юм.
Үр дүнгийн хоорондын ялгааны статистик ач холбогдлыг шалгахын тулд зохиогчид “-р зүйлд дурдсан арга барилыг ашигласан Машины орчуулгын үнэлгээний статистикийн ач холбогдлын тестүүд.
COMET хэмжигдэхүүн нь хүний орчуулгатай харьцуулах, орчуулгын өөр өөр системийг хооронд нь харьцуулах үед машин орчуулгын чанарыг үнэлэх хамгийн найдвартай хэрэгсэл болох нь тодорхой байна. Дүгнэлт нь загварынхаа гүйцэтгэлийг бодитой үнэлж, харьцуулах шаардлагатай машин орчуулгын системийг хөгжүүлэгчдийн хувьд чухал юм.
Статистикийн ач холбогдлын тест
Орчуулгын системүүдийн хооронд ажиглагдсан ялгаа нь статистикийн хувьд чухал, өөрөөр хэлбэл тэдгээр нь санамсаргүй хүчин зүйлийн үр дүн биш байх магадлал өндөр байх нь чухал юм. Энэ зорилгоор Филипп Коэн ачаалах аргыг ашиглахыг санал болгож байна “нийтлэл Машины орчуулгын үнэлгээний статистикийн ач холбогдлын тестүүд.
Ачаалах оосорыг дахин түүвэрлэх арга нь түүврийн дисперс, дундаж, стандарт хазайлт, итгэлцлийн интервал болон бусад бүтцийн шинж чанаруудын түүврийн тооцооллын нарийвчлал (хоёр тал)-ыг тодорхойлохын тулд орлуулах түүвэрлэлт дээр суурилсан статистик процедур юм. Схемийн хувьд ачаалах аргыг дараах байдлаар илэрхийлж болно:
Статистикийн ач холбогдлыг шалгах алгоритм:
1. Ижил хэмжээтэй ачаалах дээжийг анхны дээжээс санамсаргүй байдлаар үүсгэдэг бөгөөд зарим ажиглалтыг хэд хэдэн удаа авч, заримыг нь огт барьж болохгүй.
2. Ачаалах оосрын дээж бүрийн хувьд хэмжүүрийн дундаж утгыг (жишээ нь, BLEU эсвэл COMET) тооцоолно.
3. Ачаалах оосор түүвэрлэх, дундаж утгыг тооцоолох процедурыг олон удаа (арав, зуу, мянга) давтана.
4. Олж авсан дундаж үзүүлэлтээс нийт дундажийг тооцдог бөгөөд энэ нь нийт түүврийн дундаж гэж тооцогддог.
5. Харьцуулсан системийн дундаж утгуудын зөрүүг тооцоолно.
6. Дундаж үзүүлэлтүүдийн хоорондох зөрүүний хувьд итгэлийн интервалыг бий болгодог.
7. Дунджуудын зөрүүний итгэлийн интервал статистикийн хувьд чухал эсэхийг үнэлэхийн тулд статистикийн шалгуурыг ашигладаг.
Практик хэрэглээ
Дээр дурдсан арга нь Unbabel/COMET номын санд COMET хэмжүүрийн хувьд хэрэгжсэн бөгөөд энэ нь COMET хэмжигдэхүүнийг тооцоолохоос гадна олж авсан үр дүнгийн статистик ач холбогдлыг шалгах боломжийг олгодог. Энэ арга нь машин орчуулгын системийг илүү найдвартай, хүчинтэй үнэлэх чухал алхам юм. Хэмжээг энгийнээр харьцуулах нь ихэвчлэн төөрөгдүүлдэг, ялангуяа ялгаа бага байх үед.
Ачаалах оосор гэх мэт статистик шинжилгээний аргуудыг ашиглах нь машин орчуулгын системийн гүйцэтгэлийг бодитойгоор үнэлэх, харьцуулах чухал алхам юм. Энэ нь хөгжүүлэгчдэд оновчтой арга барил, загварыг сонгохдоо илүү мэдээлэлтэй шийдвэр гаргах боломжийг олгож, үр дүнг хэрэглэгчдэд илүү найдвартай танилцуулах боломжийг олгодог.
Дүгнэлт
Тиймээс машин орчуулгын системийг харьцуулахдаа утга учиртай сайжруулалтыг санамсаргүй хүчин зүйлээс салгахын тулд статистикийн аргыг ашиглах нь чухал юм. Энэ нь машин орчуулгын технологийн дэвшлийг илүү бодитой үнэлэх болно.
