Maşyn terjimesiniň hiline baha bermekde diňe bir dürli terjime ulgamlarynyň netijelerini deňeşdirmek bilen çäklenmän, tapylan tapawutlaryň statistik taýdan möhümdigini ýa-da ýokdugyny barlamak hem möhümdir. Bu, alnan netijeleriň dogrudygyny ýa-da beýleki maglumatlara umumylaşdyrylyp bilinjekdigini kesgitlemäge mümkinçilik berýär.
Bu makalada terjime hiline, BLEU we COMET-e baha bermek üçin iň köp ýaýran iki ölçegi gözden geçirýäris we bu ölçegleri ulanyp iki terjime ulgamynyň arasyndaky tapawudyň statistik ähmiýetini nädip barlamalydygyny seljerýäris.
BLEU we COMET-iň statistik ähmiýeti
BLEU (Iki dilli baha beriş okuwy) ölçegi terjime edilen tekstdäki n-gramlary salgylanma (adam) terjimesinde n-gramlar bilen deňeşdirip terjime hiline baha berýär. Gözlegiň “Hawa, bize statistik ähmiýetli synag synagy gerek, BLEU ölçeginiň öňki iş bilen deňeşdirilende statistik taýdan ep-esli gowulaşmagyny talap etmek üçin tapawut 1.0 BLEU balyndan köp bolmaly. “ýokary ähmiýetli” gowulaşmasyny “p-baha < 0.001” diýip hasaplasak, gowulaşma 2.0 BLEU bal ýa-da has uly bolmaly.
Giňden ulanylýan başga bir ölçeg, COMET (Terjimä baha bermek üçin krosslingual optimallaşdyrylan ölçeg), salgylanma terjimesi bilen deňeşdirilende terjimäniň hiline baha bermek üçin maşyn öwreniş modelini ulanýar. Gözleg, 1-den 4 bal aralygyndaky tapawudyň statistik taýdan ujypsyz bolup biljekdigini görkezdi. Hatda 4.0 COMET ballarynyň tapawudy hem ujypsyz bolup biler.
Bu netijeler, maşyn terjime ulgamlaryny döredijiler üçin möhüm amaly täsir edýär. San ölçeglerini deňeşdirmek, terjime hiliniň gowulaşmagy barada ýalňyş netijelere sebäp bolup biler. Munuň ýerine, syn edilen tapawutlaryň hakykatdanam manylydygyny ýa-da ýokdugyny kesgitlemek üçin statistiki synaglar geçirilmelidir.
Terjime ulgamlaryny deňeşdirmek üçin ölçeg saýlamak
“makalasynda ibermek ýa-da ibermezlik: Maşyn terjimesi üçin awtomatiki ölçeglere giňişleýin baha bermek, Microsoft-yň gözlegçileri, maşyn terjimesiniň hiline baha bermek üçin haýsy ölçegiň hünärmen terjimeçileriň baha bermegi bilen has gowy arabaglanyşygyny derňediler. Munuň üçin aşakdaky synag geçirdiler.
Maksatly dili bilýän hünärmen terjimeçiler ilki teksti redaktirlemezden el bilen terjime etdiler, soňra garaşsyz terjimeçi bu terjimeleriň hilini tassyklady. Terjimeler mazmuny beýleki sözlemlerden görüpdirler, ýöne sözlemleri aýratyn terjime edipdirler.
Bu gözlegiň netijelerine görä, salgylanma görnüşine esaslanýan terjime baha berýän COMET ölçegi, hünärmen terjimeçileriň baha bermegi bilen deňeşdirilende iň ýokary arabaglanyşygy we takyklygy görkezdi.
Makalanyň awtorlary dürli maşyn terjime ulgamlarynyň hilini deňeşdireniňde haýsy ölçegiň iň ýokary takyklygy berýändigini öwrendiler. Netijelerine görä, COMET terjime ulgamlaryny biri-biri bilen deňeşdirmek üçin iň takyk ölçegdir.
Netijeleriň arasyndaky tapawudyň statistik ähmiýetini barlamak üçin awtorlar “makalasynda beýan edilen çemeleşmäni ulandylar, maşyn terjimesine baha bermek üçin statistik ähmiýetli synaglar.
COMET ölçeginiň, adam terjimesi bilen deňeşdirilende-de, dürli terjime ulgamlaryny biri-biri bilen deňeşdireniňde-de, maşyn terjimesiniň hiline baha bermek üçin iň ygtybarly guraldygy düşnüklidir. Netije, modelleriniň işleýşine obýektiw baha bermeli we deňeşdirmeli maşyn terjime ulgamlaryny döredijiler üçin möhümdir.
Statistik ähmiýetli synag
Terjime ulgamlarynyň arasyndaky synlanan tapawutlaryň statistik taýdan möhümdigine göz ýetirmek möhümdir, ýagny tötänleýin faktorlaryň netijesi däldigi gaty ähtimal. Bu maksat bilen, Filipp Koehn bootstrap usulyny ulanmagy teklip edýär makala “Maşyn terjimesine baha bermek üçin statistik ähmiýetli synaglarÿ ÿAG.
"Bootstrap" gaýtadan nusga alma usuly, üýtgeýşiň, ortaça, standart gyşarmanyň, ynam aralyklarynyň we nusganyň beýleki gurluş aýratynlyklarynyň takyk (ikitaraplaýyn) kesgitlemesini kesgitlemek üçin çalyşmak bilen nusga almagyň esasynda statistiki proseduradyr. Şematiki taýdan, bootstrap usuly aşakdaky ýaly görkezilip bilner:
Statistik ähmiýeti barlamak üçin algoritm:
1. Birmeňzeş ululykdaky bootstrap nusgasy asyl nusgadan tötänleýin döredilýär, bu ýerde käbir gözegçilikler birnäçe gezek ele alnyp bilner, beýlekileri bolsa asla ele alynmaz.
2. Her bootstrap nusgasy üçin metrikiň ortaça bahasy (mysal üçin, BLEU ýa-da COMET) hasaplanýar.
3. Bootstrap nusga almagyň we ortaça hasaplamagyň tertibi birnäçe gezek gaýtalanýar (onlarça, ýüzlerçe ýa-da müňlerçe).
4. Alnan ortaça toplumdan, ähli nusganyň ortaça hasaplanýan umumy ortaça hasaplanýar.
5. Deňeşdirilen ulgamlar üçin ortaça bahalaryň arasyndaky tapawut hasaplanýar.
6. Ortaça tapawut üçin ynam aralygy gurulýar.
7. Statistik ölçegler, ortaça tapawudyň ynam aralygynyň statistik taýdan möhümdigini ýa-da ýokdugyny kesgitlemek üçin ulanylýar.
Amaly amaly
Aboveokarda beýan edilen çemeleşme, Unbabel/COMET kitaphanasyndaky COMET ölçegi üçin amala aşyrylýar, bu COMET ölçegini hasaplamakdan başga-da, alnan netijeleriň statistik ähmiýetini barlamak ukybyny hem üpjün edýär. Bu çemeleşme, maşyn terjime ulgamlaryna has ygtybarly we dogry baha bermek üçin möhüm ädimdir. Ölçegleri deňeşdirmek köplenç ýalňyş bolup biler, esasanam tapawutlar az bolanda.
"Bootstrap" ýaly statistiki derňew usullarynyň ulanylmagy, maşyn terjime ulgamlarynyň işine obýektiw baha bermekde we deňeşdirmekde möhüm ädimdir. Bu, döredijilere optimal çemeleşmeleri we modelleri saýlanyňyzda has habarly karar bermäge mümkinçilik berýär we ulanyjylara netijeleriň has ygtybarly görkezilmegini üpjün edýär.
Netije
Şeýlelik bilen, maşyn terjime ulgamlaryny deňeşdireniňde, manyly gowulaşmalary tötänleýin faktorlardan aýyrmak üçin statistiki usullary ulanmak möhümdir. Bu, maşyn terjime tehnologiýasynyň ösüşine has obýektiw baha berer.
