Ο στόχος αυτής της έκθεσης είναι να συγκρίνει την ποιότητα της μετάφρασης μεταξύ παλαιών και νέων γλωσσικών μοντέλων. Τα νέα μοντέλα δεν έχουν μόνο βελτιωμένη ποιότητα αλλά απόδοση και χρήση μνήμης. Χρησιμοποιήσαμε τη δοκιμή Metric και κυρίως Flores 101 στην αναφορά.
Το BLEU είναι οι πιο δημοφιλείς μετρήσεις στον κόσμο για την αξιολόγηση της μηχανικής μετάφρασης. Το σετ δοκιμών Flores 101 κυκλοφόρησε από την Facebook Research και έχει τη μεγαλύτερη κάλυψη ζεύγους γλώσσας.
Περιγραφή ποιότητας μετρήσεων
Μπίλου
Το Bleu είναι ένα αυτόματο μετρικό με βάση τα n-grams. Μετράει την ακρίβεια των n-grams της εξόδου της μηχανικής μετάφρασης σε σύγκριση με την αναφορά, σταθμισμένη με ποινή συντομίας για να τιμωρήσει τις υπερβολικά σύντομες μεταφράσεις. Χρησιμοποιούμε μια συγκεκριμένη εφαρμογή του Bleu, που ονομάζεται Sacrebleu. Εξάγει βαθμολογίες κορμών, όχι βαθμολογίες τμήματος.
Αναφορές
- Papineni, Kishore, S. Roukos, Τ. Ward και Wei-Jing Zhu. "Bleu: Μια μέθοδος για την αυτόματη αξιολόγηση της μηχανικής μετάφρασης." ACL (2002).
- Δημοσίευση, Ματ. "Μια κλήση για σαφήνεια στην αναφορά των βαθμολογιών Bleu." WMT (2018).
ΚΟΜΗΤΗΣ
Ο Comet (διασταυρούμενη βελτιστοποιημένη μέτρηση για την αξιολόγηση της μετάφρασης) είναι μια μέτρηση για την αυτόματη αξιολόγηση της μηχανικής μετάφρασης που υπολογίζει την ομοιότητα μεταξύ μιας εξόδου μετάφρασης μηχανής και μιας μετάφρασης αναφοράς χρησιμοποιώντας ενσωμάτωση συμβολικού ή προτάσεων. Σε αντίθεση με άλλες μετρήσεις, ο Comet εκπαιδεύεται στην πρόβλεψη διαφορετικών τύπων ανθρώπινων κρίσεων με τη μορφή της προσπάθειας μετά την επεξεργασία, της άμεσης αξιολόγησης ή της ανάλυσης σφάλματος μετάφρασης.
Αναφορές
- Comet - https://machinetranslate.org/comet
- Comet: Αξιολόγηση μετάφρασης μηχανής υψηλής ποιότητας-https://unbabel.github.io/COMET/html/index.html#comet-high-quality-machine-translation-evaluation
Ενημερώσεις ιδιωτικού λογισμικού επί τόπου
Νέα έκδοση - 1.29.0.
Αλλαγές στη λειτουργικότητα:
- Προστέθηκε υποστήριξη πρόσθετων μοντέλων για αναγνώριση ομιλίας.
- Βελτιωμένη ποιότητα μετάφρασης εγγράφων.
Νέα έκδοση - 1.28.0.
Αλλαγές στη λειτουργικότητα:
- Βελτιωμένη ποιότητα μετάφρασης.
- Βελτίωσε την υπηρεσία Slack Bot.
- Ενημερωμένες εξαρτήσεις.
Νέα έκδοση - 1.27.0.
Αλλαγές στη λειτουργικότητα:
- Βελτιωμένη ποιότητα μετάφρασης.
- Προστέθηκε υποστήριξη για το γλωσσάριο.
- Βελτίωσε την υπηρεσία Slack Bot.
- Βελτιωμένη ποιότητα μετάφρασης DOC, DOC.
- Βελτιωμένη εργασία με εναλλακτικές παραλλαγές μετάφρασης.
Νέα έκδοση - 1.26.0.
Αλλαγές στη λειτουργικότητα:
- Βελτιωμένες λειτουργίες εναλλακτικών παραλλαγών μετάφρασης.
- Βελτιωμένη ποιότητα μετάφρασης.
- Προστέθηκε κανονικοποιητής και denoiser για αναγνώριση ομιλίας.
Ζεύγη γλωσσών
Σημείωση: Το χαμηλότερο μέγεθος των μοντέλων στον σκληρό δίσκο σημαίνει τη χαμηλότερη κατανάλωση μνήμης GPU που οδηγεί σε μειωμένο κόστος ανάπτυξης. Το χαμηλότερο μέγεθος του μοντέλου έχει καλύτερη απόδοση στον χρόνο μετάφρασης. Η κατά προσέγγιση χρήση της μνήμης GPU υπολογίζεται ως μοντέλο σκληρού δίσκου μέγεθος x 1.2
| Language Pair | Current Model's Size, mb | Test Data | Previous Model's BLEU | Current Model's BLEU | Difference | Previous Model's COMET | Current Model's COMET | Difference |
|---|---|---|---|---|---|---|---|---|
| Αγγλικά - Αραβικά | 190,63 | Flores 101 | 33,21 | 33,40 | +0,19 | 87,81 | 88,27 | +0,46 |
| Ελληνικά - Αγγλικά | 184,00 | Lingvanex | 62,93 | 64,45 | +1,52 | 91,86 | 92,39 | +0,53 |
| Λιθουανία - Αγγλικά | 113,91 | Flores 101 | 34,06 | 34,96 | +0,90 | 85,74 | 86,24 | +0,50 |
| Αγγλικά - Κροατικά | 184,00 | Flores 101 | 31,18 | 34,95 | +3,77 | 89,03 | 91,09 | +2,06 |
| Ρωσικά - Καζακ | 190,63 | Lingvanex | 38,10 | 38,39 | +0,29 | 92,06 | 92,13 | +0,07 |
| Καζάκ - Ρώσο | 190,63 | Flores 200 | 22,75 | 22,79 | +0,04 | 87,59 | 88,12 | +0,53 |
| Καταλανική - Αγγλικά | 113,91 | Flores 101 | 46,44 | 47,54 | +1,10 | 88,05 | 88,55 | +0,50 |
| Hmong - Αγγλικά | 113,91 | Νάρκη | 20,36 | 21,30 | +0.94 | 60,89 | 61,95 | +1,06 |
| Γερμανικά - Αγγλικά | 190,65 | Νάρκη | 38,69 | 40,96 | +2,27 | 87,52 | 87,98 | +0,46 |
| Αγγλικά - Ισπανικά | 184,02 | Lingvanex | 62,82 | 63,04 | +0,22 | 93,44 | 93,50 | +0,06 |
| Νεπάλ - Αγγλικά | 113,91 | Flores 101 | 33,64 | 41,67 | +8,03 | 88,48 | 89,94 | +1,46 |
| Τατζίκ - Αγγλικά | 113,91 | Flores 101 | 32,19 | 33,74 | +1,55 | 76,10 | 77,46 | +1,36 |
| Αγγλικά - Λιθουανικά | 113,91 | Flores 101 | 30,84 | 31,28 | +0,44 | 89,61 | 90,11 | +0,50 |
| Αγγλικά - Εσθονία | 113,91 | Flores 101 | 30,93 | 31,48 | +0,55 | 91,09 | 91,64 | +0,55 |
| Ουκρανία - Αγγλικά | 184,00 | Flores 101 | 41,15 | 41,54 | +0,39 | 86,92 | 86,98 | +0,06 |
| Αγγλικά - Εβραϊκά | 184,11 | Flores 101 | 35,42 | 36,00 | +0,91 | 87,87 | 88,53 | +0,66 |
| Αγγλικά - Μαλαισία | 184,11 | Flores 101 | 44,12 | 44,63 | +0,51 | 89,41 | 89,77 | +0,36 |
| Εσθονική - Αγγλικά | 113,91 | Flores 101 | 39,19 | 41,07 | +1,88 | 88,81 | 88,33 | +0,52 |
| Ιαπωνικά - Αγγλικά | 190,63 | Flores 101 | 29,59 | 31,05 | +1,46 | 87,28 | 88,08 | +0,80 |
| Αγγλικά - Ουκρανία | 184,00 | Flores 101 | 29,59 | 34,30 | +4,72 | 87,06 | 89,88 | +2,82 |
| Γαλλικά - Αγγλικά | 190,65 | Flores 101 | 48,35 | 48,82 | +0,47 | 89,31 | 89,46 | +0,15 |
| Herbew - Αγγλικά | 184,11 | Flores 101 | 45,01 | 46,31 | +1,30 | 87,82 | 88,82 | +0,50 |
| Αλβανία - Αγγλικά | 113,91 | Lingvanex | 55,43 | 56,43 | +1,00 | 86,63 | 87,83 | +1,20 |
| Αγγλικά - hmong | 113,91 | Lingvanex | 42,26 | 60,99 | +18,73 | 75,48 | 77,35 | +1,87 |
