Ο στόχος αυτής της έκθεσης είναι να συγκρίνει την ποιότητα της μετάφρασης μεταξύ παλαιών και νέων γλωσσικών μοντέλων. Τα νέα μοντέλα δεν έχουν μόνο βελτιωμένη ποιότητα αλλά απόδοση και χρήση μνήμης. Χρησιμοποιήσαμε Το μέτρο bleu και κυρίως flores 101 set test Στην έκθεση.
Το Bleu είναι οι πιο δημοφιλείς μετρήσεις στον κόσμο για την αξιολόγηση της μηχανικής μετάφρασης. Το σετ δοκιμών Flores 101 κυκλοφόρησε από την Facebook Research και έχει τη μεγαλύτερη κάλυψη ζεύγους γλώσσας.
Περιγραφή ποιότητας μετρήσεων
Μπίλου
Το Bleu είναι μια αυτόματη μέτρηση που βασίζεται σε n-grams. Μετράει την ακρίβεια των n-grams της εξόδου της μηχανικής μετάφρασης σε σύγκριση με την αναφορά, σταθμισμένη με ποινή συντομίας για να τιμωρήσει τις υπερβολικά σύντομες μεταφράσεις. Χρησιμοποιούμε μια συγκεκριμένη εφαρμογή του Bleu, που ονομάζεται Sacrebleu. Εξάγει βαθμολογίες κορμών, όχι βαθμολογίες τμήματος.
Αναφορές
- Papineni, Kishore, S. Roukos, Τ. Ward και Wei-Jing Zhu. "Bleu: Μια μέθοδος για την αυτόματη αξιολόγηση της μηχανικής μετάφρασης." ACL (2002).
- Δημοσίευση, Ματ. "Μια κλήση για σαφήνεια στην αναφορά των βαθμολογιών Bleu." WMT (2018).
Βελτιωμένα μοντέλα γλωσσών
Μετρήσεις bleu
Βελτιωμένα μοντέλα γλωσσών. Δεκέμβριος 2023
Ζεύγη γλωσσών
ΣΗΜΕΙΩΣΗ: Το χαμηλότερο μέγεθος των μοντέλων στον σκληρό δίσκο σημαίνει τη χαμηλότερη κατανάλωση μνήμη GPU που οδηγεί σε μειωμένο κόστος άνοιας. Το χαμηλότερο μέγεθος του μοντέλου έχει καλύτερη απόδοση στον χρόνο μετάφρασης. Η κατά προσέγγιση χρήση της μνήμης GPU υπολογίζεται ως μοντέλο σκληρού δίσκου μέγεθος x 1.2
Σύναψη
Το BLEU σημαίνει δίγλωσση αξιολόγηση υποψήφιου - μια ευρεία μετρική διάδοση, που χρησιμοποιείται για την αξιολόγηση της ποιότητας της μηχανής μετάφρασης. Η παρούσα έκθεση συγκρίνει τα αποτελέσματα των παλιών και νέων γλωσσικών μοντέλων με διάφορα ζεύγη γλωσσών. Τα σημαντικότερα ευρήματά του είναι ότι τα νέα μοντέλα έχουν υψηλότερες βαθμολογίες BLEU που αποδεικνύουν καλύτερη ποιότητα μετάφρασης. Η αναφορά δείχνει επίσης βελτιώσεις στη χρήση της μνήμης που οδηγεί σε χαμηλότερη κατανάλωση μνήμης GPU και συμβάλλει στη μείωση του κόστους ανάπτυξης.
