Ο στόχος αυτής της αναφοράς είναι να παρουσιάσει την ποιότητα μετάφρασης μοντέλα γλώσσας lingvanex FLORES είναι ένα ανοικτό και διαθέσιμο σετ δοκιμών δεδομένων που κυκλοφόρησε από την έρευνα στο Facebook και έχει τη μεγαλύτερη κάλυψη ζευγαριών γλωσσών.
Περιγραφή ποιότητας μετρήσεων
Μπίλου
Το Bleu είναι ένα αυτόματο μετρικό με βάση τα n-grams. Μετράει την ακρίβεια των n-grams της εξόδου της μηχανικής μετάφρασης σε σύγκριση με την αναφορά, σταθμισμένη με ποινή συντομίας για να τιμωρήσει τις υπερβολικά σύντομες μεταφράσεις. Χρησιμοποιούμε μια συγκεκριμένη εφαρμογή του Bleu, που ονομάζεται Sacrebleu. Εξάγει βαθμολογίες κορμών, όχι βαθμολογίες τμήματος.
Αναφορές
- Papineni, Kishore, S. Roukos, Τ. Ward και Wei-Jing Zhu. "Bleu: Μια μέθοδος για την αυτόματη αξιολόγηση της μηχανικής μετάφρασης." ACL (2002).
- Δημοσίευση, Ματ. "Μια κλήση για σαφήνεια στην αναφορά των βαθμολογιών Bleu." WMT (2018).
ΚΟΜΗΤΗΣ
Ο Comet (διασταυρούμενη βελτιστοποιημένη μέτρηση για την αξιολόγηση της μετάφρασης) είναι μια μέτρηση για την αυτόματη αξιολόγηση της μηχανικής μετάφρασης που υπολογίζει την ομοιότητα μεταξύ μιας εξόδου μετάφρασης μηχανής και μιας μετάφρασης αναφοράς χρησιμοποιώντας ενσωμάτωση συμβολικού ή προτάσεων. Σε αντίθεση με άλλες μετρήσεις, ο Comet εκπαιδεύεται στην πρόβλεψη διαφορετικών τύπων ανθρώπινων κρίσεων με τη μορφή της προσπάθειας μετά την επεξεργασία, της άμεσης αξιολόγησης ή της ανάλυσης σφάλματος μετάφρασης.
Αναφορές
- Comet - https://machinetranslate.org/comet
- Comet: Αξιολόγηση μετάφρασης μηχανής υψηλής ποιότητας-https://unbabel.github.io/COMET/html/index.html#comet-high-quality-machine-translation-evaluation
Ενημερώσεις ιδιωτικού λογισμικού επί τόπου
Νέα έκδοση - 1.22.0.
Αλλαγές στη λειτουργικότητα:
- Προσθέστε υποστήριξη για ήχο σε αρχεία βίντεο για αναγνώριση ομιλίας.
Νέα έκδοση - 1.21.1.
Αλλαγές στη λειτουργικότητα:
- Σταθερή αναγνώριση ομιλίας σε αρχεία *.wma και *.flv.
Βελτιωμένα μοντέλα γλωσσών
Μετρήσεις bleu
Βελτιωμένα μοντέλα γλωσσών. Μάρτιος 2024
Μετρήσεις κομήτων
Βελτιωμένα μοντέλα γλωσσών. Μάρτιος 2024
Ζεύγη γλωσσών
ΣΗΜΕΙΩΣΗ: Το χαμηλότερο μέγεθος των μοντέλων στον σκληρό δίσκο σημαίνει τη χαμηλότερη κατανάλωση μνήμη GPU που οδηγεί σε μειωμένο κόστος άνοιας. Το χαμηλότερο μέγεθος του μοντέλου έχει καλύτερη απόδοση στον χρόνο μετάφρασης. Η κατά προσέγγιση χρήση της μνήμης GPU υπολογίζεται ως μοντέλο σκληρού δίσκου μέγεθος x 1.2
Σύναψη
Τα μοντέλα μετάφρασης μηχανών Lingvanex έχουν αξιολογηθεί χρησιμοποιώντας δύο δημοφιλείς μετρήσεις αυτόματης αξιολόγησης - BLEU και COMET. Το BLEU μετρά την ακρίβεια των N-grams στην έξοδο της μηχανής μετάφρασης σε σύγκριση με τις μεταφράσεις αναφοράς, ενώ ο Comet υπολογίζει την ομοιότητα μεταξύ της μηχανικής μετάφρασης και της αναφοράς χρησιμοποιώντας τεχνικές που βασίζονται στην ενσωμάτωση. Η έκθεση παρουσιάζει την ποιότητα μετάφρασης των μοντέλων Lingvanex σε ένα ευρύ φάσμα ζευγών γλωσσών από το διαθέσιμο στο κοινό σύνολο δεδομένων Flores. Τα μοντέλα επιδεικνύουν ισχυρές επιδόσεις σύμφωνα με αυτές τις μετρήσεις αξιολόγησης της βιομηχανίας. Μερικά βασικά πλεονεκτήματα των μοντέλων Lingvanex είναι:
- Μικρότερο μέγεθος μοντέλου που οδηγεί σε χαμηλότερη κατανάλωση μνήμης GPU και ταχύτερους χρόνους μετάφρασης
- Συνεχείς βελτιώσεις στα μοντέλα γλωσσών σε διαδοχικές ενημερώσεις λογισμικού
Συνολικά, τα αποτελέσματα υποδεικνύουν ότι τα μοντέλα μετάφρασης μηχανών LingVanex παρέχουν μεταφράσεις υψηλής ποιότητας που πληρούν ή υπερβαίνουν την απόδοση άλλων κορυφαίων συστημάτων MT. Η χρήση ισχυρών μετρήσεων αξιολόγησης παρέχει εμπιστοσύνη στην αξιοπιστία και την ακρίβεια των δυνατοτήτων μετάφρασης Lingvanex.
