Έχουμε δει πολλά άρθρα και αναθεωρήσεις που ισχυρίζονται ότι οι δυνατότητες μετάφρασης του ChatGPT είναι στο ίδιο επίπεδο με το DEEPL και το Google, και μερικές φορές ακόμη και ξεπερνούν. ως εταιρεία που αναπτύσσει τις δικές μας διαλύματα μετάφρασης Για τα τελευταία έξι χρόνια, έγινε περίεργος για το πόσο αληθινό είναι και πώς η λύση μας συγκρίνεται με το chatgpt. Πρέπει να ανησυχούμε για έναν τόσο ισχυρό ανταγωνιστή;
Για να συγκρίνουμε την ποιότητα της μετάφρασης, ετοιμάσαμε σύνολα δεδομένων δοκιμών για επτά ζεύγη γλωσσών:
- Αγγλικός
- Αγγλικός-γερμανός
- Αγγλικός-ρωσικός
- Αγγλικά-Γαλλικά
- Αγγλικός-Ιταλός
- Αγγλικός πτέρυγας
- Φινλανδικός
Κάθε δοκιμαστικό σύνολο δεδομένων περιέχει περίπου 2500 γραμμές και περιλαμβάνει προτάσεις διαφόρων θεμάτων, μήκους, στυλ και μορφοποίησης, για την εξάλειψη της προκατάληψης της επιλογής κειμένου για έναν συγκεκριμένο μεταφραστή. 4 για περιορισμένη πρόσβαση. Προς το παρόν, η πρόσβαση είναι διαθέσιμη μόνο σε λογαριασμούς που έχουν δημιουργηθεί προηγουμένως που έχουν ήδη πληρώσει για την έκδοση 3.5. Σύμφωνα με τις αναθεωρήσεις, η έκδοση 4 έχει σημειώσει σημαντικές εξελίξεις όσον αφορά την ποιότητα σε σύγκριση με την έκδοση 3.5. Θα το ελέγξουμε και αυτό!
Για δοκιμές, θα χρησιμοποιήσουμε δύο μετρήσεις: bleu και comet. href = 'https: //lingvanex.com/blog/quality-report-03-2024/#: ~: text = ποιότητα%20metrics%20description-, bleu, -bleu%20is%20an'> Από προεπιλογή, θα χρησιμοποιήσουμε την έκδοση Sacre Bleu. Αυτή η έκδοση χρησιμοποιείται στο συνέδριο μετάφρασης MT Mate και σε διάφορους διεθνείς διαγωνισμούς. Σε αυτή τη μέτρηση, η σύγκριση των μεταφράσεων βασίζεται στον αριθμό των n-grams (συνδυασμούς λέξεων) που ακολουθούν ο ένας τον άλλον. Ο στόχος της μέτρησης είναι να βρεθούν οι μέγιστο συνδυασμοί αντιστοίχισης μεταξύ της μετάφρασης που έγινε από έναν άνθρωπο και εκείνου που έκανε από ένα μηχάνημα. Η σύγκριση ξεκινά με συστάδες τεσσάρων λέξεων. Εάν δεν υπάρχουν, ψάχνει για τριών λέξεων n-grams. Εάν δεν βρεθούν περαιτέρω αγώνες, μπορεί να πάει κάτω σε ένα N-gram. Τα σημεία απονέμονται για κάθε ακολουθία λέξεων (μάρκες) που βρίσκει το πρόγραμμα. Το μειονέκτημα της μέτρησης είναι ότι δεν αντιπροσωπεύει τα συνώνυμα και αν η μετάφραση μεταφέρει με ακρίβεια τη σκέψη αλλά με διαφορετικές λέξεις, θα δείξει 0.
lingvanex.
Μετάφραση Αγγλικής-Γαλλίας
Όταν πρόκειται για μετάφραση στα γερμανικά, η κατάσταση είναι η ίδια με τη γαλλική. Ωστόσο, η υστέρηση του Lingvanex στη μέτρηση του κομήτη είναι ελάχιστη.
Αγγλικά-Γερμανική μετάφραση
Όταν πρόκειται για μετάφραση στα γερμανικά, η κατάσταση είναι η ίδια με τη γαλλική. Ωστόσο, η υστέρηση του Lingvanex στη μέτρηση του κομήτη είναι ελάχιστη.
Ας συντάξουμε όλες τις διαφορές σε έναν πίνακα. Σε κόκκινη γραμματοσειρά, θα υποδείξουμε πού το chatgpt υπολείπεται από το Lingvanex. Στην πράσινη γραμματοσειρά, θα σηματοδοτήσουμε πού ξεπερνάει. Τα δεδομένα είναι σημαντικά από τις 31 Ιουλίου 2023.
Η τιμή μετάφρασης Lingvanex υπολογίστηκε με βάση το κόστος ενός ενοικίου ενός μηνός για έναν βασικό διακομιστή GPU (150 δολάρια) + την μηνιαία τιμή για μια μετάφραση μοντέλου γλωσσών Lingvanex (από 100 δολάρια) και τον αριθμό των χαρακτήρων που μπορούν να μεταφραστούν σε ένα μήνα με αυτή τη διαμόρφωση.
Σύναψη
Τα αποτελέσματα των δοκιμών δείχνουν ότι ενώ το ChatGpt 3.5 είναι ως επί το πλείστον κατώτερο από το lingvanex Στην ποιότητα μετάφρασης, σύμφωνα με το Comet Metric, το ChatGpt4 συχνά ταιριάζει με το LingVanex. Αξίζει να σημειωθεί ότι σήμερα, η μετάφραση μεγάλων όγκων κειμένου με το ChatGPT4 είναι πολύ ακριβό. Προκειμένου να εκτελεστούν οι δοκιμές για αυτό το άρθρο και να μεταφραστούν περίπου 20.000 γραμμές μέσω του ChatGPT4, δαπανήθηκαν συνολικά 45 δολάρια. Ο υπολογισμός του κόστους μετάφρασης μπορεί να προκαλέσει σύγχυση, καθώς είναι δύσκολο να εκτιμηθεί εκ των προτέρων, σε μάρκες, πόσο θα καταλήξετε να πληρώσετε για τη μετάφραση. Έπρεπε να κάνουμε 3-4 δευτερόλεπτα διαλείμματα μεταξύ των αιτήσεων. Συνολικά, η ταχύτητα μετάφρασης με το σύνολο δεδομένων δοκιμής ήταν περίπου 8 λέξεις ανά δευτερόλεπτο. Η λύση μας επιτρέπει τη μετάφραση αρκετών χιλιάδων λέξεων ανά δευτερόλεπτο, ακόμη και σε ασθενέστερους διακομιστές. Επιπλέον, παρατηρήσαμε τη λογοκρισία στις μεταφράσεις: Εάν μια γραμμή περιέχει άσεμνη γλώσσα, το ChatGpt δεν θα προχωρήσει στη μετάφραση ολόκληρης της φράσης. Επιπλέον, τα στυλ και τα θέματα μπορούν να τροποποιηθούν εν κινήσει. Με την προσεκτική επιλογή των προτροπών, μπορείτε να επιτύχετε βελτιωμένη ποιότητα προσαρμοσμένη σε μια συγκεκριμένη εργασία, αλλά αυτό απαιτεί να περάσει ένας σημαντικός αριθμός προτροπών. Δαπασχία.
