Ο μηχανισμός συμπερασμάτων ενός εκπαιδευμένου μοντέλου σε παραγωγή αλληλουχίας. Μέρος 1

Σε αυτή την εργασία, εξετάζουμε τον μηχανισμό συμπερασμάτων σε ένα εκπαιδευμένο μοντέλο χρησιμοποιώντας τη συμβολοσειρά "Γνωρίζει αυτό" ως παράδειγμα. Θα περιγράψουμε την αρχιτεκτονική του μοντέλου, η οποία θα αναπαράγει ακριβώς τη μαθησιακή διαδικασία και θα εξετάσει τα διάφορα συστατικά που εμπλέκονται στη μετατροπή των μαρκών εισόδου σε σημαντικές προβλέψεις. Οι βασικές παράμετροι όπως το μέγεθος του λεξιλογίου, ο αριθμός των μονάδων, τα στρώματα και οι επικεφαλής της προσοχής θα θεωρηθούν ότι παρέχουν πλαίσιο για τη λειτουργικότητα του μοντέλου.

Επισκόπηση αρχιτεκτονικής μοντέλου

Ας εξετάσουμε τον μηχανισμό συμπερασμάτων του εκπαιδευμένου μοντέλου για το παράδειγμα της ακόλουθη συμβολοσειρά e ^ it it . Η αρχιτεκτονική του μοντέλου, για λόγους σαφήνειας, θα είναι περίπου η ίδια όπως στο θεωρημένο παράδειγμα του μηχανισμού της διαδικασίας κατάρτισης:

• Vocab: 26
• num_units: 6
• num_layers: 1
• num_heads: 2
• FFN_INNER_DIM: 12
• maximum_relative_position: 8

Αντιπροσωπεία και επεξεργασία κωδικοποιητή

Για κάθε διακριτικό, η αναπαράσταση του φορέα του διακριτικού εξάγεται από τη μήτρα ενσωμάτωσης πηγής του εκπαιδευμένου μοντέλου και τροφοδοτείται στην είσοδο κωδικοποιητή. Στον κωδικοποιητή, απολύτως όλοι οι ίδιοι μετασχηματισμοί εμφανίζονται όπως στην εκπαίδευση μοντέλου. Η διαφορά είναι ότι ο μηχανισμός εγκατάλειψης δεν εφαρμόζεται στις μήτρες. Μετά από μετασχηματισμούς στον κωδικοποιητή παίρνουμε το matrix encoder_outputs . (Εικόνα 1 - Η μήτρα Encoder_outputs)

Παράμετροι και αρχικοποίηση συμπερασμάτων

Στη συνέχεια, εξετάστε ένα παράδειγμα για συμπέρασμα με τις ακόλουθες παραμέτρους. Στην περίπτωσή μας, χρησιμοποιήθηκαν οι ακόλουθες παράμετροι συμπερασμάτων:

• beam_size = 2
• μήκος_penalty = 0.2
• Coverage_Penalty = 0.2
• δειγματοληψία_topk = 5
• Sampling_Temperature = 0.5

Στη συνέχεια, εφαρμόζοντας τη συνάρτηση tfa.seq.tile_batch Επιτρέπει τον πίνακα τιμής που λαμβάνεται μετά την αντιγραφή του κωδικοποιητή από την ποσότητα beam_size . Η έξοδος είναι μια μήτρα τιμών * μέγεθος δέσμης, στην περίπτωσή μας δύο. (Εικόνα 2 - Έξοδοι κωδικοποιητή * μέγεθος δέσμης)

3) Matrix τελείωσε , γεμάτο με μηδενικά, με τύπο δεδομένων boolean και διάσταση batch_size * beam_size → tf.zeros ([batch_size * beam_size], dtype = tf.bool)] =

4) matrix initial_log_probs → tf.tile (beam_size - 1), [batch_size]) = [0 -inf] ;

5) Λεξικό με επιπλέον μεταβλητές extra_vars , το οποίο περιέχει τις ακόλουθες μεταβλητές, αρχικοποιείται:

• parent_ids: tf.tensorarray []
• sequence_lengths: tf.zeros (batchize * beam_size], dtype = tf.int32) [0 0]
• accument_attention: tf.zeros (batch_size * beam_size, προσοχή] Το matrix encoder_outputs (tf.shape (encoder_outputs) [1] = 3) → [[0 0] [0 0 0]]

  Στη συνέχεια, σε ένα βρόχο, επαναλάβουμε μέχρι να φτάσουμε στη μέγιστη τιμή (η προεπιλεγμένη μέγιστη τιμή είναι maximum_decoding_length = 250 ) ή μέχρι να δημιουργηθεί ένα διακριτικό τέλος της ακολουθίας.

  Βήμα 0

  Με το Matrix start_ids , οι παραστάσεις διανυσμάτων των μαρκών εξάγονται από το target ενσωματωμένο matrix του εκπαιδευμένου μοντέλου και μαζί με το comneper_outputs matrix που διπλώνει με τον αριθμό των beam_size τροφοδοτείται για την εισροή αποκωδικοποιητή. Στον αποκωδικοποιητή, απολύτως όλοι οι ίδιοι μετασχηματισμοί λαμβάνουν χώρα όπως κατά την εκπαίδευση του μοντέλου. Η διαφορά είναι ότι ο tensor (Εικόνα 3 - Διαδικασία αποκωδικοποιητή)

  

  Οι μεταβλητές batch_size = 1 και vocab_size = 26 σχηματίζονται από τη διάσταση του matrix logits που λαμβάνεται από τον αποκωδικοποιητή. Στη συνέχεια, χρησιμοποιώντας τη συνάρτηση tf.one_hot (tf.fill (batch_size], end_id) on_value = logits.dtype.max, off_value = logits.dtype.min) Η μήτρα eos_max_prob , πού:

  • tf.fill ([batch_size], end_id) ; end_id είναι ο δείκτης του token & lt;/s & gt; → [2 2] ;
  • logits.dtype.max είναι η μέγιστη τιμή του τύπου δεδομένων TF.Float32, ο οποίος είναι 3.4028235e+38 ή 340282350000000000000000000000000000;
  • logits.dtype.min είναι η μέγιστη τιμή του τύπου δεδομένων TF.Float32, η οποία είναι ίση με -3.4028235E+38 ή -340282350000000000000000000000000000.

  Έτσι, η έξοδος είναι μια μήτρα EOS_MAX_PROB της διάστασης 2 x 26, όπου τα στοιχεία του δείκτη 2 θα γεμίσουν με τη μέγιστη τιμή και όλα τα άλλα στοιχεία θα γεμίσουν με την ελάχιστη τιμή. (Εικόνα 4 - eos_max_prob matrix)

  

  Χρησιμοποιώντας τη συνάρτηση tf.where (tf.broadcast_to (tf.expand_dims, x = eos_max_prob, y = logits) , όπου η μήτρα τελείωσε αλλάζει στη διάσταση: tf.nn.log_softmax (logits) . (Εικόνα 5 - matrix log_probs)

  

  Εάν Coverage_Penalty! = 0 , εκτελούνται οι ακόλουθες ενέργειες:

  • Το Matrix τελείωσε τροποποιείται και μετασχηματίζεται χρησιμοποιώντας τη συνάρτηση tf.math.logical_not (0, 0, 0, το matrix not_finished → [1 1] ;
  • Η προκύπτουσα μήτρα είναι διαστασιακά τροποποιημένη tf.expand_dims (tf.cast (not_finished, προσοχή.dtype), 1) → [[1], [1]] ;
  • Η ληφθείσα μήτρα πολλαπλασιάζεται με τη μήτρα . (Εικόνα 6 - Matrix προσοχής)
  
  • συσσωρευμένη μεταβλητή σχηματίζεται. (Εικόνα 7 - μεταβλητή Accustruals_Attention)
  

  Στη συνέχεια, η μήτρα total_probs σχηματίζεται με την προσθήκη του matrix log_probs και του ανεστραμμένου cum_log_probs matrix → log_probs + tf.expand_dims (cum_log_probs, 1). (Εικόνα 8 - Matrix Total_Probs)

  

  Με τους πίνακες Total_Probs , sequence_lengths , Τελειωμένα και συσσωρευμένα ουσίες βαθμολογίες υπολογίζονται. Ο υπολογισμός των βαθμολογιών περιλαμβάνει τα ακόλουθα βήματα:

  1) η αρχική μήτρα βαθμολογίες → βαθμολογίες = Total_Probs αρχικοποιείται από το Matrix Total_probs

  

  2) Εάν length_penalty ! = 0 , εκτελέστε τις ακόλουθες ενέργειες:

  • expand_equence_lengths σχηματίζεται - Η μήτρα Sequence_Lengths μεταβάλλεται διαστασιακά tf.expand_dims (sequence_lengths, 1) → [0], [0]] ;
  • Το ένα προστίθεται στη μήτρα expand_equence_lengths και ο πίνακας είναι χυτευμένος στο log_probs Τύπος τιμής - tf.cast (expand_sexence_lengths + 1, log_probs.dtype) → [0], [0]] + 1 = [1], [1]
  • Το Matrix sized_expand_sease_lengths < / b> σχηματίζεται - η σταθερά 5 προστίθεται στον πίνακα που λαμβάνεται παραπάνω και διαιρείται με σταθερή 6: (5.0 + expand_sexence_lengths) / 6.0 → (5 + [1]) / 6 = [1], [1]] < / b>.
    • Το Matrix sized_equence_lengths σχηματίζεται - matrix sized_expand_sease_lengths αυξάνεται στο βαθμό που καθορίζεται στο length_penalty Παράμετρος: tf.pow [1] ** 0.2] = [[1], [1]] ;
    • Οι τιμές της μήτρας διορθώνονται με ακέραιο τμήμα από το penalized_sease_lengths matrix → βαθμολογίες /= penalized_sease_lengths . (Εικόνα 10 - βαθμολογίες)
    

    3) Εάν Coverage_Penalty! = 0 , τότε, εκτελέστε τις ακόλουθες ενέργειες:

    • the matrix equal is formed by the matrix accumulated_attention using the function tf.equal (accumulated_attention, 0.0) tf.expand_dims (sequence_lengths, 1), δηλ. Ελέγχουμε τα στοιχεία της μήτρας για την ισότητα στο μηδέν. (Εικόνα 11 - ίση μήτρα)
    
    • Η μήτρα accument_attention χρησιμοποιείται για να σχηματίσει μια μήτρα ones_like μονάδες χρησιμοποιώντας τη συνάρτηση ; (Εικόνα 12 - ones_ike matrix)
      
      • Χρησιμοποιώντας τη συνάρτηση tf. Από x αν το στοιχείο από ίσο είναι ίσο με ένα , διαφορετικά από y. Δεδομένου ότι όλα τα στοιχεία του Equal Matrix είναι ίσα με μηδέν , όλες οι τιμές θα ληφθούν από y . (Εικόνα 13 - Matrix Accustruals_attention)
        
        • coverage_penalty σχηματίζεται - η ελάχιστη τιμή λαμβάνεται από το accument_attention matrix και μονάδα και ο λογαρίθμιος υπολογίζεται, ο axis = 1)/b>; (Εικόνα 14 - Coverage_Penalty Matrix)
        
        • Το Coverage_Penalty Matrix που λαμβάνεται στο προηγούμενο βήμα πολλαπλασιάζεται με το Matrix Τελειωμένο Coverage_Penalty *= τελείωσε ; (Εικόνα 15 - Coverage_Penalty)
        
        • Οι βαθμολογίες Matrix προσαρμόζονται από την καθορισμένη τιμή Coverage_Penalty από τις παραμέτρους και την υπολογιζόμενη coverage_penalty matrix - βαθμολογίες += self.coverage_penalty * tf.expand_dims (coveryage_penalty, 1) . (Εικόνα 16 - Matrix βαθμολογίας)
        

        Το επόμενο βήμα περιλαμβάνει τη συνεργασία με τους πίνακες βαθμολογιών και συνολικών_probs. Η βαθμολογία matrix αναμορφώνεται από το tf.reshape (βαθμολογίες, [-1, beam_size * vocab_size]) . (Εικόνα 17 - Matrix βαθμολογίας)

        

        Η μήτρα total_probs αναμορφώνεται από το tf.reshape (βαθμολογίες, [-1, beam_size * vocab_size]) . (Εικόνα 18 - Matrix Total_Probs)

        

        Το επόμενο βήμα είναι να υπολογίσετε το id Targens Tarkens sample_ids και οι βαθμολογίες για αυτά τα μάρκες sample_scores :

        • Χρησιμοποιώντας τη συνάρτηση tf.nn.top_k Target = _blank href = "https://www.tensorflow.org/api_docs/python/tf/math/top_k"> tf.nn.top_k (Εικόνα 19 - top_scores και matrix top_ids)
        
        • Η μήτρα top_scores διαιρείται με την τιμή της παράμεσης sampling_temperature . (Εικόνα 20 - Παράμετρος Sampling_Temperature)
        
        • Από το διορθωμένο matrix top_scores χρησιμοποιώντας τη συνάρτηση tf.random.categoral Οι δείκτες των eLements στο αριθμό των beamere είναι extracted; (Εικόνα 21 - Sample_ids)
        
        • Με τους δείκτες στοιχείων, χρησιμοποιώντας τη συνάρτηση tf.gather, οι δείκτες συμβόλων εξάγονται από το matrix top_ids . (Εικόνα 22 - δείκτες συμβόλων)
        
        • Με τους δείκτες στοιχείων, οι βαθμολογίες για αυτά τα μάρκες εξάγονται από τη μήτρα βαθμολογίας χρησιμοποιώντας το tf.gather Λειτουργία. (Εικόνα 23 - Sample_scores Matrix)
        

        Στη συνέχεια, η μήτρα cum_log_probs σχηματίζεται από τις τιμές που λαμβάνονται sample_ids από το matrix total_probs . (Image 24 - cum_log_probs matrix) word_ids matrix σχηματίζεται διαιρώντας το υπόλοιπο με vocab_size τιμή → word_ids = sample_ids % vocab_size = [9 12]

        

        Από την ακέραια διαίρεση με την τιμή του vocab_size Το matrix beam_ids → beam_ids = sample_ids // vocab_size = [9 12] // 26 = [0 0] σχηματίζεται από τις ληφθείσες τιμές sample_ids , by integer με την τιμή του vocab_size .

        Χρησιμοποιώντας τις ληφθείσες word_ids και beam_ids matrices και το beam_size , το beam_size σχηματίζεται → beam_indices = (tf.Range (tf.shape (word_ids) ([0 1] // 2) * 2 + [0 0 0] = [0 0] .

        Ένα περαιτέρω βήμα περιλαμβάνει την ανακατανομή των Matrixes Sequence_Lengths, Finish και Sequence_Lengths ως εξής:

        • sequence_lengths redix είναι επαναπροσδιορισμένη → sequence_lengths = tf.where (τελικό, x = sequence_lengths, y = sequence_lengths + 1). (Image 25 - Sequence_Lengths Matrix)
        
        • (0 0], [0 0]) = [0 0] ;
        • sequence_lengths redefined → τελικό = tf.gather (sequence_lengths, beam_indices) → tf.gather ([1 1 1], [0 0]) = [1 1] .

        Μετά από αυτό θα γίνει η εργασία με το λεξικό extra_vars , ως εξής:

        • Η μήτρα sequence_lengths αποθηκεύεται στο λεξικό extra_vars από το sequence_lengths πλήκτρο → extra_vars = {"sequence_lengths": sequence_lengths};
        • beam_ids και οι τρέχουσες τιμές βημάτων είναι γραμμένες στο λεξικό extra_vars χρησιμοποιώντας το parent_ids key → extra_vars = {"parent_ids": parent_ids.write (step, beam_ids)};
        • συσσωρευμένο matrix αποθηκεύεται στο λεξικό extra_vars από το κλειδί accumulated_attention → tf.gather (accument_attention, beam_indices); )
        
        • Οι ληφθείσες τιμές ελέγχονται για την ισότητα με το token και το matrix

          Αυτό ολοκληρώνει το βήμα 0, τα matrices word_ids , cum_log_probs , και το λεξικό extra_vars μεταβιβάζονται στην αρχή του βρόχου και ολόκληρης της διαδικασίας που περιγράφονται παραπάνω. (Εικόνα 27 - Matrices word_ids, cum_log_probs, τελειωμένο και λεξικό extra_vars)

          

          Σύναψη

          Σε αυτό το άρθρο, εξετάσαμε διεξοδικά τον μηχανισμό συμπερασμάτων ενός εκπαιδευμένου μοντέλου χρησιμοποιώντας τη συμβολοσειρά παραδείγματος "το ξέρει". Ξεκινήσαμε περιγράφοντας την αρχιτεκτονική μοντέλου και τις βασικές παράμετροι που καθορίζουν τη δομή του, όπως το μέγεθος του λεξιλογίου, τον αριθμό των μονάδων και των στρωμάτων.

          Η διαδικασία της εκπροσώπησης και της επεξεργασίας κωδικοποιητή ήταν λεπτομερής, υπογραμμίζοντας τον μετασχηματισμό των μαρκών εισόδου μέσω του κωδικοποιητή χωρίς να εφαρμόζεται εγκατάλειψη, εξασφαλίζοντας έτσι τη συνοχή με τη φάση κατάρτισης. Συζητήσαμε την αρχικοποίηση των παραμέτρων συμπερασμάτων και τη δομή βρόχου που διέπει την επαναληπτική διαδικασία αποκωδικοποίησης, υπογραμμίζοντας τις διάφορες μήτρες που εμπλέκονται, συμπεριλαμβανομένων των log_probs, του Total_probs και της διαχείρισης των κυρώσεων.

          Στο δεύτερο μέρος αυτού του άρθρου θα καλύψουμε το βήμα 1, το βήμα 2 και το βήμα 3 αντίστοιχα, όπου θα αποκαλυφθούν οι λεπτομέρειες του μηχανισμού συμπερασμάτων.

          • μετάφραση #Machine
          • #business
          
          
          Δοκιμάστε δωρεάν

          Είστε έτοιμοι να εξερευνήσετε παγκόσμιες ευκαιρίες με το λογισμικό μας; Είμαστε εδώ για να σας καθοδηγήσουμε και να αντιμετωπίσουμε τυχόν ερωτήματα που μπορεί να έχετε σχετικά με τα προϊόντα Lingvanex.

          Επικοινωνήστε μαζί μας
          › Επιστροφή στη λίστα των άρθρων

          Περισσότερες διαβάσει αναμονή

          

          Το καλύτερο μοντέλο μετάφρασης αγγλικών-αραβικών στον κόσμο

          March 6, 2025

          

          Κείμενο σε ομιλία για τηλεφωνικά κέντρα

          January 8, 2025

          

          AI Περιεχόμενο γενιάς εναντίον ανθρώπινων συγγραφέων: χτυπώντας τη σωστή ισορροπία

          December 18, 2024

          Εξερευνώ
          ↑
          ×