Politique d'assurance qualité

Introduction

Chez Lingvanex, notre plan d'assurance qualité est un élément fondamental de notre stratégie de gestion de projet, garantissant que notre logiciel Lingvanex basé sur AI Enterprise Translation répond aux exigences, objectifs et normes établis lors de sa livraison aux clients. Ce processus est conçu pour minimiser le risque de défauts, de retards et de dépassements de coûts, évitant ainsi d'éventuelles perturbations du projet et garantissant la satisfaction du client. En mettant en œuvre un plan d'assurance qualité solide, nous offrons aux parties prenantes et aux clients l'assurance que nos traductions sont exactes, fiables et de la plus haute qualité. Cette politique décrit l'approche structurée que nous adoptons pour atteindre et maintenir ces normes de qualité dans nos solutions, garantissant que le produit final répond systématiquement à leurs attentes ou les dépasse.

Objectifs

• Fournissez des traductions de haute qualité qui respectent ou dépassent les normes internationales du secteur.
• Obtenez des résultats à partir de tests de qualité de modèles linguistiques qui correspondent ou dépassent les normes de qualité de l'industrie sur les métriques COMET et BLEU pour toutes les paires de langues.
• Assurez-vous que la solution est fiable, évolutive et facile à intégrer dans les applications clientes.
• Minimisez les défauts et assurez une résolution rapide des problèmes.

Acteurs et rôles

• Chef de projet. Superviser l’exécution du projet, gérer les échéanciers et les ressources, assurer la communication entre les parties prenantes.
• Équipe de développement. Développer la solution de traduction, implémenter les fonctionnalités, corriger les bugs et optimiser les performances.
• Équipe d'assurance qualité. Effectuer des tests, surveiller les mesures de qualité, identifier et résoudre les défauts et assurer la conformité aux normes de qualité.
• Équipe ML. Formez et affinez les modèles de langage ML, évaluez les performances des modèles et mettez en œuvre des améliorations.
• Equipe linguistique. Compilez et validez les ensembles de données de test, évaluez les sorties de modèles, classez et analysez les erreurs, fournissez une expertise sur la précision du langage et soutenez l'évaluation des modèles.
• Clients/Clients. Fournissez des exigences, des commentaires et validez la solution.

Processus et procédures d'assurance qualité pour la formation des modèles de langage ML

Collecte des exigences

• Objectif du modèle. Quelle tâche spécifique le modèle doit-il effectuer ?
• Exigences en matière de données. Type, volume et qualité des données de formation nécessaires.
• Mesures d'évaluation. Comment le succès du modèle sera-t-il mesuré (par exemple, score BLEU, évaluation humaine) ?
• Considérations éthiques. Identifiez les biais potentiels dans les données et assurez-vous que les résultats du modèle sont justes et impartiaux.

Développement

• Méthodologie Agile. Décomposez le processus de formation en cycles itératifs plus petits.
• Intégration continue. Intégrer et tester régulièrement les modifications de code.
• Contrôle de version. Suivez les modifications dans l’architecture du modèle et les paramètres de formation.

Essai

• Validation des données. Assurez-vous que les données sont propres, correctement formatées et sans erreurs.
• Test de code. Vérifiez le code pour détecter les erreurs qui pourraient avoir un impact sur la stabilité ou la convergence de la formation.
• Tests d'intégration. Assurez-vous que les différents composants de la solution fonctionnent ensemble de manière transparente.

Test du système (évaluation du modèle)

• Évaluez les performances du modèle par rapport à des mesures prédéfinies à l’aide de données de test conservées.
• Analyser les résultats pour détecter d’éventuels biais ou erreurs.
• Assurez-vous que les modèles ne dépassent pas la taille d'environ 184 Mo pour de meilleures performances.

Tests d'acceptation

• Impliquer des experts humains (équipe linguistique) pour évaluer les résultats du modèle en termes de fluidité, de précision et d’alignement avec les exigences.
• L'équipe linguistique évalue la qualité des traductions en annotant les résultats des tests, en identifiant les configurations qui produisent des traductions correctes et en mettant en évidence les itérations avec des traductions réussies ou médiocres. Cela peut conduire à une formation supplémentaire ou à des ajustements des paramètres.

Tests de performance

• Évaluer les performances du modèle sous diverses charges de données et conditions réelles.
• Comparaison avec des modèles alternatifs, le cas échéant.

Tests de régression

• Réentraînez le modèle sur des données mises à jour et réévaluez les performances pour garantir l'absence de dégradation.
• Surveillez les performances du modèle en production pour détecter toute dérive au fil du temps.

Gestion des défauts

• Problèmes de qualité des données. Problèmes tels que des valeurs manquantes ou des incohérences dans les données.
• Erreurs de formation. Des défis tels que des problèmes de convergence ou de surajustement lors de l'entraînement du modèle.
• Déficiences des résultats du modèle. Problèmes de sortie, y compris des résultats factuellement incorrects ou biaisés.
• Analyse des erreurs. Les linguistes analysent les traductions pour déceler les erreurs, classent ces dernières et, si possible, identifient leurs causes profondes. L'équipe technique utilise ensuite ces informations pour effectuer des corrections, qui sont ensuite testées pour vérifier si le problème persiste ou a été résolu.

Processus d'approbation

• Qualité des données. Avant le début de la formation.
• Performance du modèle. Pendant les itérations de développement.
• Modèle final. Avant le déploiement.

Mesures de la qualité et indicateurs clés de performance

Indicateurs de qualité

• Nous évaluons la qualité de nos modèles en calculant des métriques sur les ensembles de données de test flores200 et NTREX-128 et en utilisant nos propres ensembles de données de test compilés par l'équipe de linguistes.

Indicateurs clés de performance (KPI)

• Satisfaction du client. Mesurer par des sondages et des retours d'expérience.
• Disponibilité et fiabilité. Surveillez les mesures de disponibilité et de fiabilité du système.
• Évolutivité. Évaluer les performances du système dans des conditions de charge croissantes.
• Taux de réussite de l'intégration. Pourcentage d'intégrations réussies avec les applications clientes.

Mises à jour du plan d'assurance qualité

Examens réguliers

• Prévoir des révisions périodiques du plan d’assurance qualité.
• Analyser les mesures de qualité et les indicateurs clés de performance pour identifier les domaines à améliorer.
• Mettre à jour les processus, les procédures et la documentation en fonction des résultats de l’examen.

Amélioration continue

• Favoriser une culture d’amélioration continue.
• Encouragez les commentaires de toutes les parties prenantes et intégrez-les dans le processus d’assurance qualité.
• Mettre en œuvre les meilleures pratiques et les leçons apprises des projets passés.