Política de garantía de calidad

Introducción

En Lingvanex, nuestro plan de garantía de calidad es una parte fundamental de nuestra estrategia de gestión de proyectos, ya que garantiza que nuestro software Lingvanex basado en AI Enterprise Translation cumple con los requisitos, objetivos y estándares establecidos durante la entrega a los clientes. Este proceso está diseñado para minimizar el riesgo de defectos, demoras y sobrecostos, lo que evita posibles interrupciones del proyecto y garantiza la satisfacción del cliente. Al implementar un sólido plan de garantía de calidad, brindamos a las partes interesadas y a los clientes la confianza de que nuestras traducciones son precisas, confiables y de la más alta calidad. Esta política describe el enfoque estructurado que adoptamos para lograr y mantener estos estándares de calidad en nuestras soluciones, lo que garantiza que el producto final cumpla o supere constantemente sus expectativas.

Objetivos

• Entregar traducciones de alta calidad que cumplan o superen los estándares internacionales de la industria.
• Obtenga resultados de pruebas de calidad de modelos de idiomas que se ajusten o superen los estándares de calidad de la industria en las métricas COMET y BLEU para todos los pares de idiomas.
• Asegúrese de que la solución sea confiable, escalable y fácil de integrar en las aplicaciones del cliente.
• Minimizar los defectos y garantizar la resolución oportuna de los problemas.

Partes interesadas y roles

• Gerente de proyecto. Supervisar la ejecución del proyecto, gestionar los plazos y los recursos, garantizar la comunicación entre las partes interesadas.
• Equipo de desarrollo. Desarrollar la solución de traducción, implementar funciones, corregir errores y optimizar el rendimiento.
• Equipo de garantía de calidad. Realizar pruebas, supervisar métricas de calidad, identificar y resolver defectos y garantizar el cumplimiento de los estándares de calidad.
• Equipo ML. Entrene y ajuste modelos de lenguaje ML, evalúe el rendimiento de los modelos e implemente mejoras.
• Equipo Lingüístico. Compilar y validar conjuntos de datos de prueba, evaluar resultados de modelos, clasificar y analizar errores, brindar experiencia en precisión del lenguaje y respaldar la evaluación de modelos.
• Clientes/Clientes. Proporcionar requisitos, retroalimentación y validar la solución.

Procesos y procedimientos de garantía de calidad para el entrenamiento de modelos de lenguaje de aprendizaje automático

Recopilación de requisitos

• Propósito del modelo. ¿Qué tarea específica debe realizar el modelo?
• Requisitos de datos. Tipo, volumen y calidad de datos de entrenamiento necesarios.
• Métricas de evaluación. ¿Cómo se medirá el éxito del modelo (por ejemplo, puntuación BLEU, evaluación humana)?
• Consideraciones éticas. Identificar posibles sesgos en los datos y garantizar que los resultados del modelo sean justos e imparciales.

Desarrollo

• Metodología Ágil. Divida el proceso de capacitación en ciclos iterativos más pequeños.
• Integración continua. Integrar y probar periódicamente los cambios de código.
• Control de versiones. Seguimiento de cambios en la arquitectura del modelo y los parámetros de entrenamiento.

Pruebas

• Validación de datos. Asegúrese de que los datos estén limpios, formateados correctamente y libres de errores.
• Prueba de código. Verifique el código en busca de errores que puedan afectar la estabilidad o convergencia del entrenamiento.
• Pruebas de integración. Asegúrese de que los diferentes componentes de la solución funcionen juntos sin problemas.

Prueba del sistema (evaluación del modelo)

• Evalúe el rendimiento del modelo frente a métricas predefinidas utilizando datos de prueba almacenados.
• Analizar los resultados para detectar posibles sesgos o errores.
• Asegúrese de que los modelos no excedan el tamaño de aproximadamente 184 MB para un mejor rendimiento.

Pruebas de aceptación

• Involucrar a expertos humanos (equipo lingüístico) para evaluar los resultados del modelo en cuanto a fluidez, precisión y alineación con los requisitos.
• El equipo lingüístico evalúa la calidad de las traducciones anotando los resultados de las pruebas, identificando qué configuraciones producen traducciones correctas y resaltando las iteraciones con traducciones correctas o deficientes. Esto puede dar lugar a capacitación adicional o ajustes en la configuración.

Pruebas de rendimiento

• Evalúe el rendimiento del modelo bajo diversas cargas de datos y condiciones del mundo real.
• Comparar con modelos alternativos, si corresponde.

Prueba de regresión

• Vuelva a entrenar el modelo con datos actualizados y vuelva a evaluar el rendimiento para garantizar que no haya degradación.
• Supervise el rendimiento del modelo en producción para detectar cualquier desviación a lo largo del tiempo.

Gestión de defectos

• Problemas de calidad de datos. Problemas como valores faltantes o inconsistencias en los datos.
• Errores de entrenamiento. Desafíos como problemas de convergencia o sobreajuste durante el entrenamiento del modelo.
• Deficiencias de la salida del modelo. Problemas con los resultados, incluidos resultados factualmente incorrectos o sesgados.
• Análisis de errores. Los lingüistas analizan las traducciones en busca de errores, los clasifican y, cuando es posible, identifican sus causas. El equipo técnico utiliza esta información para realizar correcciones, que se prueban para verificar si el problema persiste o se ha resuelto.

Procesos de aprobación

• Calidad de los datos. Antes de que comience el entrenamiento.
• Rendimiento del modelo. Durante las iteraciones de desarrollo.
• Modelo final. Antes del despliegue.

Métricas de calidad e indicadores clave de desempeño

Métricas de calidad

• Evaluamos la calidad de nuestros modelos calculando métricas en los conjuntos de datos de prueba flores200 y NTREX-128 y utilizando nuestros propios conjuntos de datos de prueba compilados por el equipo de lingüistas.

Indicadores clave de rendimiento (KPI)

• Satisfacción del cliente. Medir a través de encuestas y retroalimentación.
• Tiempo de actividad y confiabilidad. Supervisar el tiempo de actividad del sistema y las métricas de confiabilidad.
• Escalabilidad. Evaluar el rendimiento del sistema en condiciones de carga creciente.
• Tasa de éxito de integración. Porcentaje de integraciones exitosas con aplicaciones cliente.

Actualizaciones del Plan de Aseguramiento de la Calidad

Reseñas periódicas

• Programar revisiones periódicas del plan de garantía de calidad.
• Analizar métricas de calidad y KPI para identificar áreas de mejora.
• Actualizar procesos, procedimientos y documentación según los hallazgos de la revisión.

Mejora continua

• Fomentar una cultura de mejora continua.
• Fomentar la retroalimentación de todas las partes interesadas e incorporarla al proceso de garantía de calidad.
• Implementar las mejores prácticas y lecciones aprendidas de proyectos anteriores.