Kebijakan Penjaminan Mutu

1. Pendahuluan

Di Lingvanex, Rencana Jaminan Kualitas kami merupakan bagian mendasar dari strategi manajemen proyek kami, yang memastikan bahwa perangkat lunak Lingvanex kami yang berbasis pada Terjemahan Perusahaan AI memenuhi persyaratan, tujuan, dan standar yang ditetapkan saat dikirimkan kepada pelanggan. Proses ini dirancang untuk meminimalkan risiko cacat, keterlambatan, dan pembengkakan biaya, mencegah potensi gangguan proyek, dan memastikan kepuasan pelanggan. Dengan menerapkan rencana jaminan kualitas yang kuat, kami memberikan keyakinan kepada para pemangku kepentingan dan pelanggan bahwa terjemahan kami akurat, andal, dan memiliki kualitas terbaik. Kebijakan ini menguraikan pendekatan terstruktur yang kami ambil untuk mencapai dan mempertahankan standar kualitas ini dalam solusi kami, yang memastikan bahwa produk akhir secara konsisten memenuhi atau melampaui harapan mereka.

Tujuan:

• Memberikan terjemahan berkualitas tinggi yang memenuhi atau melampaui standar industri internasional.
• Dapatkan hasil dari pengujian kualitas model bahasa yang sesuai atau melampaui standar kualitas industri pada metrik COMET dan BLEU untuk semua pasangan bahasa.
• Pastikan solusinya andal, terukur, dan mudah diintegrasikan ke dalam aplikasi klien.
• Minimalkan cacat dan pastikan penyelesaian masalah tepat waktu.

2. Pemangku kepentingan dan peran

Para pemangku kepentingan:

• Manajer Proyek
• Tim Pengembangan
• Tim Penjaminan Mutu
• Tim ML
• Tim Linguistik
• Pelanggan/Klien

Peran dan Tanggung Jawab:

• Manajer Proyek:Mengawasi pelaksanaan proyek, mengelola jadwal dan sumber daya, memastikan komunikasi di antara para pemangku kepentingan.
• Tim Pengembang:Mengembangkan solusi penerjemahan, menerapkan fitur, memperbaiki bug, dan mengoptimalkan kinerja.
• Tim Penjaminan Mutu:Melakukan pengujian, memantau metrik kualitas, mengidentifikasi dan mengatasi cacat, serta memastikan kepatuhan terhadap standar kualitas.
• Tim ML:Melatih dan menyempurnakan model bahasa ML, mengevaluasi kinerja model, dan menerapkan perbaikan.
• Tim Linguistik:Mengumpulkan dan memvalidasi kumpulan data uji, mengevaluasi keluaran model, mengklasifikasikan dan menganalisis kesalahan, menyediakan keahlian mengenai akurasi bahasa, dan mendukung evaluasi model.
• Pelanggan/Klien:Memberikan persyaratan, umpan balik, dan memvalidasi solusi.

3. Proses dan Prosedur Penjaminan Mutu untuk Pelatihan Model Bahasa ML

Pengumpulan Persyaratan:

• Kolaborasi dengan Pemangku Kepentingan:Tentukan tujuan model, persyaratan data, metrik evaluasi, dan pertimbangan etika.
• Tujuan Model:Tugas spesifik apa yang harus dilakukan model tersebut?
• Persyaratan Data:Jenis, volume, dan kualitas data pelatihan yang dibutuhkan.
• Metrik Evaluasi:Bagaimana keberhasilan model akan diukur (misalnya, skor BLEU, evaluasi manusia)
• Pertimbangan Etis:Identifikasi potensi bias dalam data dan pastikan keluaran model adil dan tidak bias.

Perkembangan:

• Metodologi Agile:Memecah proses pelatihan menjadi beberapa siklus berulang yang lebih kecil.
• Integrasi Berkelanjutan:Integrasikan dan uji perubahan kode secara berkala.
• Kontrol Versi:Melacak perubahan dalam arsitektur model dan parameter pelatihan.

Pengujian:

• Validasi Data:Pastikan data bersih, diformat dengan benar, dan bebas dari kesalahan
• Pengujian Kode:Verifikasi kode untuk kesalahan yang dapat memengaruhi stabilitas atau konvergensi pelatihan.
• Pengujian Integrasi:Pastikan berbagai komponen solusi bekerja sama dengan lancar.

Pengujian Sistem (Evaluasi Model):

• Mengevaluasi kinerja model terhadap metrik yang telah ditentukan menggunakan data uji yang ditahan.
• Menganalisis keluaran untuk potensi bias atau kesalahan.
• Pastikan model tidak melebihi ukuran sekitar 184 MB untuk kinerja yang lebih baik.

Pengujian Penerimaan:

• Melibatkan pakar manusia (Tim Linguistik) untuk mengevaluasi keluaran model untuk kelancaran, keakuratan, dan keselarasan dengan persyaratan
• Tim Linguistik menilai kualitas terjemahan dengan memberi anotasi pada hasil pengujian, mengidentifikasi konfigurasi mana yang menghasilkan terjemahan yang benar, dan menyorot iterasi dengan terjemahan yang berhasil atau buruk. Hal ini dapat menyebabkan pelatihan tambahan atau penyesuaian pada pengaturan.

Pengujian Kinerja:

• Menilai kinerja model dalam berbagai beban data dan kondisi dunia nyata.
• Lakukan tolok ukur terhadap model alternatif, jika berlaku.

Pengujian Regresi:

• Latih ulang model pada data yang diperbarui dan evaluasi ulang kinerja untuk memastikan tidak ada penurunan.
• Pantau kinerja model dalam produksi untuk mendeteksi adanya penyimpangan dari waktu ke waktu.

Manajemen Cacat:

• Melacak dan mengatasi masalah yang terkait dengan:
• Masalah Kualitas Data:(misalnya, nilai yang hilang, ketidakkonsistenan)
• Kesalahan Pelatihan:(misalnya, masalah konvergensi, overfitting)
• Kekurangan Keluaran Model:(misalnya, tidak benar secara fakta, bias)
• Analisis Kesalahan:Ahli bahasa menganalisis terjemahan untuk menemukan kesalahan, mengklasifikasikan kesalahan tersebut, dan, jika memungkinkan, mengidentifikasi akar penyebabnya. Tim teknis kemudian menggunakan informasi ini untuk melakukan perbaikan, yang diuji untuk memverifikasi apakah masalah tersebut masih ada atau telah teratasi.

Proses Persetujuan:

• Titik pemeriksaan ditetapkan untuk peninjauan dan persetujuan:
• Kualitas Data:Sebelum pelatihan dimulai.
• Kinerja Model:Selama iterasi pengembangan.
• Model Akhir:Sebelum penempatan.

4. Metrik Kualitas dan Indikator Kinerja Utama

Metrik Kualitas:

• Kami mengevaluasi kualitas model kami dengan menghitung metrik pada dataset uji flores200 dan NTREX-128 dan menggunakan dataset uji kami sendiri yang disusun oleh tim ahli bahasa.

Indikator Kinerja Utama (KPI):

• Kepuasan Pelanggan:Mengukur melalui survei dan umpan balik.
• Waktu Aktif dan Keandalan:Pantau waktu aktif sistem dan metrik keandalan.
• Skalabilitas:Mengevaluasi kinerja sistem saat kondisi beban meningkat.
• Tingkat Keberhasilan Integrasi:Persentase integrasi yang berhasil dengan aplikasi klien.

5. Pemutakhiran Rencana Penjaminan Mutu

Ulasan Reguler:

• Jadwalkan tinjauan berkala terhadap rencana jaminan mutu.
• Menganalisis metrik kualitas dan KPI untuk mengidentifikasi area yang perlu ditingkatkan.
• Perbarui proses, prosedur, dan dokumentasi berdasarkan temuan tinjauan.

Peningkatan Berkelanjutan:

• Membangun budaya perbaikan berkelanjutan.
• Dorong masukan dari semua pemangku kepentingan dan masukkan ke dalam proses jaminan mutu.
• Terapkan praktik terbaik dan pelajaran yang dipelajari dari proyek sebelumnya.