모든 도메인 및 비즈니스 작업을 위한 고유한 기계 번역 시스템 생성
기계 번역 툴킷
데이터 준비
구문 분석, 필터, 마크업 병렬 및 단일 언어 말뭉치. 테스트 및 검증 데이터용 블록 생성
모델 교육
병렬 작업 목록, GPU 분석 및 품질 평가로 맞춤형 신경 아키텍처 교육
전개
모델 교육이 완료되면 API로 자동 배포하거나 오프라인 사용을 위해 다운로드할 수 있습니다.
초보자부터 전문가
Dashboard는 소프트웨어를 고객 도메인으로 교육하고 번역 품질을 개선하는 데 사용되는 최신 언어 및 통계 기술을 결합합니다. 아래 그림에서 오른쪽은 모델이 훈련되는 작업 및 GPU 서버 목록입니다. 중앙에는 신경망의 매개변수가 있고 아래에는 훈련에 사용할 데이터 세트가 있습니다.
작업 병렬 데이터
새로운 언어 작업은 데이터 세트 준비로 시작되었습니다. 대시보드에는 Wikipedia, European Parliament, Paracrawl, Tatoeba 등과 같은 오픈 소스의 사전 정의된 데이터 세트가 많이 있습니다. 평균적인 번역 품질에 도달하려면 5백만 개의 번역 라인이면 충분합니다.
사전 그리고 토크나이저 조정
데이터 세트는 한 언어에서 다른 언어로 번역된 텍스트 줄입니다. 그런 다음 토크나이저는 텍스트를 토큰으로 분할하고 토큰을 만나는 빈도에 따라 정렬된 사전을 만듭니다. 토큰은 단일 문자, 음절 또는 전체 단어일 수 있습니다. Lingvanex Data Studio를 사용하면 모든 언어에 대해 SentencePiece 토큰 사전을 만드는 전체 프로세스를 개별적으로 제어할 수 있습니다.
데이터 필터링 그리고 품질 평가
20개 이상의 필터를 사용하여 병렬 및 단일 언어 말뭉치를 필터링하여 오픈 소스 또는 구문 분석된 데이터에서 품질 데이터 세트를 얻을 수 있습니다. 명명된 엔터티, 숫자 및 기타 토큰을 마크업하여 일부 단어를 특정 방식으로 번역되지 않거나 번역된 상태로 두도록 시스템을 훈련할 수 있습니다.
