Krijoni sistemin tuaj të përkthimit me makinë për çdo domen dhe detyrë biznesi
Pako e veglave të përkthimit në makinë
Përgatitja e të dhënave
Analizoni, filtroni, shënoni korpuset paralele dhe njëgjuhëshe. Create blocks for test and validation dataAnalizoni, filtroni, shënoni korpuset paralele dhe njëgjuhëshe.
Trajnim model
Trajnoni arkitekturën nervore me porosi me lista paralele të punës, analitikë GPU dhe vlerësim të cilësisë
Vendosja
Kur të përfundojë trajnimi i modelit, ai mund të vendoset automatikisht si API ose i disponueshëm për t’u shkarkuar për përdorim jashtë linje
Nga fillestari në Ekspert
Paneli kombinon teknikat më të fundit gjuhësore dhe statistikore që përdoren për të trajnuar softuerin në domenet e klientëve dhe për të përmirësuar cilësinë e përkthimit. Në foton më poshtë: në të djathtë është një listë e detyrave dhe serverëve GPU në të cilët modelet janë duke u trajnuar. Në qendër janë parametrat e rrjetit nervor dhe më poshtë janë grupet e të dhënave që do të përdoren për trajnim.
Punojnë me Të dhëna paralele
Puna për një gjuhë të re filloi me përgatitjen e grupeve të të dhënave. Paneli ka shumë grupe të dhënash të paracaktuara nga burime të hapura si Wikipedia, Parlamenti Evropian, Paracrawl, Tatoeba dhe të tjerë. Për të arritur një cilësi mesatare përkthimi, mjaftojnë 5 milion rreshta të përkthyera.
Fjalor dhe Tuning Tokenizer
Grupet e të dhënave janë rreshta teksti të përkthyera nga një gjuhë në tjetrën. Më pas, tokenizuesi e ndan tekstin në shenja dhe krijon fjalorë prej tyre, të renditur sipas shpeshtësisë së takimit me token. Shenja mund të jetë ose karaktere të vetme, rrokje ose fjalë të tëra. Me Lingvanex Data Studio mund të kontrolloni të gjithë procesin e krijimit të fjalorëve të shenjave SentencePiece për çdo gjuhë veç e veç.
Filtrimi i të dhënave dhe Vlerësimi i cilësisë
Më shumë se 20 filtra janë të disponueshëm për të filtruar korpuset paralele dhe njëgjuhëshe për të marrë të dhënat cilësore nga burimi i hapur ose të dhënat e analizuara. Ju mund të shënoni entitete me emër, shifra dhe çdo shenjë tjetër për të trajnuar sistemin për të lënë disa fjalë të papërkthyera ose të përkthyera në një mënyrë specifike.
