Mes suteikiame mokantiems vartotojams pažangesnius DI modelius. Štai kodėl.

Noriu pasidalinti kažkuo, ką nusprendėme šią savaitę – ne po to, kai tai buvo išleista, o kol dar kuriame.

Keičiame, kaip dirbtinio intelekto modeliai paskirstomi tarp mūsų vartotojų lygių. Mokantys vartotojai svetainėje MachineTranslation.com netrukus gaus prieigą prie pažangesnių dirbtinio intelekto modelių iš pirmaujančių tiekėjų — OpenAI, Anthropic, Google, DeepSeek ir kitų. Nemokami vartotojai ir toliau gaus pajėgų, patikimą vertimą — bet ne tuos pačius modelius. Ta spraga yra tyčinė, ir noriu paaiškinti, kodėl tiksliai priimame šį sprendimą.

Verčiau tai parašyčiau dabar, kol argumentai yra švieži ir sprendimas dar šiek tiek neapdorotas, nei laukti, kol tai bus įgyvendinta, ir pateikti tai kaip nugludintą pranešimą. Sąžininga versija yra naudingesnė.

Turinys

• Kodėl apie tai galvojome jau kurį laiką
• Kas pakeitė mūsų nuomonę: Vidinis testas
• Sąžininga pakopų sudarymo priežastis
• Kaip tai atrodys vartotojams
• Ką dar aiškinamės
• DUK

Kodėl apie tai galvojame jau kurį laiką

MachineTranslation.com verčia naudodama 22 dirbtinio intelekto modelius vienu metu ir taiko konsensusu pagrįstą metodą, kad pateiktų geriausią rezultatą. Tai visada buvo mūsų veiklos esmė — nestatyti visko ant vieno modelio, o lyginti kelis ir leisti rezultatams kalbėti patiems už save.

Nemalonioji šio požiūrio pusė yra ta, kad jis labai aiškiai parodo kokybės skirtumus tarp modelių. Matome kasdien, kad ne visi modeliai vienodai gerai apdoroja visą tekstą. Ir ilgą laiką mes neleidome šiam stebėjimui pakeisti, kaip paskirstėme modelius vartotojams.

Ne visi modeliai yra lygūs, ir mes turime duomenų tai įrodyti

Prieš kelias savaites, Rachelle (mūsų dirbtinio intelekto vadovė) supažindino mus su vidiniu įrankiu, kurį buvome sukūrę vertimo kokybei tikrinti vienu metu naudojant kelis GPT modelius — įskaitant GPT 4.1 nano, GPT 4.1 mini, GPT 5.4 mini ir kitus. Įvedate tą patį šaltinio tekstą ir matote kiekvieno modelio išvestį vieną šalia kitos.

Ką tas įrankis iškart paaiškina, yra tai: paprastame, trumpame, kasdieniame tekste išvestys yra beveik identiškos. Tikrai negalite pagrįsti kokybiško argumento aukščiausios klasės modeliams dėl „susitikimas yra 15 val.“

Tačiau kalbant apie bet ką, kas turi tikrą lingvistinį sudėtingumą (idiomatines frazes, srities terminologiją, ilgus dokumentus, kuriuose kontekstas turi persikelti per tūkstančius žodžių), atotrūkis tarp modelių atsiveria, ir jis atsiveria taip, kad tai svarbu profesionaliai.

Kur žemesnio lygio modeliai tyliai atsilieka

Tai yra ta dalis, apie kurią, manau, vertimų pramonė nešneka pakankamai nuoširdžiai. Žemesnio lygio modeliai paprastai nesukuria akivaizdžiai klaidingų vertimų. Jie sukuria vertimus, kurie paviršutiniškai atrodo gerai, tačiau turi subtilių klaidų, kurias dalyko ekspertas (teisininkas, medicinos specialistas, vyresnysis lokalizacijos vadovas) iš karto pastebėtų.

Sąlyginis sakinys, išverstas neteisinga prasme. Teisinis terminas, reiškiantis kažką specifinio toje jurisdikcijoje, išverstas kaip jo kasdienis atitikmuo. Stiliaus poslinkis įpusėjus ilgam dokumentui, kuris pakerta viso dokumento profesinį patikimumą.

Nesėkmė yra tyli. Ir tylios nesėkmės profesionaliuose vertimuose gali būti brangios.

Kas pakeitė mūsų nuomonę: Vidinis testas

Šio sprendimo nepriėmėme remdamiesi intuicija. Išbandėme modelius su sudėtingu, idiomatiniu šaltinio tekstu (tokiu turiniu, kokį mūsų profesionalūs vartotojai iš tikrųjų turi versti) ir paprašėme lingvistų įvertinti rezultatus.

Rezultatas buvo aiškus. Pažangūs modeliai nuolat geriau tvarkė niuansus, stilių ir konkrečios srities terminologiją. Pigesni modeliai buvo daugiau nei pakankami kasdieniam naudojimui. Du naudojimo atvejai iš tiesų reikalauja skirtingų įrankių.

Keturi modeliai, tas pats sakinys, labai skirtingi rezultatai

Viduje kilęs pokalbis buvo mažiau apie kainodarą ir daugiau apie sąžiningumą. Jei žinome, kad modeliai skirtingai veikia su profesionalaus lygio turiniu, ir žinome, kad mūsų mokantys vartotojai daugiausia verčia profesionalaus lygio turinį, tada duoti jiems tą patį modelį kaip ir nemokamam vartotojui, kuris verčia atsitiktinį el. laišką, yra žalinga abiem pusėms.

Sąžininga pakopų kūrimo priežastis

Ofer (mūsų generalinis direktorius) aiškiai pasakė mūsų vidinėje diskusijoje:

 Žemesnio lygio modeliai kelia realią kokybės riziką sudėtingam ar idiomatiniam tekstui. Bet svarbiausia yra tai: konsensusas yra tik tiek geras, kiek už jo esantys modeliai. Kai mokantys vartotojai gauna pažangesnius modelius, jie gauna ne tik geresnius individualius rezultatus — jie gauna stipresnį sutarimą. Geresni modeliai, geresnis sutarimas, patikimesni vertimai. Štai ką iš tikrųjų reiškia profesionalaus lygio vertimas.

Tas požiūris man įstrigo. Tai nėra tik kainos argumentas. Tai aiškumo argumentas.

Kiek iš tikrųjų kainuoja eksploatuoti aukščiausios klasės modelius

Galingesni dirbtinio intelekto modeliai kainuoja žymiai daugiau už vieną žetoną. Tai nėra MachineTranslation.com politika, taip kiekvienas pagrindinis DI tiekėjas įkainoja savo pavyzdinius modelius. OpenAI, Anthropic, Google ir DeepSeek visi pasilieka savo naujausius, pajėgiausius modelius mokantiems klientams, nes tie modeliai yra žymiai brangesni eksploatuoti. Naudojant mūsų pažangiausią modelį kiekvienam nemokamam vertimui, kiekvienai atsitiktinei užklausai, kiekvienai užklausai „ką sako šis ženklas“, žymiai padidėtų mūsų infrastruktūros išlaidos.

Dar svarbiau, tai reikštų mažo sudėtingumo naudojimo atvejų kryžminį subsidijavimą iš skaičiavimo biudžeto, kurio mums reikia norint išlaikyti kokybę profesionalams, verčiantiems 10 000 žodžių techninius dokumentus. Tai nėra tvarus ar protingas paskirstymas.

Kodėl apsimetimas, kad visos pakopos yra lygios, niekam netarnauja

Yra šio sprendimo versija, kuri yra grynai merkantiliška – imti daugiau, duoti daugiau, paprasta. Tai iš tikrųjų nėra tai, kas tai varo.

Tai, kas tai varo, yra tai, kad mes sukūrėme platformą, kuri gali tikrai atskleisti kokybės skirtumus tarp DI modelių. Mes turime vidinius įrankius aiškiai matyti tuos skirtumus. Ignoruoti tą matomumą, kai kuriame savo vartotojų lygius, būtų tam tikras nesąžiningumas, apsimetant, kad atotrūkio nėra, kai turime įrodymų, kad jis yra.

Nemokami vartotojai nusipelno žinoti, ką jie gauna. Mokantys vartotojai nusipelno žinoti, kad gauna kažką reikšmingai skirtingo. Ir skirtumas yra ne tik prieiga prie pažangesnių modelių, bet ir prieiga prie stipresnio sutarimo, sukurto iš tų modelių. Tai yra patikimumo signalas, kurio negali suteikti joks atskiras dirbtinis intelektas.

Kaip tai atrodys vartotojams

Mes vis dar dirbame prie įgyvendinimo detalių, todėl noriu būti atsargus ir nepažadėti per daug konkrečių dalykų. Bet štai kryptis.

Kur nemokama pakopa išlieka stipri

Nemokamo plano vertimai ir toliau naudos pajėgius dirbtinio intelekto modelius. Daugumai kasdienių vertimo užduočių (trumpos žinutės, laisvalaikio skaitymas, pagrindinė korespondencija) nemokami vartotojai gaus tikslų, patikimą rezultatą. Tai nesikeičia.

Nemokama pakopa egzistuoja, nes tikime, kad kalba neturėtų būti kliūtis, ir mes to neatsisakome.

Kur mokantys vartotojai įgyja pranašumą

Skirtumas bus labiausiai matomas šiuose aspektuose:

Profesionaliems vartotojams, dirbantiems bet kurioje iš šių kategorijų, modelio pakopa padarys realų skirtumą. Būtent jiems ir yra skirti mūsų mokami planai.

Ir kadangi SMART sutarimas yra pagrįstas tais pažangesniais modeliais, mokantys vartotojai gauna ne tik geresnius individualius rezultatus – jie gauna patikimesnį AI vertimą, sugeneruotą naujausių modelių, dirbančių kartu.

Ką dar aiškinamės

Noriu būti atviras, kad tai dar nėra visiškai išspręsta.

Mes vis dar nustatome tikslų modelių paskirstymą – kurie modeliai priklauso kuriai pakopai ir kaip tai aiškiai pranešti vartotojams produkto viduje. Mes tobuliname mokamos prieigos logiką, kad užtikrintume, jog patirtis būtų sklandi, o ne trikdanti. Ir mes atidžiai galvojame, kaip pateikti modelio kokybės informaciją vartotojams tokiu būdu, kuris būtų išties naudingas, o ne tik rinkodaros teiginys.

Taip pat yra tikras klausimas, kurį svarstome: kaip padėti nemokamam vartotojui iškart suprasti, kada jie susidūrė su naudojimo atveju, kai atnaujinimas reikšmingai pagerintų jų rezultatus? Tai yra tiek UX, tiek produkto iššūkis, ir mes dar neturime viso atsakymo.

Parašysiu apie tai, kaip tai atrodys, kai bus paleista. Kol kas, tokia yra mintis.

Jei esate mokantis vartotojas ir norite pareikšti savo nuomonę apie tai, kas jums svarbiausia modelio kokybėje, man nuoširdžiai įdomu. Palikite žinutę per MachineTranslation.com kontaktų puslapį.

DUK

1. Kodėl MachineTranslation.com keičia modelių paskirstymo būdą?

Nes mūsų vidiniai bandymai parodė reikšmingą kokybės skirtumą tarp modelių lygių atliekant profesionalaus lygio vertimo užduotis. Sukūrėme įrankį, skirtą vienu metu palyginti kelis dirbtinio intelekto modelius, ir duomenys aiškiai parodė: pažangūs modeliai žymiai geriau tvarko sudėtingą, idiominį ir konkrečiai sričiai būdingą turinį. Pakopos pokytis sąžiningai atspindi tą realybę. Didesnė nauda mokantiems vartotojams yra ta, kad SMART sutarimas yra sudarytas iš pažangesnių modelių, o tai reiškia, kad pats patikimumo signalas yra stipresnis.

2. Ar nemokamo plano vertimai pablogės, kai tai bus paleista?

Ne. Nemokamo plano vartotojai ir toliau gaus pajėgius, tikslius vertimus kasdieniam naudojimui. Pokytis yra tas, kad mokantys vartotojai bus atnaujinti į pažangesnius modelius, o ne tai, kad nemokami vartotojai bus pažeminti.

3. Kokios vertimo rūšys daugiausia naudos gauna iš aukščiausios kokybės dirbtinio intelekto modelių?

Teisiniai, finansiniai, medicininiai, techniniai ir ilgi dokumentai — ir bet koks turinys rečiau pasitaikančiose kalbų porose, kur mokymo duomenų yra mažiau. Trumpam, paprastam, kasdieniam tekstui skirtumas tarp modelių pakopų yra minimalus. Didesnė nauda mokantiems vartotojams yra ta, kad SMART sutarimas yra sudarytas iš pažangesnių modelių, o tai reiškia, kad pats patikimumo signalas yra stipresnis.

4. Kada tai pradės veikti?

Mes tai kuriame dabar. Paskelbsiu atnaujinimą, kai jis bus išsiųstas, įskaitant tai, kaip patirtis atrodo produkte ir ką rodo ankstyvieji duomenys.

5. Kaip MachineTranslation.com nusprendžia, kuris DI modelis yra geriausias konkrečiam tekstui?

Mes vienu metu paleidžiame kelis modelius ir naudojame konsensusu pagrįstą vertinimo metodą rezultatams įvertinti. Mūsų vidinis palyginimo įrankis leidžia mums tikrinti kokybę tarp modelių lygių tame pačiame šaltinio tekste, tai ir nulėmė šį lygių suskirstymo sprendimą. Galite sužinoti daugiau apie tai, kaip veikia MachineTranslation.com.com konsensuso sistema.‎