Ik gaf de vertaler twee paragrafen: een onderzoeker die resultaten presenteerde, en een regel over treinkaartjes die 24,50 euro kosten. Drie keer in het Spaans kwam het terug als twee alinea's met elke figuur, de naam onaangeroerd, de URL onaangeroerd en het codevoorbeeld onaangeroerd. In het Japans, drie keer, was de tweede alinea helemaal niet. In het Telugu, vier keer, ontbrak het drie keer en versmolten in de eerste alinea de vierde. Dezelfde input, dezelfde instructie, hetzelfde model. Het enige dat veranderde was de doeltaal, en het ding dat verdween, was de helft van de tekst, stil.
tl;dr: Dit is een klein model dat vertaalt, en hoe goed het doet, hangt enorm af van in welke taal het is getraind. Gemeten over tien runs van één passage van 41 woorden: Spaans was drie keer correct van de drie. Japanners lieten de hele tweede alinea drie keer van de drie vallen en maakte de veertiende maand 14 月14. Telugu verloor de tweede alinea in drie runs van vier. URL's en code overleefden alle tien. Als uw doelwit geen grote Europese taal is, vertaal één alinea tegelijk en controleer de output. de translator Draait op de eigen server van de site, daarom zijn de eerlijke limieten het vermelden waard.
Wat is getest en hoe?
Eén passage, twee alinea's, eenenveertig woorden, die de dingen die gewoonlijk in breken in de vertaling met zich meebrengen: een persoonlijke naam, een datum, een URL, een codevoorbeeld met aanhalingstekens en een puntkomma, een decimale valutacijfer en een zin waarvan de betekenis afhangt van een specifiek zelfstandig naamwoord.
Dr. Amara Osei will present the results on 14 March. The full dataset is at
https://example.org/trial-2026/data and the loader expects `read_csv(path, sep=";")`.
Tickets cost 24.50 euros and must be bought before boarding, because the
conductor cannot sell them on the train.
Drie doeltalen, gekozen om te overbruggen wat een model als dit heeft gezien: Spaans, dat overal in trainingsgegevens is; Japans, dat goed vertegenwoordigd is, maar structureel afstandelijk; en Telugu, dat ongeveer tachtig miljoen sprekers en een fractie van de aanwezigheid op het web heeft. Die kloof is het hele onderwerp van de Geen taal achtergelaten werk, die bestaat, juist omdat de vertaalkwaliteit trainingsgegevens bijhoudt in plaats van het aantal luidsprekers.
In totaal tien runs. Hier is elk van hen.
| melk schiften | tweede alinea | Naam links zoals-is | URL intact | Code intact | alinea |
|---|---|---|---|---|---|
| Spaans 1 | ja | ja | ja | ja | 2 |
| Spaans 2 | ja | ja | ja | ja | 2 |
| Spaans 3 | ja | ja | ja | ja | 2 |
| Japans 1 | heel weinig | heel weinig | ja | ja | 1 |
| Japans 2 | heel weinig | heel weinig | ja | ja | 1 |
| Japans 3 | heel weinig | heel weinig | ja | ja | 1 |
| Telugu 1 | heel weinig | heel weinig | ja | ja | 1 |
| Telugu 2 | heel weinig | heel weinig | ja | ja | 1 |
| Telugu 3 | ja | heel weinig | ja | ja | 1 |
| Telugu 4 | heel weinig | heel weinig | ja | ja | 1 |
Wat gebeurt er met de helft van de tekst?
Het wordt niet vertaald en niets zegt het.
Zes van de zeven niet-Latijnse runs leverden alleen de eerste alinea terug. De output is vloeiend, correct gevormd en ziet er volledig uit. Als je geen Japans of Telugu leest, is er helemaal geen signaal dat de tekst die je hebt geplakt 41 woorden was en de tekst die je ontving omvat 24 van hen.
De enige Telugu-run die de tweede alinea hield, is ook niet geruststellend. Het heeft alles samengevoegd tot een enkele alinea en twee niet-gerelateerde clausules samengesmolten, waardoor een zin werd geproduceerd die zegt dat de lader zijn toevlucht moet nemen tot de code omdat verkopen in de trein niet mogelijk is. Het veranderde ook de trein in een bus.
De oorzaak is zichtbaar wanneer u de verwijderde alinea op zichzelf test. Alleen verzonden, het vertaalt correct en houdt de 24.50:
రద్దకెళ్ళకు ముందు టిక్కెట్లు కొనాలి, ఎందుకంటే కమాండర్ వాటిని రైలులో అమ్మలేదు. (24.50 యూరోలు)
Dus het model kan die zin vertalen. Het stopt voordat het wordt bereikt wanneer de invoer twee alinea's heeft. Dat is een generatielengte falen in plaats van een begrip, en het is het allerbelangrijkste dat u moet weten over het gebruik van deze tool voor een niet-Europese taal.
De tijdelijke oplossing is een alinea tegelijk. vervelend, betrouwbaar en ongeveer dertig seconden per alinea.
Wat overleefde elke run?
URL's en code, tien van de tien keer.
https://example.org/trial-2026/data intact in all 10
`read_csv(path, sep=";")` intact in all 10
Dat is de instructie die precies werkt zoals bedoeld, en het is geen kleinigheid. Een vertaler die een variabelenaam op een behulpzame manier vertaalt, een decimaalteken lokaliseert in een codevoorbeeld of een URL-pad herschrijft, produceert uitvoer die op een manier wordt verbroken die niemand merkt totdat iets mislukt. Hier kwam de code terug met zijn aanhalingstekens, de puntkomma en de parameternamen die onaangeroerd waren in het Japans en Telugu, evenals in het Spaans.
Als u documentatie vertaalt, is dit het eigendom dat het belangrijkst is, en het is degene die het bezit.
Wat is er met de datum gebeurd?
Japanners veranderden 14 maart in de veertiende maand.
14月14日
Alle drie de Japanse runs produceerden het. In het Japans wordt een datum geschreven maand-eerst als 3 14, een van de per-locale patronen gecatalogiseerd in Unicodes CLDR, en het model heeft het dagnummer genomen en voor beide velden gebruikt. Er is geen veertiende maand, dus dit is geen dubbelzinnigheid, het is een verkeerde datum die als een plausibele maand leest voor iedereen die aan het skimmen is.
Telugu kreeg het twee keer goed en liet de maand één keer vallen, keerde terug naar "de 14e" zonder maart. Spaans schreef "el 14 de Marzo' correct in alle drie.
Datums zijn de moeite waard om uit te kiezen omdat ze de fout zijn die het meest waarschijnlijk een proeflezing zijn om te overleven door iemand die de doeltaal niet leest. Een ontbrekende alinea is zichtbaar als een lengteverschil. Een verkeerde maand is vier karakters die eruitzien als elke andere datum.
Waarom wordt de naam getranscribeerd als de instructie zegt dat je hem moet verlaten?
Omdat de instructie verkeerd is voor die scripts, en het model gelijk heeft.
"Amara Osei" kwam onveranderd terug in het Spaans en als in het Japans en in Telugu. De prompt die bij elk verzoek wordt verzonden, zegt "laat namen, URL's en code ongewijzigd" en strikt het model niet gehoorzaamd.
het zou moeten. Een Latijnse scriptnaam achterlaten in het midden van Japans proza is niet wat een Japanse vertaler doet; namen worden als vanzelfsprekend in katakana getranscribeerd, en een document dat het niet doet, leest als machine-output. Hetzelfde geldt voor Telugu.
Dus behandel die regel van de instructie als van toepassing op identifiers in plaats van op mensen. Als je een naam nodig hebt die in het Latijnse schrift wordt bewaard, voor een paspoort of een juridisch document waar de spelling het punt is, controleer het dan en leg het terug.
Op welke talen kunt u vertrouwen?
De twintig aangeboden zijn geen twintig equivalente opties, en het verschil houdt bij hoeveel van elke taal het model zag.
| schort | talen | Wat te verwachten? |
|---|---|---|
| Betrouwbaar hier | Spaans, Frans, Duits, Portugees, Italiaans, Nederlands | Correct op deze test; invoer met meerdere alinea's houdt stand |
| bruikbaar met controle | Chinees, Japans, Koreaans, Russisch, Arabisch, Turks | Structureel prima, maar verwacht truncatie- en datumfouten |
| Eén alinea tegelijk | Hindi, Bengaals, Telugu, Tamil, Marathi, Kannada, Urdu | gemeten truncatie; verifieer elke figuur |
Alleen Spaans, Japans en Telugu werden gemeten. De andere rijen worden geplaatst door hoeveel webtekst er in elke taal bestaat, wat het ding is dat de competentie van een klein model voorspelt, en ze moeten worden behandeld als verwachtingen in plaats van bevindingen.
Het patroon om mee te nemen: hoe verder je naar beneden gaat, hoe korter de invoer moet zijn en hoe meer de output moet worden gecontroleerd door iemand die het leest.
Is dit beter of slechter dan google translate?
Erger in vertalen, beter om nergens uw document te verzenden.
Een speciale vertaalservice draait een veel groter model dat specifiek is getraind op parallelle tekst, en voor een talenpaar als Engels naar Telugu is die kloof groot. Als wat u nodig heeft de best beschikbare vertaling van een openbaar document is, gebruik dan een van die.
Wat u hier krijgt, is dat de tekst de eigen hardware van de site niet verlaat. De dingen die mensen vertalen zijn vaak niet te publiceren: een brief van een advocaat, een e-mail van een verhuurder, een medische notitie voor een familielid, een contract voordat ze ondertekenen. Voor hen, "goed genoeg om te begrijpen, en niemand anders zag het" is een ander product dan "uitstekend en gelogd".
Weten welke van degenen die je nodig hebt, is de hele beslissing, en het is de moeite waard om bewust te maken in plaats van door welk tabblad dan ook open is.
Overleven de toon en opmaak?
Opmaken Ja, met de paragraafbeschrijving hierboven. Toon is moeilijker te verifiëren en waard minder vertrouwen.
De instructie vraagt om betekenis, toon, opmaak en regeleinden te behouden. In het Spaans bewaarden alle drie de runs de structuur van twee alinea's precies. In de niet-Latijnse runs ging de paragraaf breuk in alle zeven verloren, inclusief degene die beide alinea's" inhoud bewaarde.
Registratie is het ding dat u niet kunt controleren zonder de taal. Vooral Japans codeert grammaticaal beleefdheid, en het verschil tussen een formulier dat geschikt is voor een collega en een voor een klant geschikte vorm, is niet iets dat een Engelstalige spreker kan inspecteren. De runs die hier worden gebruikt, です/ます, de neutraal-polite vorm, die een redelijke standaard is en mogelijk verkeerd is voor uw doel.
Als de tekst naar een persoon gaat in plaats van naar je eigen begrip, laat het dan voorlezen door iemand die de taal spreekt. Dat geldt voor elke machinevertaling en meer voor een kleine.
Waarom bewijst het terugvertalen niets?
Omdat de rondreis vloeiend is, wat er in het midden ook gebeurde, en het verbergt precies de storing waar je op controleerde.
Dit is de meest voorkomende manier waarop mensen een vertaling verifiëren die ze niet kunnen lezen: zet de uitvoer terug door, kijk of er Engels uitkomt. Hier is die testrun op de Japanse output hierboven.
Dr. Amal Ose will announce on April 14th. The entire dataset is available at
https://example.org/trial-2026/data. The load arm expects `read_csv(path, sep=";")`.
Lees het koud en het ziet eruit als een juiste vertaling van een korte aankondiging. Lees het naast het origineel en er zijn vier dingen gebeurd.
De naam is vergaan door twee passen: Amara Osei werd アマラ・オセ werd Amal Os. De datum heeft nu twee keer op verschillende manieren ongelijk gehad, 14 maart tot de veertiende maand om 14 april, een derde date die noch in de bron, noch in de Japanners verscheen. "De lader" werd ロード アーム werd "De lastarm". En de hele tweede alinea ontbreekt nog steeds, met niets in het Engels dat suggereert dat het ooit heeft bestaan.
Dat laatste is het punt dat ertoe doet. Een rondreis kan geen ontbrekende inhoud onthullen, omdat de ontbrekende inhoud aan beide uiteinden ervan ontbreekt. Het test of het model zijn eigen output kan aflezen, wat het over het algemeen kan.
De controle die werkt is de saaie: vergelijk de lengte van wat je hebt geplakt met de lengte van wat terugkwam.
Kunt u een heel document vertalen?
Niet in één keer, en de reden is dezelfde mislukking als hierboven met meer op het spel.
Zeer lange invoer wordt verkort tot wat het model in één keer kan lezen, en de pagina zegt het als dat gebeurt. Maar de hier gemeten truncatie is iets anders, dat gebeurt met 41 woorden, ruim binnen elke limiet: het model stopt gewoon met genereren voordat het is afgelopen.
Dus een document gaat in stukken door en de grootte van het stuk hangt af van het doel:
| schietwedstrijd | Praktisch stuk |
|---|---|
| Spaans, Frans, Duits, Portugees, Italiaans, Nederlands | meerdere alinea's; controleer de lengte |
| Chinees, Japans, Koreaans, Russisch, Arabisch, Turks | een alinea of twee, elk controlerend |
| Hindi, Bengaals, Telugu, Tamil, Marathi, Kannada, Urdu | één alinea, elk controlerend |
Werk in de volgorde waarin het document leest, bewaar de uitvoer terwijl u bezig bent in een apart bestand en vergelijk de twee regeltellingen aan het einde. Voor een lang document in een van de onderste rijen dat traag genoeg is om de vraag te stellen of een speciale vertaalservice de betere tool is, wat voor openbare tekst meestal het geval is.
Wat chunking niet oplost, is consistentie. Een term die in paragraaf drie is vertaald, kan in paragraaf drie anders terugkomen, omdat elk verzoek onafhankelijk is en geen van de eerdere keuzes bevat. Voor alles met terugkerende terminologie, moet u eerst de belangrijkste termen regelen en ze daarna met de hand repareren.
Hoe lang gaat het duren?
Vijfentwintig tot veertig seconden voor een korte passage, en de tijd volgt de output in plaats van de invoer.
| schietwedstrijd | keer | prestatie |
|---|---|---|
| Spaans | 37 s | 301 bytes |
| Japans | 25 s | 209 bytes |
| Treegu | 28 s | 335 bytes |
Japans was het snelst omdat het het minst produceerde, wat de mislukking is die hierboven in de timing te zien is. Een run die ongewoon snel terugkomt op een niet-Europees doelwit, is om die reden een tweede blik waard.
Een run in tien keerde een stroomopwaartse 502 in plaats van een vertaling. De pagina verwerkt dat correct, toont een fout in plaats van deze af te drukken als uitvoer, en een opnieuw proberen werkt. Het is de moeite waard om te weten dat het gebeurt op een enkel gedeeld model.
Wat moet u controleren voordat u een vertaling gebruikt?
Vier dingen, in de volgorde dat ze hier misgingen.
- lengte. Vergelijk de output met de ingang. Als het er kort uitziet, ontbreekt er een alinea. Dit vat de ergste mislukking op zonder een woord van de doeltaal te lezen.
- elk nummer en elke datum. Getallen overleven als cijfers en datums niet overleven als datums.
- code, URL's en identifiers. Deze werden in alle tien runs gehouden, dus dit is een snelle bevestiging in plaats van een waarschijnlijk probleem.
- Een mens, als het naar een mens gaat. Niets boven dat vervangt, en het beleefdheidsregister is de reden.
Waarom draait het op de eigen server van de site?
Omdat de vertaalverzoeken die mensen doen een lijst zijn met dingen die ze liever niet uploaden.
Een brief in een taal die ze niet lezen. een document van een overheidsdienst. een bericht van een familielid. een clausule in een contract. Het conventionele alternatief stuurt het naar een dienst waarvan de voorwaarden retentie toestaan, en voor het soort tekst dat mensen vertalen, is dat een grotere bekendheid dan voor de meeste tools.
Hier gaat het naar een klein model op de eigen hardware van de site en wordt het niet opgeslagen tenzij u ervoor kiest om feedback te sturen. De kosten liggen in de tien rijen van de bovenstaande tabel, duidelijk vermeld in plaats van ontdekt.
