J'ai donné au traducteur deux paragraphes : un chercheur présentant les résultats et une ligne sur les billets de train coûtant 24,50 euros. En espagnol, trois fois, il est revenu sous la forme de deux paragraphes avec chaque chiffre, le nom intact, l'URL intacte et l'échantillon de code intact. En japonais, trois fois, le deuxième paragraphe n'était pas du tout là. En Telugu, quatre fois, il manquait trois fois et fusionnait dans le premier paragraphe le quatrième. La même entrée, la même instruction, le même modèle. La seule chose qui a changé, c'est la langue cible, et la chose qui a disparu était la moitié du texte, silencieusement.
tl;dr : Il s'agit d'un petit modèle qui fait la traduction, et sa capacité dépend énormément de la part de ce langage sur lequel il a été formé. Mesuré sur dix passages d'un passage de 41 mots : l'espagnol était correct trois fois sur trois. Les Japonais ont abandonné le deuxième paragraphe trois fois sur trois et ont rendu "14 mars" comme 14 14 14 日, le quatorzième mois. Telugu a perdu le deuxième paragraphe en trois points sur quatre. Les URL et le code ont survécu aux dix. Si votre objectif n'est pas une langue européenne majeure, Traduire un paragraphe à la fois et vérifier la sortie. le traducteur S'exécute sur le propre serveur du site, c'est pourquoi les limites honnêtes valent la peine d'être indiquées.
ce qui a été testé et comment
Un passage, deux paragraphes, quarante et un mots, portant les objets qui se brisent habituellement dans la traduction : un nom personnel, une date, une URL, un exemple de code avec des guillemets et un point-virgule, une monnaie décimale et une phrase dont la signification dépend d'un nom spécifique.
Dr. Amara Osei will present the results on 14 March. The full dataset is at
https://example.org/trial-2026/data and the loader expects `read_csv(path, sep=";")`.
Tickets cost 24.50 euros and must be bought before boarding, because the
conductor cannot sell them on the train.
Trois langues cibles, choisies pour couvrir ce qu'un modèle comme celui-ci a vu : l'espagnol, qui est partout dans les données d'entraînement, le japonais, bien représenté mais structurellement éloigné, et le télougou, qui compte environ quatre-vingt millions de locuteurs et une fraction de la présence sur le Web. Cet écart est tout l'objet de la Aucun langage laissé derrière le travail, qui existe précisément parce que la qualité de la traduction suit les données d'entraînement plutôt que le nombre de locuteurs.
Dix points au total. Voici chacun d'entre eux.
| se jouer | deuxième paragraphe | Nom gauche tel quel | URL intacte | Code intact | paragraphes |
|---|---|---|---|---|---|
| Espagnol 1 | oui | oui | oui | oui | 2 |
| Espagnol 2 | oui | oui | oui | oui | 2 |
| Espagnol 3 | oui | oui | oui | oui | 2 |
| Japonais 1 | non | non | oui | oui | 1 |
| Japonais 2 | non | non | oui | oui | 1 |
| Japonais 3 | non | non | oui | oui | 1 |
| Telugu 1 | non | non | oui | oui | 1 |
| Telugu 2 | non | non | oui | oui | 1 |
| Telugu 3 | oui | non | oui | oui | 1 |
| Telugu 4 | non | non | oui | oui | 1 |
Qu'arrive-t-il à la moitié du texte ?
Il n'est pas traduit, et rien ne le dit.
Six des sept points non latins n'ont renvoyé que le premier paragraphe. La sortie est fluide, correctement formée et complète. Si vous ne lisez pas le japonais ou le télougou, il n'y a aucun signal que le texte que vous avez collé était de 41 mots et que le texte que vous avez reçu couvre 24 d'entre eux.
La seule course Telugu qui a conservé le deuxième paragraphe n'est pas rassurante non plus. Il a tout fusionné en un seul paragraphe et a fusionné deux clauses non liées, produisant une phrase qui stipule que le chargeur doit recourir au code car la vente sur le train n'est pas possible. Il a également transformé le train en bus.
La cause est visible lorsque vous testez le paragraphe abandonné seul. Envoyé seul, il se traduit correctement et conserve le 24.50 :
రద్దకెళ్ళకు ముందు టిక్కెట్లు కొనాలి, ఎందుకంటే కమాండర్ వాటిని రైలులో అమ్మలేదు. (24.50 యూరోలు)
Ainsi, le modèle peut traduire cette phrase. Il s'arrête avant de l'atteindre lorsque l'entrée a deux paragraphes. C'est une défaillance de la génération plutôt qu'une compréhension, et c'est la chose la plus importante à savoir sur l'utilisation de cet outil pour un langage non européen.
La solution de contournement est un paragraphe à la fois. Fastidieux, fiable et environ trente secondes par paragraphe.
Qu'est-ce qui a survécu à chaque course ?
URL et code, dix fois sur dix.
https://example.org/trial-2026/data intact in all 10
`read_csv(path, sep=";")` intact in all 10
C'est l'instruction qui fonctionne exactement comme prévu, et ce n'est pas une mince affaire. Un traducteur qui traduit utilement un nom de variable, localise un séparateur décimal dans un échantillon de code ou réécrit un chemin d'URL produit une sortie qui est cassée d'une manière que personne ne remarque jusqu'à ce que quelque chose échoue. Ici, le code est revenu avec ses citations, son point-virgule et ses noms de paramètres intacts en japonais et en télougou ainsi qu'en espagnol.
Si vous traduisez de la documentation, c'est la propriété qui compte le plus, et c'est celle qui est la plus importante.
Qu'est-il arrivé à la date ?
Les Japonais ont fait le 14 mars au quatorzième mois.
14月14日
Les trois séries japonaises l'ont produit. En japonais, une date est écrite en premier mois comme 3 14 14 日, l'un des modèles par localisation CLDR Unicode, et le modèle a pris le numéro de jour et l'a utilisé pour les deux champs. Il n'y a pas de quatorzième mois, donc ce n'est pas une ambiguïté, c'est une mauvaise date qui se lit comme plausible pour quiconque écréme.
Telugu a réussi deux fois et a laissé tomber le mois une fois, renvoyant "le 14" sans marche. Espagnol a écrit "El 14 de Marzo" correctement dans les trois.
Les dates valent la peine d'être décrites, car elles sont l'erreur la plus susceptible de survivre à une relecture par quelqu'un qui ne lit pas la langue cible. Un paragraphe manquant est visible comme une différence de longueur. Un mauvais mois est composé de quatre personnages qui ressemblent à toutes les autres dates.
Pourquoi le nom est-il translittéré lorsque l'instruction dit de le quitter ?
Parce que l'instruction est erronée pour ces scripts, et le modèle est correct.
"Amara Osei" est revenu inchangé en espagnol et en tant que アマラ・オセ en japonais et అమరా ఒసే en télougou. L'invite envoyée avec chaque requête indique "laisser les noms, les URL et le code inchangés", et strictement le modèle désobéi.
ça devrait. Laisser un nom latin au milieu de la prose japonaise n'est pas ce que fait un traducteur japonais, les noms sont translittérés en katakana comme une évidence, et un document qui ne le fait pas se lit comme une sortie machine. Il en va de même pour le télougou.
Traitez donc cette ligne de l'instruction comme s'appliquant aux identifiants plutôt qu'aux personnes. Si vous avez besoin d'un nom conservé en script latin, pour un passeport ou un document légal où l'orthographe est le point, vérifiez-le et remettez-le.
Sur quelles langues pouvez-vous compter ?
Les vingt offerts ne sont pas vingt options équivalentes, et la différence suit la quantité de chaque langue que le modèle a vu.
| rangée | langues | À quoi s'attendre |
|---|---|---|
| fiable ici | Espagnol, Français, Allemand, Portugais, Italien, Néerlandais | Corriger sur ce test ; la saisie multi-paragraphe est maintenue |
| Utilisable avec vérification | Chinois, Japonais, Coréen, Russe, Arabe, Turc | Structurellement fine, mais attendez-vous à des erreurs de troncature et de date |
| Un paragraphe à la fois | hindi, bengali, télougou, tamoul, marathi, kannada, ourdou | Troncage mesuré ; vérifier chaque chiffre |
Seuls l'espagnol, le japonais et le télougou ont été mesurés. Les autres lignes sont placées par la quantité de texte Web dans chaque langue, ce qui prédit la compétence d'un petit modèle, et qui doit être traitée comme des attentes plutôt que comme des résultats.
Le modèle à emporter : plus vous descendez dans cette table, plus l'entrée doit être courte et plus la sortie doit être vérifiée par quelqu'un qui la lit.
Est-ce meilleur ou pire que Google Translate ?
Pire à traduire, mieux vaut ne pas envoyer votre document n'importe où.
Un service de traduction dédié exécute un modèle beaucoup plus vaste formé spécifiquement sur du texte parallèle, et pour une paire de langues comme l'anglais et le télougou, cet écart est important. Si ce dont vous avez besoin est la meilleure traduction disponible d'un document public, utilisez-en un.
Ce que vous obtenez ici, c'est que le texte ne quitte pas le propre matériel du site. Les choses que les gens traduisent ne sont souvent pas publiables : une lettre d'un avocat, un e-mail d'un propriétaire, une note médicale pour un parent, un contrat avant de signer. Pour ceux-ci, "assez bon pour comprendre, et personne d'autre ne l'a vu" est un produit différent de "Excellent et connecté".
Savoir lequel de ceux dont vous avez besoin est la décision entière, et cela vaut la peine d'être pris consciemment plutôt que par l'onglet ouvert.
Le ton et le formatage survivent-ils ?
Formatage Oui, avec la mise en garde du paragraphe ci-dessus. Le ton est plus difficile à vérifier et vaut moins de confiance.
L'instruction demande de la signification, du ton, du formatage et des sauts de ligne. En espagnol, les trois séries ont conservé exactement la structure en deux paragraphes. Dans les courses non latines, le saut de paragraphe a été perdu dans les sept, y compris celui qui contenait les deux paragraphes.
L'enregistrement est la chose que vous ne pouvez pas vérifier sans la langue. Le japonais en particulier encode la politesse grammaticalement, et la différence entre une forme adaptée à un collègue et une forme adaptée à un client n'est pas quelque chose qu'un anglophone peut inspecter. Les courses ici utilisées です/ます, la forme neutre-polie, qui est un défaut raisonnable et peut être incorrecte pour votre objectif.
Si le texte va à une personne plutôt qu'à votre propre compréhension, faites-le lire par quelqu'un qui parle la langue. C'est vrai pour toute traduction automatique et plus vraie pour une petite.
Pourquoi la traduction en arrière ne prouve-t-elle rien ?
Parce que le trajet aller-retour est fluide, quoi qu'il arrive au milieu, et il cache exactement l'échec que vous vérifiiez.
C'est la façon la plus courante de vérifier une traduction qu'ils ne peuvent pas lire : replacez la sortie, voyez si l'anglais sort. Voici ce test exécuté sur la sortie japonaise ci-dessus.
Dr. Amal Ose will announce on April 14th. The entire dataset is available at
https://example.org/trial-2026/data. The load arm expects `read_csv(path, sep=";")`.
Lisez-le froid et cela ressemble à une traduction correcte d'une courte annonce. Lisez-le à côté de l'original et quatre choses se sont produites.
Le nom a décomposé par deux passes : Amara Osei est devenue アマラ・オセ Amal Ose. La date a maintenant été erronée deux fois de différentes manières, du 14 mars au quatorzième mois pour 14 avril, qui est une troisième date qui n'est apparue ni dans la source ni dans les Japonais. "Le chargeur" est devenu ロードアーム est devenu "Le bras de charge". Et le deuxième paragraphe entier manque toujours, sans rien dans l'anglais pour suggérer qu'il ait jamais existé.
Ce dernier point est celui qui compte. Un aller-retour ne peut pas révéler de contenu manquant, car le contenu manquant est manquant des deux extrémités de celui-ci. Il teste si le modèle peut lire sa propre sortie, ce qu'il peut généralement.
Le contrôle qui fonctionne est le problème : comparez la longueur de ce que vous avez collé à la longueur de ce qui est revenu.
Pouvez-vous traduire un document entier ?
Pas en une seule fois, et la raison en est la même chose que ci-dessus avec plus en jeu.
Une entrée très longue est abrégée en ce que le modèle peut lire en une seule fois, et la page le dit lorsque cela se produit. Mais la troncature mesurée ici est une chose différente, qui se produit à 41 mots, bien dans n'importe quelle limite : le modèle cesse simplement de générer avant qu'il ait terminé.
Ainsi, un document passe en morceaux, et la taille de la pièce dépend de la cible :
| cible | morceau pratique |
|---|---|
| Espagnol, Français, Allemand, Portugais, Italien, Néerlandais | Plusieurs paragraphes ; vérifiez la longueur |
| Chinois, Japonais, Coréen, Russe, Arabe, Turc | un paragraphe ou deux, vérifiant chaque |
| hindi, bengali, télougou, tamoul, marathi, kannada, ourdou | un paragraphe, vérifiant chaque |
Travaillez dans l'ordre que le document lit, conservez la sortie dans un fichier séparé au fur et à mesure et comparez les deux comptes de lignes à la fin. Pour un long document dans l'une des lignes inférieures, cela vaut la peine d'être demandé si un service de traduction dédié est le meilleur outil, ce qui, pour le texte public, est généralement.
Ce que la partie ne résout pas, c'est la cohérence. Un terme traduit d'une manière dans le paragraphe trois peut revenir différemment au paragraphe 9, car chaque demande est indépendante et n'a aucun des choix antérieurs. Pour tout ce qui a une terminologie récurrente, réglez d'abord les termes clés et réglez-les à la main par la suite.
Combien de temps cela prend-il ?
Vingt-cinq à quarante secondes pour un court passage, et le temps suit la sortie plutôt que l'entrée.
| cible | chronométrer | production |
|---|---|---|
| espagnol | 37 s | 301 octets |
| japonais | 25 s | 209 octets |
| télougou | 28 s | 335 octets |
Le Japonais était le plus rapide car il produisait le moins, à savoir l'échec décrit ci-dessus apparaissant dans le moment. Une course qui revient exceptionnellement rapidement sur un objectif non européen vaut un deuxième coup d'œil pour cette raison.
Un point sur dix a renvoyé un amont 502 plutôt qu'une traduction. La page gère cela correctement, affichant une erreur plutôt que de l'imprimer en sortie, et une nouvelle tentative a fonctionné. Cela vaut la peine de savoir que cela se produit sur un seul modèle partagé.
Que devez-vous vérifier avant d'utiliser une traduction ?
Quatre choses, dans l'ordre, ils ont mal tourné ici.
- longueur. Comparez la sortie avec l'entrée. Si cela semble court, il manque un paragraphe. Cela attrape le pire échec sans lire un mot de la langue cible.
- chaque numéro et date. Les nombres survivent comme des chiffres et des dates ne survivent pas comme des dates.
- Code, URL et identifiants. Celles-ci se sont déroulées dans les dix courses, il s'agit donc d'une confirmation rapide plutôt qu'un problème probable.
- Un humain, s'il va à un humain. Rien au-dessus ne le remplace, et le registre de politesse en est la raison.
Pourquoi s'exécute-t-il sur le propre serveur du site ?
Parce que les demandes de traduction que les gens font sont une liste de choses qu'ils préfèrent ne pas télécharger.
Une lettre dans une langue qu'ils ne lisent pas. Un document d'un ministère du gouvernement. un message d'un membre de la famille. une clause dans un contrat. L'alternative conventionnelle l'envoie à un service dont les conditions permettent la rétention, et pour les types de texte que les gens traduisent, c'est une plus grande exposition que pour la plupart des outils.
Ici, il va à un petit modèle sur le propre matériel du site et n'est stocké que si vous choisissez d'envoyer des commentaires. Le coût est dans les dix lignes du tableau ci-dessus, indiqué clairement plutôt que découvert.
