Dei ao tradutor dois parágrafos: um pesquisador apresentando resultados e uma linha sobre passagens de trem custando 24,50 euros. Em espanhol, três vezes, ele voltou como dois parágrafos com cada figura, o nome intocado, o URL intocado e o exemplo de código intocado. Em japonês, três vezes, o segundo parágrafo não estava presente. Em Telugu, quatro vezes, faltava três vezes e fundiu-se no primeiro parágrafo do quarto. A mesma entrada, a mesma instrução, o mesmo modelo. A única coisa que mudou foi a língua-alvo, e a coisa que desapareceu foi metade do texto, silenciosamente.
tl;dr: Este é um pequeno modelo que faz a tradução, e quão bem ele se sai, depende enormemente de quanto dessa linguagem foi treinada. Medido em dez corridas de uma passagem de 41 palavras: o espanhol foi correto três vezes em três. Os japoneses perderam o segundo parágrafo inteiro em três vezes em três vezes e representaram "14 de março" como 14月14, o décimo quarto mês. Telugu perdeu o segundo parágrafo em três corridas de quatro. Os URLs e o código sobreviveram a todos os dez. Se o seu alvo não for uma língua europeia importante, Traduza um parágrafo de cada vez e verifique a saída. o tradutor É executado no próprio servidor do site, e é por isso que vale a pena afirmar os limites honestos.
O que foi testado e como
Uma passagem, dois parágrafos, quarenta e uma palavras, carregando as coisas que geralmente se dividem na tradução: um nome pessoal, uma data, um url, uma amostra de código com aspas e um ponto e vírgula, uma figura decimal em moeda e uma frase cujo significado depende de um substantivo específico.
Dr. Amara Osei will present the results on 14 March. The full dataset is at
https://example.org/trial-2026/data and the loader expects `read_csv(path, sep=";")`.
Tickets cost 24.50 euros and must be bought before boarding, because the
conductor cannot sell them on the train.
Três idiomas-alvo, escolhidos para abranger o que um modelo como esse viu: o espanhol, que está em toda parte nos dados de treinamento; japonês, que está bem representado, mas estruturalmente distante; e Telugu, que tem cerca de oitenta milhões de falantes e uma fração da presença na web. Essa lacuna é o assunto completo da nenhuma linguagem deixada para trás trabalho, que existe precisamente porque a qualidade da tradução rastreia os dados de treinamento em vez de contagem de alto-falantes.
Dez corridas no total. Aqui está cada um deles.
| correr | segundo parágrafo | Nome deixado como está | URL intacto | código intacto | parágrafos |
|---|---|---|---|---|---|
| espanhol 1 | sim | sim | sim | sim | 2 |
| espanhol 2 | sim | sim | sim | sim | 2 |
| espanhol 3 | sim | sim | sim | sim | 2 |
| japonês 1 | não | não | sim | sim | 1 |
| japonês 2 | não | não | sim | sim | 1 |
| japonês 3 | não | não | sim | sim | 1 |
| Telugu 1 | não | não | sim | sim | 1 |
| Telugu 2 | não | não | sim | sim | 1 |
| Telugu 3 | sim | não | sim | sim | 1 |
| Telugu 4 | não | não | sim | sim | 1 |
O que acontece com metade do texto?
Não é traduzido, e nada o diz.
Seis das sete corridas não latinas devolveram apenas o primeiro parágrafo. A saída é fluente, corretamente formada e com aparência completa. Se você não lê japonês ou télugo, não há sinal de que o texto que você colou foi de 41 palavras e o texto que você recebeu cobre 24 delas.
A única corrida em Telugu que manteve o segundo parágrafo também não é tranquilizadora. Ele fundiu tudo em um único parágrafo e fundiu duas cláusulas não relacionadas, produzindo uma frase que diz que o carregador deve recorrer ao código porque a venda no trem não é possível. Também transformou o trem em um ônibus.
A causa é visível quando você testa o parágrafo descartado por conta própria. Enviado sozinho, ele traduz corretamente e mantém o 24.50:
రద్దకెళ్ళకు ముందు టిక్కెట్లు కొనాలి, ఎందుకంటే కమాండర్ వాటిని రైలులో అమ్మలేదు. (24.50 యూరోలు)
Portanto, o modelo pode traduzir essa frase. Ele pára antes de alcançá-lo quando a entrada tem dois parágrafos. Isso é uma falha de geração em vez de uma compreensão, e é a coisa mais importante a se saber sobre como usar essa ferramenta para uma linguagem não europeia.
A solução é um parágrafo de cada vez. Tedioso, confiável e cerca de trinta segundos por parágrafo.
O que sobreviveu a cada corrida?
URLs e código, dez em cada dez.
https://example.org/trial-2026/data intact in all 10
`read_csv(path, sep=";")` intact in all 10
Essa é a instrução que funciona exatamente como pretendido, e não é uma coisa pequena. Um tradutor que traduza de forma útil um nome de variável, localiza um separador decimal dentro de um exemplo de código ou reescreve um caminho de URL produz uma saída que é quebrada de uma maneira que ninguém percebe até que algo falhe. Aqui o código voltou com suas aspas, seu ponto e vírgula e seus nomes de parâmetros intocados em japonês e télugo, bem como em espanhol.
Se você está traduzindo a documentação, esta é a propriedade que mais importa, e é a que vale.
O que aconteceu com a data?
Os japoneses transformaram 14 de março no décimo quarto mês.
14月14日
Todas as três corridas japonesas produziram. Em japonês, uma data é escrita em primeiro lugar como 3月14日, um dos padrões por local catalogados em CLDR do Unicode, e o modelo pegou o número do dia e o usou para ambos os campos. Não há décimo quarto mês, então não é uma ambiguidade, é uma data errada que parece plausível para quem está na roda.
Telugu acertou duas vezes e deixou cair o mês uma vez, retornando o "14" sem marcha. Espanhol escreveu "El 14 de Marzo" corretamente em todos os três.
Vale a pena destacar as datas porque são o erro mais provável de sobreviver a uma revisão de alguém que não lê o idioma de destino. Um parágrafo ausente é visível como uma diferença de comprimento. Um mês errado são quatro personagens que se parecem com todas as outras datas.
Por que o nome é transliterado quando a instrução diz para deixá-la?
Porque a instrução é errada para esses scripts e o modelo está correto.
"Amara Osei" voltou inalterado em espanhol e como アマラ・オセ em japonês e అమరా ఒసే em Telugu. O prompt enviado com cada solicitação diz "Deixe nomes, URLs e código inalterados" e estritamente o modelo desobedecido.
deveria. Deixar um nome de script latino no meio da prosa japonesa não é o que faz um tradutor japonês; os nomes são transliterados para o Katakana como uma coisa natural, e um documento que não o faz é exibido como saída da máquina. O mesmo se aplica a Telugu.
Portanto, trate essa linha da instrução como se aplicando a identificadores e não com pessoas. Se você precisar de um nome guardado em latim, para um passaporte ou um documento legal onde a grafia é o ponto, verifique-o e coloque-o de volta.
Em quais idiomas você pode confiar?
Os vinte oferecidos não são vinte opções equivalentes, e a diferença acompanha o quanto de cada idioma o modelo viu.
| fiada | idiomas | O que esperar |
|---|---|---|
| Confiável aqui | Espanhol, Francês, Alemão, Português, Italiano, Holandês | Correto neste teste; entradas de vários parágrafos |
| utilizável com a verificação | Chinês, japonês, coreano, russo, árabe, turco | Estruturalmente bem, mas espere erros de truncamento e datas |
| Um parágrafo de cada vez | Hindi, Bengali, Telugu, Tamil, Marathi, Kannada, Urdu | truncamento medido; verifique cada figura |
Apenas espanhol, japonês e télugo foram medidos. As outras linhas são colocadas por quanto texto da web existe em cada idioma, que é o que prevê a competência de um modelo pequeno, e elas devem ser tratadas como expectativas e não como descobertas.
O padrão a ser transportado: quanto mais abaixo na mesa você vai, mais curta deve ser a entrada e mais a saída precisa ser verificada por alguém que a lê.
Isso é melhor ou pior que o google tradutor?
Pior na tradução, melhor não enviar seu documento para lugar nenhum.
Um serviço de tradução dedicado executa um modelo muito maior, treinado especificamente em texto paralelo e, para um par de idiomas, como o inglês, o inglês, o gap é grande. Se o que você precisa é a melhor tradução disponível de um documento público, use um deles.
O que você obtém aqui é que o texto não sai do próprio hardware do site. As coisas que as pessoas traduzem frequentemente não são publicáveis: uma carta de um advogado, um e-mail de um proprietário, um atestado médico para um parente, um contrato antes de assinar. Para aqueles, "bom o suficiente para entender, e ninguém mais viu" é um produto diferente do "excelente e registrado".
Saber qual das delas você precisa é a decisão inteira, e vale a pena fazer conscientemente e não por qualquer guia aberta.
O tom e a formatação sobrevivem?
Formatando Sim, com a ressalva do parágrafo acima. O tom é mais difícil de verificar e vale menos confiança.
A instrução pede significado, tom, formatação e quebras de linha a serem mantidas. Em espanhol, todas as três execuções preservaram a estrutura de dois parágrafos exatamente. Em The Non-Latin, a quebra de parágrafo foi perdida em todos os sete, incluindo aquele que manteve os dois conteúdos.
Registrar é o que você não pode verificar sem o idioma. O japonês, em particular, codifica a polidez gramaticalmente, e a diferença entre um formulário adequado para um colega e um adequado para um cliente não é algo que um falante de inglês possa inspecionar. As corridas aqui usadas です/ます, a forma neutra-política, que é um padrão razoável e pode estar errada para o seu propósito.
Se o texto vai para uma pessoa e não para o seu próprio entendimento, ligue por alguém que fala a língua. Isso vale para qualquer tradução automática e mais para uma pequena.
Por que traduzir de volta não prova nada?
Porque a ida e volta é fluente, independentemente do que tenha acontecido no meio, e esconde exatamente a falha que você estava verificando.
Esta é a maneira mais comum de as pessoas verificarem uma tradução que não conseguem ler: remexer a saída, ver se o inglês sai. Aqui está o teste na saída japonesa acima.
Dr. Amal Ose will announce on April 14th. The entire dataset is available at
https://example.org/trial-2026/data. The load arm expects `read_csv(path, sep=";")`.
Leia-o a frio e parece uma tradução correta de um pequeno anúncio. Leia-o ao lado do original e quatro coisas aconteceram.
O nome decaiu em dois passes: Amara Osei se tornou アマラ・オセ Amal Ose. A data agora foi errada duas vezes de maneiras diferentes, 14 de março ao décimo quarto mês para 14 de abril, que é uma terceira data que apareceu nem na fonte nem no japonês. O carregador se tornou ロードアーム "O braço de carga". E todo o segundo parágrafo ainda está faltando, sem que nada em inglês sugira que existia.
Esse último ponto é o que importa. Uma viagem de ida e volta não pode revelar o conteúdo ausente, porque o conteúdo ausente está faltando em ambas as extremidades. Ele testa se o modelo pode ler sua própria saída, o que geralmente pode.
A verificação que funciona é a mais maçante: compare o comprimento do que você colou com o comprimento do que voltou.
Você pode traduzir um documento inteiro?
Nem uma vez, e o motivo é o mesmo que acima, com mais em jogo.
A entrada muito longa é reduzida para o que o modelo pode ler de uma só vez, e a página diz isso quando isso acontecer. Mas o truncamento medido aqui é uma coisa diferente, acontecendo em 41 palavras, bem dentro de qualquer limite: o modelo simplesmente para de gerar antes de terminar.
Assim, um documento passa em pedaços e o tamanho da peça depende do alvo:
| alvo | pedaço prático |
|---|---|
| Espanhol, Francês, Alemão, Português, Italiano, Holandês | vários parágrafos; verifique o comprimento |
| Chinês, japonês, coreano, russo, árabe, turco | um ou dois parágrafos, verificando cada |
| Hindi, Bengali, Telugu, Tamil, Marathi, Kannada, Urdu | um parágrafo, verificando cada |
Trabalhe na ordem em que o documento lê, mantenha a saída em um arquivo separado conforme você avança e compare as duas linhas de contagem no final. Para um documento longo em uma das linhas inferiores, que é suficientemente lenta para valer a pena perguntar se um serviço de tradução dedicado é a melhor ferramenta, que é o texto público.
O que não resolve o que não resolve é a consistência. Um termo traduzido de uma maneira no parágrafo três pode voltar de forma diferente no parágrafo nove, porque cada solicitação é independente e não traz nenhuma das escolhas anteriores. Para qualquer coisa com terminologia recorrente, resolva primeiro os termos-chave e corrija-os manualmente depois.
Quanto tempo demora?
Vinte e cinco a quarenta segundos para uma passagem curta, e o tempo rastreia a saída em vez da entrada.
| alvo | tempo | produção |
|---|---|---|
| espanhol | 37 s | 301 bytes |
| japonês | 25 S | 209 bytes |
| telugu | 28 s | 335 bytes |
O japonês foi o mais rápido porque produziu o mínimo, que é a falha descrita acima aparecendo no momento. Uma corrida que volta de forma incomumente rápida em uma meta não europeia vale uma segunda olhada por esse motivo.
Uma corrida em dez retornou um upstream 502 em vez de uma tradução. A página lida corretamente, mostrando um erro em vez de imprimi-lo como saída e uma nova tentativa de trabalho. Vale a pena saber que isso acontece em um único modelo compartilhado.
O que você deve verificar antes de usar uma tradução?
Quatro coisas, na ordem em que eles erraram aqui.
- comprimento. Compare a saída com a entrada. Se parecer curto, falta um parágrafo. Isso pega a pior falha sem ler uma palavra do idioma de destino.
- Cada número e data. Os números sobrevivem, pois os dígitos e as datas não sobrevivem como datas.
- Código, URLs e identificadores. Isso ocorre em todas as dez corridas, portanto, é uma confirmação rápida e não um problema provável.
- Um humano, se for para um humano. Nada acima substitui isso, e o registro de polidez é o motivo.
Por que ele é executado no próprio servidor do site?
Porque as solicitações de tradução que as pessoas fazem são uma lista de coisas que preferem não fazer upload.
Uma letra em um idioma que eles não lêem. Um documento de um departamento governamental. Uma mensagem de um membro da família. uma cláusula de um contrato. A alternativa convencional o envia para um serviço cujos termos permitem a retenção e, para os tipos de texto que as pessoas traduzem, é uma exposição maior do que para a maioria das ferramentas.
Aqui ele vai para um pequeno modelo no hardware do próprio site e não é armazenado a menos que você opte por enviar feedback. O custo está nas dez linhas da tabela acima, declarada de forma clara e não descoberta.
