Ho dato al traduttore due paragrafi: un ricercatore che presenta i risultati e una linea sui biglietti del treno che costano 24,50 euro. In spagnolo, tre volte, è tornato come due paragrafi con ogni figura, il nome intatto, l'URL intatto e l'esempio di codice intatto. In giapponese, tre volte, il secondo paragrafo non c'era affatto. In Telugu, quattro volte, mancava tre volte e si fondeva nel primo paragrafo il quarto. Lo stesso input, la stessa istruzione, lo stesso modello. L'unica cosa che è cambiata è stata la lingua di destinazione, e la cosa che è scomparsa è stata metà del testo, in silenzio.
tl; dr: Questo è un piccolo modello che fa la traduzione, e quanto bene dipende enormemente da quanto di quella lingua è stato addestrato. Misurato su dieci esecuzioni di un passaggio di 41 parole: lo spagnolo era corretto tre volte su tre. Il giapponese ha lasciato cadere l'intero secondo paragrafo tre volte su tre e ha reso "14 marzo" come 14月14日, il quattordicesimo mese. Telugu ha perso il secondo paragrafo in tre run da quattro. URL e codice sono sopravvissuti a tutti e dieci. Se il tuo obiettivo non è una delle principali lingue europee, tradurre un paragrafo alla volta e controllare l'output. la traduttore Funziona sul server del sito, motivo per cui vale la pena affermare i limiti onesti.
cosa è stato testato e come
Un passaggio, due paragrafi, quarantuno parole, che portano le cose che di solito si rompono nella traduzione: un nome personale, una data, un URL, un esempio di codice con virgolette e un punto e virgola, una cifra decimale e una frase il cui significato dipende da un nome specifico.
Dr. Amara Osei will present the results on 14 March. The full dataset is at
https://example.org/trial-2026/data and the loader expects `read_csv(path, sep=";")`.
Tickets cost 24.50 euros and must be bought before boarding, because the
conductor cannot sell them on the train.
Tre lingue di destinazione, scelte per abbracciare ciò che un modello come questo ha visto: lo spagnolo, che è ovunque nei dati di addestramento; giapponese, che è ben rappresentato ma strutturalmente distante; e Telugu, che ha circa ottanta milioni di parlanti e una frazione della presenza sul web. Quel divario è l'intero argomento del Nessuna lingua lasciata al lavoro, che esiste proprio perché la qualità della traduzione tiene traccia dei dati di addestramento piuttosto che del conteggio degli altoparlanti.
Dieci corse in totale. Ecco ognuno di loro.
| far scorrere | secondo comma | Nome lasciato così com'è | URL intatto | Codice intatto | paragrafi |
|---|---|---|---|---|---|
| spagnolo 1 | certo | certo | certo | certo | 2 |
| spagnolo 2 | certo | certo | certo | certo | 2 |
| spagnolo 3 | certo | certo | certo | certo | 2 |
| giapponese 1 | no | no | certo | certo | 1 |
| giapponese 2 | no | no | certo | certo | 1 |
| giapponese 3 | no | no | certo | certo | 1 |
| Telugu 1 | no | no | certo | certo | 1 |
| Telugu 2 | no | no | certo | certo | 1 |
| Telugu 3 | certo | no | certo | certo | 1 |
| Telugu 4 | no | no | certo | certo | 1 |
Cosa succede a metà del testo?
Non è tradotto, e niente lo dice.
Sei delle sette esecuzioni non latine hanno restituito solo il primo paragrafo. L'uscita è fluente, correttamente formata e dall'aspetto completo. Se non leggi il giapponese o il telugu, non c'è alcun segnale che il testo che hai incollato fosse di 41 parole e il testo che hai ricevuto ne copre 24.
Anche l'unica corsa in telugu che ha mantenuto il secondo paragrafo non è rassicurante. Ha unito tutto in un singolo paragrafo e ha fuso due clausole non correlate, producendo una frase che dice che il caricatore deve ricorrere al codice perché la vendita sul treno non è possibile. Ha anche trasformato il treno in un autobus.
La causa è visibile quando si verifica il paragrafo eliminato da solo. Inviato da solo, si traduce correttamente e mantiene le 24.50:
రద్దకెళ్ళకు ముందు టిక్కెట్లు కొనాలి, ఎందుకంటే కమాండర్ వాటిని రైలులో అమ్మలేదు. (24.50 యూరోలు)
Quindi il modello può tradurre quella frase. Si ferma prima di raggiungerlo quando l'ingresso ha due paragrafi. Questo è un fallimento di lunghezza generazionale piuttosto che uno di comprensione, ed è la cosa più importante da sapere sull'utilizzo di questo strumento per una lingua non europea.
La soluzione è un paragrafo alla volta. noioso, affidabile e circa trenta secondi per paragrafo.
Cosa è sopravvissuto a ogni singola corsa?
URL e codice, dieci volte su dieci.
https://example.org/trial-2026/data intact in all 10
`read_csv(path, sep=";")` intact in all 10
Questa è l'istruzione che funziona esattamente come previsto, e non è una piccola cosa. Un traduttore che traduce in modo utile un nome di variabile, localizza un separatore decimale all'interno di un esempio di codice o riscrive un percorso URL che produce un output che viene interrotto in un modo in cui nessuno si accorge finché qualcosa non riesce. Qui il codice è tornato con le sue citazioni, il suo punto e virgola e i suoi nomi di parametro intatti in giapponese e telugu oltre che in spagnolo.
Se stai traducendo la documentazione, questa è la proprietà che conta di più, ed è quella che contiene.
Che fine ha fatto la data?
Il giapponese ha trasformato il 14 marzo nel quattordicesimo mese.
14月14日
Tutte e tre le esecuzioni giapponesi l'hanno prodotto. In giapponese una data è scritta mensilmente come 3月14日, uno dei modelli per localita catalogati in CLDR di Unicode, e il modello ha preso il numero del giorno e lo ha utilizzato per entrambi i campi. Non c'è il quattordicesimo mese, quindi questa non è un'ambiguità, è una data sbagliata che si legge come plausibile per chiunque sfreghi.
Telugu ha capito bene due volte e ha perso il mese una volta, tornando a "il 14" senza marcia. Lo spagnolo ha scritto correttamente "El 14 de Marzo" in tutti e tre.
Le date valgono la pena individuare perché sono l'errore che ha maggiori probabilità di sopravvivere a una correzione di bozze da qualcuno che non legge la lingua di destinazione. Un paragrafo mancante è visibile come differenza di lunghezza. Un mese sbagliato è di quattro caratteri che assomigliano a ogni altra data.
Perché il nome viene traslitterato quando l'istruzione dice di lasciarlo?
Perché l'istruzione è sbagliata per quegli script e il modello è corretto.
"Amara Osei" è tornato invariato in spagnolo e come アマラ・オセ in giapponese e అమరా ఒసే in telugu. Il prompt inviato con ogni richiesta dice "lasciare nomi, URL e codice invariato" e rigorosamente il modello disobbedito.
dovrebbe. Lasciare un nome a scene latina nel mezzo della prosa giapponese non è ciò che fa un traduttore giapponese; i nomi vengono traslitterati in katakana come una cosa ovvia e un documento che non lo fa si legge come output della macchina. Lo stesso vale per il telugu.
Quindi tratta quella riga dell'istruzione come applicabile agli identificatori piuttosto che alle persone. Se hai bisogno di un nome tenuto in caratteri latini, per un passaporto o un documento legale in cui l'ortografia è il punto, controllalo e rimettilo a posto.
Su quali lingue puoi fare affidamento?
I venti offerti non sono venti opzioni equivalenti e la differenza tiene traccia di quanto di ogni lingua ha visto il modello.
| strato | lingue | Cosa aspettarsi |
|---|---|---|
| Affidabile qui | Spagnolo, Francese, Tedesco, Portoghese, Italiano, Olandese | corretto su questo test; input multiparagrafo |
| Utilizzabile con controllo | Cinese, Giapponese, Coreano, Russo, Arabo, Turco | strutturalmente bene, ma aspettati errori di troncamento e data |
| Un paragrafo alla volta | Hindi, Bengalese, Telugu, Tamil, Marathi, Kannada, Urdu | troncamento misurato; verificare ogni cifra |
Sono stati misurati solo spagnoli, giapponesi e telugu. Le altre righe sono posizionate in base alla quantità di testo web esiste in ogni lingua, che è la cosa che prevede la competenza di un piccolo modello, e dovrebbero essere trattate come aspettative piuttosto che come risultati.
Il modello da portare via: più si va in basso quel tavolo, più breve dovrebbe essere l'input e più l'output deve essere controllato da qualcuno che lo legge.
È meglio o peggio di Google Translate?
Peggio nel tradurre, meglio non inviare il tuo documento da nessuna parte.
Un servizio di traduzione dedicato gestisce un modello molto più grande addestrato specificamente su testo parallelo e per una coppia di lingue come l'inglese al telugu quel divario è ampio. Se ciò di cui hai bisogno è la migliore traduzione disponibile di un documento pubblico, usane uno.
Quello che ottieni qui invece è che il testo non lascia l'hardware del sito. Le cose che le persone traducono spesso non sono pubblicabili: una lettera di un avvocato, un'e-mail di un padrone di casa, una nota medica per un parente, un contratto prima della firma. Per quelli, "abbastanza buono da capire, e nessun altro l'ha visto" è un prodotto diverso da "eccellente e registrato".
Sapere di quali di quelli di cui hai bisogno è l'intera decisione, e vale la pena prenderla consapevolmente piuttosto che in base a qualsiasi scheda aperta.
Il tono e la formattazione sopravvivono?
Formattazione Sì, con l'avvertimento del paragrafo sopra. Il tono è più difficile da verificare e vale meno fiducia.
L'istruzione richiede il significato, il tono, la formattazione e le interruzioni di riga da mantenere. In spagnolo tutte e tre le esecuzioni conservavano esattamente la struttura di due paragrafi. Nelle corse non latine, l'interruzione del paragrafo è andata persa in tutti e sette, inclusa quella che ha mantenuto i contenuti di entrambi i paragrafi.
Registrati è la cosa che non puoi controllare senza la lingua. Il giapponese in particolare codifica per la gentilezza grammaticalmente e la differenza tra una forma adatta per un collega e quella adatta a un cliente non è qualcosa che un madrelingua inglese può ispezionare. Le esecuzioni qui hanno utilizzato です/ます, la forma neutra educata, che è un valore predefinito ragionevole e potrebbe essere sbagliato per il tuo scopo.
Se il testo va a una persona piuttosto che alla tua comprensione, fallo leggere da qualcuno che parla la lingua. Questo è vero per qualsiasi traduzione automatica e più vero per uno piccolo.
Perché tradurre indietro non prova nulla?
Perché il viaggio di andata e ritorno è fluente qualunque cosa sia accaduta nel mezzo e nasconde esattamente il fallimento che stavi controllando.
Questo è il modo più comune in cui le persone verificano una traduzione che non possono leggere: rimetti l'output, vedi se esce l'inglese. Ecco quel test sull'output giapponese sopra.
Dr. Amal Ose will announce on April 14th. The entire dataset is available at
https://example.org/trial-2026/data. The load arm expects `read_csv(path, sep=";")`.
Leggilo freddo e sembra una traduzione corretta di un breve annuncio. Leggilo accanto all'originale e quattro cose sono successe.
Il nome è decaduto attraverso due passaggi: Amara Osei è diventata アマラ・オセ Diventa Amal Os. La data è stata ora sbagliata due volte in modi diversi, dal 14 marzo al quattordicesimo mese a 14 aprile, che è un terzo appuntamento che è apparso né in The Source né in giapponese. "Il caricatore" è diventato ロードアーム è diventato "Il braccio di carico". E manca ancora l'intero secondo paragrafo, senza nulla in inglese che suggerisca che sia mai esistito.
Quest'ultimo punto è quello che conta. Un viaggio di andata e ritorno non può rivelare il contenuto mancante, perché il contenuto mancante manca da entrambe le estremità. Verifica se il modello può leggere il proprio output, che generalmente può.
Il controllo che funziona è quello noioso: confronta la lunghezza di ciò che hai incollato con la lunghezza di ciò che è tornato.
Puoi tradurre un intero documento?
Non in una volta sola, e il motivo è lo stesso fallimento di cui sopra con più in gioco.
L'input molto lungo viene abbreviato in ciò che il modello può leggere in una volta, e la pagina lo dice quando ciò accade. Ma il troncamento qui misurato è una cosa diversa, che accade a 41 parole, ben all'interno di qualsiasi limite: il modello semplicemente smette di generare prima che sia finito.
Quindi un documento va in pezzi e la dimensione del pezzo dipende dal bersaglio:
| bersaglio | pezzo pratico |
|---|---|
| Spagnolo, Francese, Tedesco, Portoghese, Italiano, Olandese | diversi paragrafi; controllare la lunghezza |
| Cinese, Giapponese, Coreano, Russo, Arabo, Turco | un paragrafo o due, controllando ciascuno |
| Hindi, Bengalese, Telugu, Tamil, Marathi, Kannada, Urdu | un paragrafo, controllando ciascuno |
Lavora nell'ordine in cui il documento legge, mantieni l'output in un file separato mentre procedi e confronta i conteggi delle due righe alla fine. Per un lungo documento in una delle righe inferiori, è abbastanza lento da valere la pena chiedersi se un servizio di traduzione dedicato sia lo strumento migliore, che per il testo pubblico di solito lo è.
Ciò che il chunking non risolve è la coerenza. Un termine tradotto in un modo nel paragrafo tre può tornare in modo diverso nel paragrafo nove, perché ogni richiesta è indipendente e non porta nessuna delle scelte precedenti. Per qualsiasi cosa con una terminologia ricorrente, risolvi prima i termini chiave e in seguito risolverli a mano.
Quanto tempo ci vuole?
Da venticinque a quaranta secondi per un breve passaggio e il tempo traccia l'uscita anziché l'ingresso.
| bersaglio | orario | uscita |
|---|---|---|
| spagnolo | 37 s | 301 byte |
| giapponese | 25 s | 209 byte |
| telugu | 28 s | 335 byte |
Il giapponese è stato il più veloce perché ha prodotto il minimo, che è il fallimento descritto sopra che si vede nei tempi. Una corsa che torna insolitamente rapidamente su un obiettivo non europeo vale una seconda occhiata per questo motivo.
una corsa in dieci ha restituito un monte 502 piuttosto che una traduzione. La pagina gestisce correttamente, mostrando un errore anziché stampandolo come output e un nuovo tentativo ha funzionato. Vale la pena sapere che accade su un singolo modello condiviso.
Cosa controllare prima di utilizzare una traduzione?
Quattro cose, nell'ordine in cui sono andati male qui.
- lunghezza. Confronta l'output con l'ingresso. Se sembra breve, manca un paragrafo. Questo cattura il peggior fallimento senza leggere una parola della lingua di destinazione.
- ogni numero e data. I numeri sopravvivono quando le cifre e le date non sopravvivono come date.
- Codice, URL e identificatori. Questi si sono tenuti in tutte e dieci le esecuzioni, quindi questa è una rapida conferma piuttosto che un probabile problema.
- un essere umano, se va a un essere umano. Niente al di sopra lo sostituisce, e il Registro di cortesia è il motivo.
Perché viene eseguito sul server del sito?
Perché le richieste di traduzione che le persone fanno sono un elenco di cose che preferirebbero non caricare.
una lettera in una lingua che non leggono. un documento di un dipartimento governativo. un messaggio di un familiare. una clausola in un contratto. L'alternativa convenzionale lo invia a un servizio i cui termini consentono la conservazione e per i tipi di testo traducono le persone che è un'esposizione maggiore di quella che è per la maggior parte degli strumenti.
Qui va a un piccolo modello sull'hardware del sito e non viene archiviato a meno che tu non scelga di inviare feedback. Il costo è nelle dieci file della tabella sopra, dichiarate chiaramente piuttosto che scoperte.
