Ich gab dem Übersetzer zwei Absätze: einen Forscher, der Ergebnisse präsentiert, und eine Linie über Bahntickets für 24,50 Euro. Ins Spanische kam es dreimal als zwei Absätze mit jeder Figur, der Name unberührt, die URL unberührt und das Codebeispiel unberührt. In Japanisch war der zweite Absatz dreimal überhaupt nicht da. In Telugu viermal fehlte es dreimal und verschmolz im ersten Absatz der vierte. Der gleiche Eingang, die gleiche Anweisung, das gleiche Modell. Das einzige, was sich änderte, war die Zielsprache, und das, was verschwand, war die Hälfte des Textes schweigend.
tl; dr: Dies ist ein kleines Modell, das Übersetzungen ausführt, und wie gut es davon abhängt, wie viel von dieser Sprache es trainiert wurde. Gemessen über zehn Läufe einer Passage mit 41 Wörtern: Spanisch war dreimal richtig. Japaner ließen den gesamten zweiten Absatz dreimal von drei Mal fallen und machten "14 März" als 14 月14 日, den vierzehnten Monat. Telugu verlor den zweiten Absatz in drei Läufen von vier. URLs und Code überlebten alle zehn. Wenn Ihr Ziel keine große europäische Sprache ist, Übersetzen Sie jeweils einen Absatz und überprüfen Sie die Ausgabedrohen der Übersetzer Läuft auf dem eigenen Server, weshalb die ehrlichen Grenzen wert sind.
Was wurde getestet und wie
Eine Passage, zwei Absätze, einundvierzig Wörter, die die Dinge tragen, die normalerweise in der Übersetzung brechen: ein persönlicher Name, ein Datum, eine URL, ein Codebeispiel mit Anführungszeichen und ein Semikolon, eine Dezimalwährungszahl und ein Satz, dessen Bedeutung von einem bestimmten Substantiv abhängt.
Dr. Amara Osei will present the results on 14 March. The full dataset is at
https://example.org/trial-2026/data and the loader expects `read_csv(path, sep=";")`.
Tickets cost 24.50 euros and must be bought before boarding, because the
conductor cannot sell them on the train.
Drei Zielsprachen, die so gewählt wurden, dass es sich um ein Modell handelt: Spanisch, das überall in den Trainingsdaten ist, Japanisch, das gut vertreten ist, aber strukturell entfernt ist; und Telugu, das rund 80 Millionen Redner und einen Bruchteil der Webpräsenz hat. Diese Lücke ist das ganze Thema der Keine Sprache hinter der Arbeit, was genau deshalb existiert, weil die Übersetzungsqualität die Trainingsdaten anstelle der Anzahl der Sprecher verfolgt.
Insgesamt zehn Läufe. Hier ist jeder von ihnen.
| leiten | Zweiter Absatz | Name übrig wie ist | URL intakt | Code intakt | Absätze |
|---|---|---|---|---|---|
| Spanisch 1 | ja | ja | ja | ja | 2 |
| Spanisch 2 | ja | ja | ja | ja | 2 |
| Spanisch 3 | ja | ja | ja | ja | 2 |
| Japanisch 1 | kein | kein | ja | ja | 1 |
| Japanisch 2 | kein | kein | ja | ja | 1 |
| Japanisch 3 | kein | kein | ja | ja | 1 |
| Telugu 1 | kein | kein | ja | ja | 1 |
| Telugu 2 | kein | kein | ja | ja | 1 |
| Telugu 3 | ja | kein | ja | ja | 1 |
| Telugu 4 | kein | kein | ja | ja | 1 |
Was passiert mit der Hälfte des Textes?
Es wird nicht übersetzt und nichts sagt es.
Sechs der sieben nicht-lateinischen Läufe gaben nur den ersten Absatz zurück. Die Ausgabe ist fließend, korrekt geformt und sieht vollständig aus. Wenn Sie kein Japanisch oder Telugu lesen, gibt es überhaupt kein Signal, dass der Text, den Sie eingefügt haben, 41 Wörter betrug und der von Ihnen erhaltene Text 24 davon abdeckt.
Der eine Telugu-Lauf, der den zweiten Absatz beibehalten hat, ist auch nicht beruhigend. Es wurde alles in einem einzigen Absatz zusammengeführt und zwei nicht verwandte Klauseln zusammengefügt, wodurch ein Satz hervorgeht, der besagt, dass der Lader auf den Code zurückgreifen muss, da der Verkauf im Zug nicht möglich ist. Es hat auch den Zug in einen Bus verwandelt.
Die Ursache ist sichtbar, wenn Sie den abgelegten Absatz selbst testen. Allein gesendet, übersetzt es richtig und hält die 24.50:
రద్దకెళ్ళకు ముందు టిక్కెట్లు కొనాలి, ఎందుకంటే కమాండర్ వాటిని రైలులో అమ్మలేదు. (24.50 యూరోలు)
Das Modell kann diesen Satz also übersetzen. Es stoppt, bevor es erreicht wird, wenn der Eingang zwei Absätze hat. Das ist eher ein Versagen der Generation als ein Verständnis, und es ist das Wichtigste, was Sie über dieses Tool für eine außereuropäische Sprache wissen müssen.
Die Problemumgehung ist jeweils ein Absatz. Langeweile, zuverlässig und ungefähr dreißig Sekunden pro Absatz.
Was überlebte jeden einzelnen Lauf?
URLs und Code, zehnmal von zehn.
https://example.org/trial-2026/data intact in all 10
`read_csv(path, sep=";")` intact in all 10
Das ist die Anleitung, die genau wie beabsichtigt funktioniert, und es ist keine kleine Sache. Ein Übersetzer, der hilfreich einen Variablennamen übersetzt, ein Dezimaltrennzeichen in einem Codebeispiel lokalisiert oder einen URL-Pfad neu schreibt, erzeugt eine Ausgabe, die auf eine Weise gebrochen wird, die niemand bemerkt, bis etwas fehlschlägt. Hier kam der Code mit seinen Zitaten, seinem Semikolon und seinen Parameternamen auf Japanisch und Telugu sowie Spanisch zurück.
Wenn Sie die Dokumentation übersetzen, ist dies die Eigenschaft, die am wichtigsten ist, und es ist diejenige, die gilt.
Was ist mit dem Datum passiert?
Japaner wurden am 14. März in den vierzehnten Monat.
14月14日
Alle drei japanischen Läufe produzierten es. Auf Japanisch wird ein Datum als erstes als 3 月14 日 geschrieben, eines der in katalogisierten pro-lokalen Muster Unicodes CLDR, und das Modell hat die Tagesnummer genommen und für beide Felder verwendet. Es gibt keinen vierzehnten Monat, also ist dies keine Mehrdeutigkeit, es ist ein falsches Datum, das für jeden, der überfliegt, als plausibler Wert bezeichnet wird.
Telugu hat es zweimal richtig verstanden und den Monat einmal fallen gelassen, als er "den 14." ohne Marsch zurückgegeben hat. Spanisch schrieb "El 14 de Marzo" in allen drei richtig.
Daten sind herauszuheben, da sie den Fehler sind, der am wahrscheinlichsten eine Korrektur gelesen wird, die von jemandem gelesen wird, der die Zielsprache nicht liest. Ein fehlender Absatz ist als Längenunterschied sichtbar. Ein falscher Monat sind vier Zeichen, die wie jedes andere Datum aussehen.
Warum wird der Name transliteriert, wenn die Anweisung sagt, dass er ihn verlassen soll?
Weil die Anweisung für diese Skripte falsch ist und das Modell richtig ist.
"Amara Osei" kam unverändert auf Spanisch und als アマラ・オセ auf Japanisch und అమరా ఒసే in Telugu. Die mit jeder Anfrage gesendete Eingabeaufforderung sagt "Name, URLs und Code unverändert" und das Modell wird streng missachtet.
es sollte. Einen lateinischen Namen in der Mitte der japanischen Prosa zu lassen, ist nicht das, was ein japanischer Übersetzer tut, Namen werden selbstverständlich in Katakana übersetzt und ein Dokument, das es nicht tut, wird als Maschinenausgabe gelesen. Das gleiche gilt für Telugu.
Behandeln Sie diese Zeile der Anweisung als Anwendung für Bezeichner und nicht für Personen. Wenn Sie einen Namen in lateinischen Schriften, für einen Pass oder ein juristisches Dokument benötigen, bei dem die Rechtschreibung der Punkt ist, überprüfen Sie ihn und setzen Sie ihn zurück.
Auf welche Sprachen können Sie sich verlassen?
Die zwanzig angebotenen Optionen sind nicht zwanzig Äquivalent Optionen, und der Unterschied verfolgt, wie viel von jeder Sprache das Modell gesehen hat.
| Rang | Sprachen | Was zu erwarten |
|---|---|---|
| Hier zuverlässig | Spanisch, Französisch, Deutsch, Portugiesisch, Italienisch, Niederländisch | bei diesem Test richtig; Multi-Absatz-Eingabe gilt |
| Mit Überprüfung verwendbar | Chinesisch, Japanisch, Koreanisch, Russisch, Arabisch, Türkisch | strukturell in Ordnung, aber erwarten Sie Kürzungs- und Datumsfehler |
| Ein Absatz nach dem anderen | Hindi, Bengali, Telugu, Tamil, Marathi, Kannada, Urdu | gemessene Abschneidung; jede Figur überprüfen |
Es wurden nur Spanisch, Japanisch und Telugu gemessen. Die anderen Zeilen werden so platziert, wie viel Webtext in jeder Sprache vorhanden ist. Dies ist die Sache, die die Kompetenz eines kleinen Modells vorhersagt, und sie sollten eher als Erwartungen als als Ergebnisse behandelt werden.
Das Muster, das Sie wegtragen sollten: Je weiter unten Sie in der Tabelle sind, desto kürzer sollte die Eingabe sein und desto mehr muss die Ausgabe von jemandem überprüft werden, der sie liest.
Ist das besser oder schlechter als Google Übersetzer?
Schlimmer noch, wenn Sie Ihr Dokument nicht überall senden möchten.
Ein dedizierter Übersetzungsdienst führt ein viel größeres Modell aus, das speziell auf parallelen Text trainiert ist, und für ein Sprachpaar wie Englisch bis Telugu ist diese Lücke groß. Wenn Sie die beste verfügbare Übersetzung eines öffentlichen Dokuments benötigen, verwenden Sie eines davon.
Was Sie hier stattdessen bekommen, ist, dass der Text die eigene Hardware nicht verlässt. Die Dinge, die die Leute übersetzen, sind häufig nicht publizierbar: ein Brief eines Anwalts, eine E-Mail eines Vermieters, eine medizinische Notiz für einen Verwandten, einen Vertrag vor der Unterzeichnung. Für diejenigen, die "gut genug zu verstehen, und niemand sonst gesehen" ein anderes Produkt als "ausgezeichnet" und protokolliert ".
Zu wissen, welche von denen Sie brauchen, ist die ganze Entscheidung, und es lohnt sich, bewusst zu treffen, anstatt von der Registerkarte, die geöffnet ist.
Überlebt der Ton und die Formatierung?
Formatierung Ja, mit dem obigen Absatzbeschränkung. Ton ist schwerer zu überprüfen und weniger Vertrauen wert.
Die Anweisung fragt nach Bedeutung, Ton, Formatierung und Zeilenumbrüchen. Auf Spanisch haben alle drei Läufe die zwei Abs. Struktur genau erhalten. In den nicht-lateinischen Läufen ging der Absatzumbruch in allen sieben verloren, einschließlich desjenigen, der beide Absätze beibehalten hat.
Registrieren ist das, was Sie ohne die Sprache nicht überprüfen können. Insbesondere Japanisch codiert die Höflichkeit grammatikalisch, und der Unterschied zwischen einem für einen Kollegen geeigneten und einem kundengerechten Formular ist nicht etwas, das ein Englischsprachiger inspizieren kann. Die hier verwendeten Läufe で で / ま す, die neutral-höfliche Form, die eine vernünftige Standardeinstellung darstellt und für Ihren Zweck falsch sein kann.
Wenn der Text eher zu einer Person als zu Ihrem eigenen Verständnis geht, lassen Sie ihn von jemandem lesen, der die Sprache spricht. Das gilt für jede maschinelle Übersetzung und eher für eine kleine.
Warum beweist das Übersetzen nichts?
Denn die Rundreise ist fließend, was auch immer in der Mitte passiert ist und genau das Versagen, auf das Sie gesucht haben, verbirgt.
Dies ist die häufigste Art und Weise, wie Menschen eine Übersetzung überprüfen, die sie nicht lesen können: Legen Sie die Ausgabe wieder durch, prüfen Sie, ob Englisch herauskommt. Hier ist dieser Testlauf auf der japanischen Ausgabe oben.
Dr. Amal Ose will announce on April 14th. The entire dataset is available at
https://example.org/trial-2026/data. The load arm expects `read_csv(path, sep=";")`.
Lesen Sie es kalt und es sieht aus wie eine korrekte Übersetzung einer kurzen Ankündigung. Lesen Sie es neben dem Original und vier Dinge sind passiert.
Der Name ist durch zwei Durchgänge verfallen: Amara Osei wurde アマラ・オセ wurde Amal Osedrohen Das Datum war jetzt zweimal auf unterschiedliche Weise falsch, 14. März bis zum vierzehnten Monat 14. April, das ist ein drittes Datum, das weder in der Quelle noch in den Japanern erschien. "Der Loader" wurde ロードアーム wurde "Der Lastarm"drohen Und der gesamte zweite Absatz fehlt noch, und es gibt nichts im Englischen, was darauf hindeutet, dass es jemals existiert hat.
Dieser letzte Punkt ist derjenige, der zählt. Eine Rundreise kann fehlende Inhalte nicht aufdecken, da der fehlende Inhalt an beiden Enden fehlt. Es testet, ob das Modell seine eigene Ausgabe lesen kann, was es im Allgemeinen kann.
Der Scheck, der funktioniert, ist der langweilige: Vergleichen Sie die Länge des Einklappbaren mit der Länge des zurückgekommenen.
Können Sie ein ganzes Dokument übersetzen?
Nicht auf einmal, und der Grund ist der gleiche Fehler wie oben, bei dem es um mehr geht.
Sehr lange Eingaben werden auf das, was das Modell sofort lesen kann, gekürzt, und auf der Seite wird dies angegeben, wenn dies geschieht. Aber die hier gemessene Kürzung ist eine andere Sache, die mit 41 Wörtern geschieht, und zwar innerhalb jeder Grenze: Das Modell hört einfach auf zu generieren, bevor es fertig ist.
Ein Dokument geht also in Stücken durch und die Stückgröße hängt vom Ziel ab:
| Zielscheibe | Praktischer Teil |
|---|---|
| Spanisch, Französisch, Deutsch, Portugiesisch, Italienisch, Niederländisch | mehrere Absätze; Länge überprüfen |
| Chinesisch, Japanisch, Koreanisch, Russisch, Arabisch, Türkisch | ein oder zwei Absatz, jeweils überprüfen |
| Hindi, Bengali, Telugu, Tamil, Marathi, Kannada, Urdu | Ein Absatz, der jeweils überprüft |
Arbeiten Sie in der Reihenfolge, in der das Dokument gelesen wird, halten Sie die Ausgabe in einer separaten Datei und vergleichen Sie die beiden Zeilenzahlen am Ende. Für ein langes Dokument in einer der unteren Reihen ist es langsam genug, um zu fragen, ob ein dedizierter Übersetzungsdienst das bessere Werkzeug ist, was für öffentliche Texte normalerweise ist.
Was Chunking nicht löst, ist Konsistenz. Ein in Absatz 3 übersetzter Begriff kann in Absatz neun unterschiedlich zurückkommen, da jede Anfrage unabhängig ist und keine der früheren Entscheidungen enthält. Für alles mit wiederkehrenden Terminologie richten Sie zuerst die Schlüsselbegriffe aus und fixieren Sie sie anschließend von Hand.
Wie lange dauert es?
25 bis 40 Sekunden für einen kurzen Durchgang, und die Zeit verfolgt den Ausgang und nicht den Eingang.
| Zielscheibe | Zeit | Ausgabe |
|---|---|---|
| spanisch | 37 s | 301 Bytes |
| Japaner | 25 s | 209 Bytes |
| Telugu | 28 s | 335 Bytes |
Japanisch war am schnellsten, weil es am wenigsten produzierte, was der oben beschriebene Fehler ist, der im Timing angezeigt wird. Einen Lauf, der auf ein außereuropäisches Ziel ungewöhnlich schnell zurückkommt, ist aus diesem Grund einen zweiten Blick wert.
Ein Lauf in zehn gab einen Upstream zurück 502 eher als eine Übersetzung. Die Seite verarbeitet dies korrekt, zeigt einen Fehler an, anstatt ihn als Ausgabe zu drucken, und es wurde ein erneuter Versuch ausgeführt. Wissenswertes, dass es auf einem einzigen gemeinsamen Modell passiert.
Was sollten Sie vor der Übersetzung überprüfen?
Vier Dinge, in der Reihenfolge, in der sie hier schief gelaufen sind.
- Länge Vergleichen Sie die Ausgabe mit dem Eingang. Wenn es kurz aussieht, fehlt ein Absatz. Dies fängt den schlimmsten Fehler ab, ohne ein Wort der Zielsprache zu lesen.
- jede Zahl und Datum. Zahlen überleben, da Ziffern und Daten nicht als Daten überleben.
- Code, URLs und Kennungen. Diese hielten in allen zehn Läufen, daher ist dies eher eine schnelle Bestätigung als ein wahrscheinliches Problem.
- Ein Mensch, wenn es zu einem Menschen geht. Nichts über ersetzt das, und das Höflichkeitsregister ist der Grund.
Warum läuft es auf dem eigenen Server der Website?
Weil die Übersetzungsanfragen eine Liste von Dingen sind, die sie lieber nicht hochladen möchten.
Ein Brief in einer Sprache, die sie nicht lesen. ein Dokument aus einer Regierungsabteilung. eine Nachricht von einem Familienmitglied. eine Klausel in einem Vertrag. Die herkömmliche Alternative sendet es an einen Dienst, dessen Bedingungen die Aufbewahrung ermöglichen, und für die Arten von Text, die Menschen übersetzen, ist dies eine größere Belichtung als für die meisten Tools.
Hier geht es zu einem kleinen Modell auf der Website der eigenen Hardware und wird nur gespeichert, wenn Sie sich für ein Feedback entscheiden. Die Kosten sind in den zehn Zeilen der obigen Tabelle angegeben, die deutlich und nicht entdeckt wurden.
