Я дал переводчику два абзаца: исследователь, представляющий результаты, и строку о билетах на поезд стоимостью 24,50 евро. На испанский трижды он возвращался в виде двух абзацев с каждой фигурой, нетронутым названием, нетронутым URL-адресом и нетронутым образцом кода. На японском трижды второго абзаца не было. В телугу четыре раза пропало три раза и слилось в первый абзац четвертый. Тот же вход, та же инструкция, та же модель. Единственное, что изменилось, это язык-цели, и исчезла половина текста, молча.
TL;DR: Это небольшая модель, делающая перевод, и насколько хорошо она зависит от того, на каком языке она обучалась. Измеряется по десяти прогонам из одного отрывка из 41 слова: испанский был правильным три раза из трех. Японцы трижды выбрасывают весь второй абзац из трех и 14 марта 14 марта 14 月14 日, четырнадцатый месяц. Телугу проиграл второй абзац в трех заездах по четыре. URL и код пережили все десять. Если ваша цель не является основным европейским языком, Переводите по одному абзацу за раз и проверяйте вывод, йо- выше переводчик Запускается на собственном сервере сайта, поэтому стоит отметить честные ограничения.
Что было проверено и как
Один отрывок, два абзаца, сорок один слова, несущий вещи, которые обычно ломаются при переводе: личное имя, дата, URL-образец кода с кавычками и точкой с запятой, цифра десятичной дроби и предложение, значение которого зависит от конкретного существительного.
Dr. Amara Osei will present the results on 14 March. The full dataset is at
https://example.org/trial-2026/data and the loader expects `read_csv(path, sep=";")`.
Tickets cost 24.50 euros and must be bought before boarding, because the
conductor cannot sell them on the train.
Три языка целевых, которые были выбраны так, чтобы охватить то, что видела такая модель: испанский, который повсюду в обучающих данных, японский, который хорошо представлен, но структурно далекий, и телугу, на котором около восьмидесяти миллионов говорящих и доля веб-присутствия. Этот разрыв является всей темой ни один язык не отстает от работы, который существует именно потому, что качество перевода отслеживает данные обучения, а не количество динамиков.
Всего десять прогонов. Вот каждый из них.
| длина | второй абзац | имя осталось как есть | URL нетронутый | код нетронутый | абзацы |
|---|---|---|---|---|---|
| испанский 1 | да | да | да | да | 2 |
| испанский 2 | да | да | да | да | 2 |
| испанский 3 | да | да | да | да | 2 |
| японский 1 | нет | нет | да | да | 1 |
| японский 2 | нет | нет | да | да | 1 |
| японский 3 | нет | нет | да | да | 1 |
| телугу 1 | нет | нет | да | да | 1 |
| телугу 2 | нет | нет | да | да | 1 |
| телугу 3 | да | нет | да | да | 1 |
| телугу 4 | нет | нет | да | да | 1 |
Что происходит с половиной текста?
Он не переведен, и ничего не говорит.
Шесть из семи нелатинских прогонов вернули только первый абзац. Выход плавный, правильно сформированный и полностью выглядящий. Если вы не читаете японский или телугу, то нет никакого сигнала, что текст, который вы вставили, составлял 41 слово, а полученный вами текст обложки 24 из них.
Единственный забег на телугу, который сохранил второй абзац, также не обнадеживает. Он объединил все в один абзац и объединил два несвязанных пункта, в результате чего загрузчик должен прибегнуть к коду, потому что продавать в поезде невозможно. Он также превратил поезд в автобус.
Причина видна, когда вы тестируете выброшенный абзац самостоятельно. Отправляется один, он правильно переводит и сохраняет 24.50:
రద్దకెళ్ళకు ముందు టిక్కెట్లు కొనాలి, ఎందుకంటే కమాండర్ వాటిని రైలులో అమ్మలేదు. (24.50 యూరోలు)
Таким образом, модель может перевести это предложение. Он останавливается, прежде чем достигать его, когда вход имеет два абзаца. Это скорее сбой длины поколения, а не понимание, и это самое важное, что нужно знать об использовании этого инструмента для неевропейского языка.
Обходной путь — это абзац за раз. Утомительно, надежно и около тридцати секунд на абзац.
Что пережило каждый прогон?
URL и код, десять раз из десяти.
https://example.org/trial-2026/data intact in all 10
`read_csv(path, sep=";")` intact in all 10
Это инструкция работает именно так, как задумано, и это не малая вещь. Переводчик, который услужливо переводит имя переменной, локализует десятичный разделитель внутри образца кода или перезаписывает путь URL-адреса, который производит выход, который не работает так, как никто не замечает, пока что-то не выйдет из строя. Здесь код вернулся со своими кавычками, своей точкой с запятой и именами параметров, нетронутыми на японском и телугу, а также по-испански.
Если вы переводите документацию, это самое главное свойство, и оно имеет значение.
Что случилось с датой?
Японцы исполнили 14 марта в четырнадцатый месяц.
14月14日
Все три японских забега производили его. В японском языке дата пишут в первом месяце как 3 月14 日, один из локальных шаблонов, записанных в Юникод's cldr, и модель взяла номер дня и использовала его для обоих полей. Четырнадцатого месяца не бывает, так что это не двусмысленность, это неправильная дата, которая читается как правдоподобная для всех, кто скользит.
Телугу сделал это дважды и один раз пропустил месяц, вернув «14-й» без марша. Испанский написал "Эл 14 де Марзо" правильно во всех трех.
Даты стоит выделить, потому что они, скорее всего, выживут в корректуре кем-то, кто не читает целевой язык. Отсутствующий абзац виден как разность длины. Неправильный месяц — это четыре персонажа, которые выглядят как любая другая дата.
Почему имя транслитерируется, когда в инструкции написано оставить его?
Потому что инструкция неверна для этих скриптов, и модель правильная.
«Амара Осей» вернулась в испанском языке без изменений и как アマラ・オセ на японском языке и అమా ఒసే на телугу. В подсказке, отправленной с каждым запросом, написано "оставить имена, URL-адреса и код без изменений" и строго не подчиняться модели.
ЭТО ДОЛЖНО. Оставлять латинское имя в середине японской прозы — это не то, что делает японский переводчик; имена транслитерируются в катакану как само собой разумеющееся, а документ, который не делает это, читается как машинный вывод. То же самое относится и к телугу.
Так что рассматривайте эту строку инструкции как к идентификаторам, а не к людям. Если вам нужно имя, содержащееся латинским шрифтом, для паспорта или юридического документа, где написание является точкой, проверьте его и поместите обратно.
На какие языки можно положиться?
Предлагаемые двадцать не являются двадцатью эквивалентными вариантами, и разница отслеживает, сколько на каждом языке видела модель.
| ур | языки | Чего ожидать |
|---|---|---|
| Надежный здесь | Испанский, французский, немецкий, португальский, итальянский, голландский | Правильно в этом тесте, многократный входной ввод |
| Можно использовать с проверкой | Китайский, Японский, Корейский, Русский, Арабский, Турецкий | Конструктивно в порядке, но ожидайте ошибки усечения и даты |
| по одному абзацу за раз | хинди, бенгальский, телугу, тамильский, маратхи, каннада, урду | измеренное усечение; проверка каждой цифры |
Были измерены только испанский, японский и телугу. Другие строки помещаются по тому, сколько веб-текста существует на каждом языке, что предсказывает компетентность небольшой модели, и их следует рассматривать как ожидания, а не как результаты.
Шаблон, который нужно унести: чем дальше по этой таблице вы идете, тем короче должен быть ввод и тем больше нужно проверять вывод того, кто его читает.
Это лучше или хуже, чем гугл-переводчик?
Хуже перевода, лучше не отправлять документы куда-нибудь.
Специальная служба перевода работает гораздо более крупной моделью, обученной специально для параллельного текста, а для языковой пары, такой как английский или телугу, этот разрыв велик. Если вам нужен лучший доступный перевод публичного документа, используйте один из них.
Вместо этого вы получаете, что текст не покидает собственное оборудование сайта. То, что люди переводят, часто не подлежит для публикации: письмо от адвоката, электронное письмо от арендодателя, медицинское записка для родственника, контракт до подписания. Для тех, «достаточно хороши, чтобы понять, и никто другой не видел» — это другой продукт, отличный от «отлично, и записанный».
Знать, какой из них вам нужен, — это все решение, и стоит принимать сознательно, а не какую бы открытую вкладку.
Сохраняется ли тон и форматирование?
Форматирование Да, с пунктом оговорки выше. Тон труднее проверить и стоит меньше доверия.
В инструкции запрашивается смысл, тон, форматирование и разрыв строк, которые необходимо сохранить. В испанском языке все три запуска сохранили ровно двухпунктовую структуру. В нелатинских пробежках перерыв в абзаце был потерян во всех семи, включая тот, который содержал оба абзаца.
Регистрация — это то, что вы не можете проверить без языка. Японский, в частности, кодирует вежливость грамматически, и разница между формой, подходящей для коллеги, и тем, что подходит для клиента, не является чем-то, что может проверить англоязычный. Пробеги здесь используются です/ます, нейтрально-вежливая форма, которая является разумным дефолтом и может быть неверной для вашей цели.
Если текст идет к человеку, а не в ваше собственное понимание, попросите его прочитать тот, кто говорит на этом языке. Это верно для любого машинного перевода и более справедливо для небольшого.
Почему перевод обратно ничего не доказывает?
Поскольку поездка туда и обратно свободно, все, что произошло в середине, и скрывает именно ту неудачу, которую вы проверяли.
Это наиболее распространенный способ, которым люди проверяют перевод, который они не могут прочитать: верните вывод, посмотрите, выйдет ли английский. Вот этот тестовый запуск на выходе японского языка выше.
Dr. Amal Ose will announce on April 14th. The entire dataset is available at
https://example.org/trial-2026/data. The load arm expects `read_csv(path, sep=";")`.
Прочитайте это холодно, и это выглядит как правильный перевод короткого объявления. Прочтите рядом с оригиналом, и произошло четыре вещи.
Название разрушилось через два прохода: Амара Осей стала アマラ・オセ Амаль Оза, йо- Дата в настоящее время была неверной дважды по-разному, с 14 марта по четырнадцатый месяц. 14 апреля, который является третьей датой, которая не появилась ни в источнике, ни в японском языке. «Загрузчик» стал ロードアーム "Расгрузочное подвеска", йо- И весь второй абзац все еще отсутствует, и в английском языке нет ничего, что могло бы предположить, что он когда-либо существовал.
Это последнее, что имеет значение. При обходе круговерт не может быть обнаружено недостающий контент, поскольку отсутствует содержимое, на котором он отсутствует. Он проверяет, может ли модель считывать собственный вывод, который она обычно может.
Проверка, которая работает, является скучной: сравните длину того, что вы вставили, с длиной того, что вернулось.
Вы можете перевести целый документ?
Не за один раз, и причина в том же провале, что и выше, с большим количеством на кону.
Очень длинный ввод сокращается до того, что модель может читать сразу, и на странице об этом написано, когда это происходит. Но измеренное здесь усечение — это другое, что происходит на 41 слове, в пределах любого предела: модель просто перестает генерировать до того, как закончите.
Так что документ проходит по частям, а размер куска зависит от цели:
| мишень | практический кусок |
|---|---|
| Испанский, французский, немецкий, португальский, итальянский, голландский | несколько абзацев; проверьте длину |
| Китайский, Японский, Корейский, Русский, Арабский, Турецкий | абзац или два, проверяя каждый |
| хинди, бенгальский, телугу, тамильский, маратхи, каннада, урду | один абзац, проверяя каждый |
Работайте в том порядке, в котором читается документ, сохраняйте вывод в отдельном файле по мере продвижения и сравните два счетчика строк в конце. Для длинного документа в одной из нижних строк, который достаточно медленный, чтобы задаваться вопросом, является ли специальный сервис перевода лучшим инструментом, который обычно является для публичного текста.
Чего не решает кусок, так это согласованность. Термин, переведенный одним способом в третьем пункте, может возвращаться по-разному в девятом пункте, поскольку каждый запрос является независимым и не имеет ни одного из предыдущих вариантов. Для всего, что с повторяющейся терминологией, сначала урегулируйте ключевые термины, а затем зафиксируйте их вручную.
Сколько времени это займет?
От двадцати пяти до сорока секунд для короткого прохода, а время отслеживает выход, а не вход.
| мишень | время | выходной |
|---|---|---|
| испанский | 37 с | 301 байт |
| японский | 25 с | 209 байт |
| телугу | 28 с | 335 байт |
Японский был самым быстрым, потому что он произвел меньше всего, что является сбоем, описанным выше, во время. По этой причине заезд, который возвращается необычно быстро на неевропейскую цель, стоит повторить.
Один запуск из десяти вернулся вверх по течению 502 а не перевод. Страница обрабатывает это правильно, показывая ошибку, а не печатая ее как вывод, и повторная попытка сработала. Стоит знать, что это происходит на одной общей модели.
Что нужно проверить перед использованием перевода?
Четыре вещи, в том порядке, в котором они пошли не так.
- длина. Сравните выход с входом. Если он выглядит коротким, абзац отсутствует. Это улавливает наихудшую неудачу без прочтения слова целевого языка.
- каждое число и дату. Цифры сохраняются, так как цифры и даты не сохраняются в виде дат.
- Код, URL-адреса и идентификаторы. Они проходят во всех десяти прогонах, так что это скорее быстрое подтверждение, чем вероятный вопрос.
- Человек, если он идет к человеку. Ничто из того, что выше, не заменит это, и в этом причина вежливости.
Почему он работает на собственном сервере сайта?
Потому что запросы перевода, которые делают люди, представляют собой список вещей, которые они не хотели бы загружать.
письмо на языке, который они не читают. Документ от государственного ведомства. сообщение от члена семьи. пункт в договоре. Обычная альтернатива отправляет его службе, условия которой позволяют удерживать, а для текстов, которые переводят люди, это более широкая известность, чем для большинства инструментов.
Здесь он переходит к небольшой модели на собственном оборудовании сайта и не хранится, если вы не решите отправить отзыв. Стоимость указана в десяти строках выше, изложенных, а не обнаруженных.
