נתתי למתרגם שתי פסקאות: חוקר המציג תוצאות, ושורה לגבי כרטיסי רכבת בעלות של 24.50 יורו. לספרדית, שלוש פעמים, הוא חזר כשתי פסקאות עם כל דמות, השם לא נגע, כתובת האתר לא נגעה ודגימת הקוד לא נגועה. לתוך היפנית, שלוש פעמים, הפסקה השנייה לא הייתה שם בכלל. לתוך טלוגו, ארבע פעמים, הוא היה חסר שלוש פעמים והתמזג לפסקה הראשונה הרביעית. אותו קלט, אותה הוראה, אותו דגם. הדבר היחיד שהשתנה היה שפת היעד, והדבר שנעלם היה חצי מהטקסט, בשקט.
TL;DR: זהו דגם קטן שעושה תרגום, ועד כמה הוא מצליח תלוי במידה רבה בכמה מהשפה הזו הוא הוכשר. נמדד על פני עשר ריצות של קטע אחד של 41 מילים: ספרדית הייתה נכונה שלוש פעמים מתוך שלוש. היפנים הורידו את כל הפסקה השנייה שלוש פעמים מתוך שלוש ועשו 14 במרץ" כ-14 月14日, החודש הארבעה עשר. טלוגו הפסיד את הפסקה השנייה בשלוש ריצות של ארבע. כתובות אתרים וקוד שרדו את כל העשרה. אם היעד שלך אינו שפה אירופאית מרכזית, תרגם פסקה אחת בכל פעם ובדוק את הפלט. ה מתרגם פועל על השרת של האתר עצמו, וזו הסיבה שהמגבלות הכנות ראויות לציון.
מה נבדק, וכיצד
קטע אחד, שתי פסקאות, ארבעים ואחת מילים, הנושאות את הדברים שבדרך כלל נשברים בתרגום: שם אישי, תאריך, כתובת URL, דגימת קוד עם מרכאות ונקודה-פסיק, נתון מטבע עשרוני ומשפט שמשמעותו תלויה בשם עצם ספציפי.
Dr. Amara Osei will present the results on 14 March. The full dataset is at
https://example.org/trial-2026/data and the loader expects `read_csv(path, sep=";")`.
Tickets cost 24.50 euros and must be bought before boarding, because the
conductor cannot sell them on the train.
שלוש שפות יעד, שנבחרו על פני מה שראו מודל כזה: ספרדית, שנמצאת בכל מקום בנתוני אימון; יפנית, המיוצגת היטב אך מרוחקת מבחינה מבנית; וטלוגו, שיש לה כשמונים מיליון דוברים וחלק מהנוכחות באינטרנט. הפער הזה הוא כל הנושא של שום שפה לא נשארה מאחור עבודה, שקיים בדיוק בגלל שאיכות התרגום עוקבת אחר נתוני אימון ולא ספירת דוברים.
עשר ריצות בסך הכל. הנה כל אחד מהם.
| לרוץ | פֶּר� | שם נותר כפי שהוא | כתובת האתר שלמה | הקוד שלם | פֶלֶ |
|---|---|---|---|---|---|
| ספרדית 1 | כֵּ | כֵּ | כֵּ | כֵּ | 2 |
| ספרדית 2 | כֵּ | כֵּ | כֵּ | כֵּ | 2 |
| ספרדית 3 | כֵּ | כֵּ | כֵּ | כֵּ | 2 |
| יפני 1 | לֹא | לֹא | כֵּ | כֵּ | 1 |
| יפני 2 | לֹא | לֹא | כֵּ | כֵּ | 1 |
| יפני 3 | לֹא | לֹא | כֵּ | כֵּ | 1 |
| טלוגו 1 | לֹא | לֹא | כֵּ | כֵּ | 1 |
| טלוגו 2 | לֹא | לֹא | כֵּ | כֵּ | 1 |
| טלוגו 3 | כֵּ | לֹא | כֵּ | כֵּ | 1 |
| טלוגו 4 | לֹא | לֹא | כֵּ | כֵּ | 1 |
מה קורה לחצי מהטקסט?
זה לא מתורגם, ושום דבר לא אומר זאת.
שש מתוך שבע הריצות הלא לטיניות החזירו רק את הפסקה הראשונה. הפלט שוטף, מעוצב כהלכה ומראה שלם. אם לא תקרא יפנית או טלוגו, אין שום אות שהטקסט שהדבקת היה 41 מילים והטקסט שקיבלת מכסה 24 מהן.
גם ריצת הטלוגו האחת ששמרה על הפסקה השנייה לא מרגיעה. הוא מיזג הכל לפסקה אחת ונייח שני סעיפים לא קשורים, והפיק משפט שאומר שהמעמיס חייב לנקוט בקוד כי מכירה ברכבת אינה אפשרית. זה גם הפך את הרכבת לאוטובוס.
הסיבה גלויה כאשר אתה בודק את הפסקה שנפלה בעצמה. נשלח לבד, הוא מתורגם נכון ושומר על ה-24.50:
రద్దకెళ్ళకు ముందు టిక్కెట్లు కొనాలి, ఎందుకంటే కమాండర్ వాటిని రైలులో అమ్మలేదు. (24.50 యూరోలు)
אז המודל יכול לתרגם את המשפט הזה. זה עוצר לפני שהוא מגיע אליו כאשר לקלט יש שתי פסקאות. זהו כשל באורך דור ולא הבנה, וזה הדבר החשוב ביותר לדעת על השימוש בכלי זה לשפה לא אירופאית.
הדרך לעקיפת הבעיה היא פסקה בכל פעם. מייגע, אמין, וכשלושים שניות לפסקה.
מה שרד כל ריצה?
כתובות אתרים וקוד, עשר פעמים מתוך עשר.
https://example.org/trial-2026/data intact in all 10
`read_csv(path, sep=";")` intact in all 10
זו ההוראה שפועלת בדיוק כמתוכנן, וזה לא דבר קטן. מתרגם שמתרגם שם משתנה, ממקם מפריד עשרוני בתוך דגימת קוד או משכתב נתיב כתובת אתר מייצר פלט שנשבר בצורה שאף אחד לא שם לב אליו עד שמשהו נכשל. כאן הקוד חזר עם המירכאות שלו, נקודה-פסיק שלו ושמות הפרמטרים שלו לא נגעו ביפנית ובטלוגו כמו גם בספרדית.
אם אתם מתרגמים תיעוד, זה המאפיין שהכי חשוב, והוא זה שמכיל.
מה קרה לדייט?
היפנים הפכו ל-14 במרץ לחודש הארבעה עשר.
14月14日
כל שלוש הריצות היפניות יצרו אותו. ביפנית תאריך נכתב חודש ראשון כ-3月14日, אחת הדפוסים לכל מקום מקוטלגים ב CLDR של Unicode, והמודל לקח את מספר היום והשתמש בו לשני השדות. אין חודש ארבע עשרה, אז זו לא אי בהירות, זה תאריך שגוי שנקרא כתאריך סביר לכל מי שרפרף.
טלוגו עשה את זה נכון פעמיים והוריד את החודש פעם אחת, וחזר "ה-14" ללא מרץ. ספרדית כתבה "el 14 de Marzo" נכון בשלושתם.
כדאי לפרט תאריכים מכיוון שהם השגיאה שסביר להניח שישרדה הגהה של מישהו שלא קורא את שפת היעד. פסקה חסרה גלויה כהפרש אורך. חודש שגוי הוא ארבע דמויות שנראות כמו כל דייט אחר.
מדוע מתעתיק השם כאשר ההוראה אומרת לעזוב אותו?
כי ההוראה שגויה עבור אותם סקריפטים, והמודל נכון.
"Amara Osei" חזר ללא שינוי בספרדית וכ-アマラ・オセ ביפנית ו-అమరా ఒసే בטלוגו. ההנחיה שנשלחה עם כל בקשה אומרת "השאירו שמות, כתובות אתרים וקוד ללא שינוי", ובאופן מוחלט המודל לא ציית.
זה צריך. השארת שם של כתב לטיני באמצע הפרוזה היפנית היא לא מה שמתרגם יפני עושה; שמות מתעתיקים לקטאקנה כדבר מובן מאליו, ומסמך שלא עושה זאת נקרא כפלט מכונה. אותו הדבר חל על טלוגו.
אז התייחסו לקו הזה של ההוראה כחל על מזהים ולא על אנשים. אם אתה צריך שם בכתב לטיני, עבור דרכון או מסמך משפטי שבו האיות הוא הנקודה, בדוק אותו והחזר אותו.
על אילו שפות אתה יכול לסמוך?
העשרים המוצעים אינם עשרים אפשרויות שוות, וההבדל עוקב אחר כמה מכל שפה ראה הדגם.
| נִדבָּ | מֶשֶ | למה לצפות |
|---|---|---|
| אמין כאן | ספרדית, צרפתית, גרמנית, פורטוגזית, איטלקית, הולנדית | נכון בבדיקה זו; קלט מרובה פסקאות מתקי |
| שמיש עם בדיקה | סינית, יפנית, קוריאנית, רוסית, ערבית, טורקית | בסדר מבני, אבל צפו לשגיאות חיתוך ותאריך |
| פסקה אחת בכל פעם | הינדי, בנגלית, טלוגו, טמילית, מראטית, קנאדה, אורדו | חיתוך מדוד; אמת כל נתון |
רק ספרדית, יפנית וטלוגו נמדדו. השורות האחרות ממוקמות לפי כמות הטקסט באינטרנט שקיים בכל שפה, שזה הדבר שמנבא את יכולתו של מודל קטן, ויש להתייחס אליהם כאל ציפיות ולא כממצאים.
התבנית לסחוב: ככל שאתה הולך יותר למטה בטבלה, כך הקלט צריך להיות קצר יותר והפלט צריך לבדוק יותר על ידי מישהו שקורא אותו.
האם זה טוב או גרוע יותר מגוגל תרגום?
גרוע יותר בתרגום, עדיף לא לשלוח את המסמך שלך לשום מקום.
שירות תרגום ייעודי מפעיל מודל הרבה יותר גדול שהוכשר במיוחד על טקסט מקביל, ועבור זוג שפות כמו אנגלית לטלוגו הפער הזה גדול. אם מה שאתה צריך הוא התרגום הטוב ביותר הזמין של מסמך ציבורי, השתמש באחד מהם.
מה שאתה מקבל כאן במקום הוא שהטקסט לא עוזב את החומרה של האתר. הדברים שאנשים מתרגמים אינם ניתנים לפרסום: מכתב מעורך דין, מייל מבעל בית, הערה רפואית לקרוב משפחה, חוזה לפני החתימה. עבור אלה, "טוב מספיק כדי להבין, ואף אחד אחר לא ראה אותו" הוא מוצר שונה מ "מצוין, ונרשם".
לדעת איזה מאלה אתה צריך זו כל ההחלטה, וכדאי לקבל במודע ולא באיזו לשונית פתוחה.
האם הטון והעיצוב שורדים?
עיצוב כן, עם אזהרה של הפסקה למעלה. קשה יותר לאמת את הטון ושווה פחות אמון.
ההוראה מבקשת לשמור על משמעות, טון, עיצוב והפסקות שורות. בספרדית כל שלוש הריצות שימרו בדיוק את מבנה שתי הפסקאות. בריצות הלא לטיניות הפסקת הפסקה אבדה בכל השבעה, כולל זו ששמרה על תוכן שתי הפסקאות.
הרשמה היא הדבר שאתה לא יכול לבדוק בלי השפה. היפנית בפרט מקודדת נימוס מבחינה דקדוקית, וההבדל בין טופס המתאים לעמית לבין אחד המתאים ללקוח אינו משהו שדובר אנגלית יכול לבדוק. הריצות כאן השתמשו ב-です/ます, הצורה הנייטרלית-מנומסת, שהיא ברירת מחדל סבירה ועשויה להיות שגויה למטרה שלך.
אם הטקסט הולך לאדם ולא להבנתך, קרא לו על ידי מישהו שמדבר את השפה. זה נכון לגבי כל תרגום מכונה ונכון יותר לגבי תרגום קטן.
למה תרגום זה בחזרה לא מוכיח כלום?
כי הנסיעה הלוך ושוב שוטפת מה שקרה באמצע, והוא מסתיר בדיוק את הכישלון שבדקת.
זו הדרך הנפוצה ביותר שאנשים מאמתים תרגום שהם לא יכולים לקרוא: החזר את הפלט, ראה אם האנגלית יוצאת. הנה ריצת המבחן על הפלט היפני שלמעלה.
Dr. Amal Ose will announce on April 14th. The entire dataset is available at
https://example.org/trial-2026/data. The load arm expects `read_csv(path, sep=";")`.
קרא את זה קר וזה נראה כמו תרגום נכון של הודעה קצרה. קרא אותו ליד המקור וארבעה דברים קרו.
השם התפרק דרך שני מעברים: Amara Osei הפך ל-アマラ・オセ הפך להיות אמל אוסה. התאריך טעה כעת פעמיים בדרכים שונות, 14 במרץ עד החודש הארבעה עשר עד 14 באפריל, שהוא דייט שלישי שלא הופיע לא במקור ולא ביפנים. "המעמיס" הפך ל-ロードアーム הפך להיות ロードアーム "זרוע העומס". וכל הפסקה השנייה עדיין חסרה, בלי שום דבר באנגלית שמרמזת שהיא הייתה קיימת אי פעם.
הנקודה האחרונה היא זו שחשובה. נסיעה הלוך ושוב לא יכולה לחשוף תוכן חסר, כי התוכן החסר חסר משני הקצוות שלו. הוא בודק אם הדגם יכול לקרוא את הפלט שלו, מה שהוא בדרך כלל יכול.
הצ'ק שעובד הוא המשעמם: השווה את האורך של מה שהדבקת לאורך מה שחזר.
האם אתה יכול לתרגם מסמך שלם?
לא במכה אחת, והסיבה היא אותו כישלון כמו לעיל עם עוד על כף המאזניים.
קלט ארוך מאוד מתקצר למה שהמודל יכול לקרוא בבת אחת, והדף אומר זאת כשזה קורה. אבל הקטיעה הנמדדת כאן היא דבר אחר, המתרחש ב-41 מילים, הרבה בתוך כל גבול: המודל פשוט מפסיק ליצור לפני שהוא מסתיים.
אז מסמך עובר בחתיכות, וגודל היצירה תלוי במטרה:
| מטרה | מִשׁלֶ |
|---|---|
| ספרדית, צרפתית, גרמנית, פורטוגזית, איטלקית, הולנדית | מספר פסקאות; בדוק את האורך |
| סינית, יפנית, קוריאנית, רוסית, ערבית, טורקית | פסקה או שתיים, בודקים כל אחד |
| הינדי, בנגלית, טלוגו, טמילית, מראטית, קנאדה, אורדו | פסקה אחת, בודק כל אחד |
עבדו לפי סדר קריאת המסמך, שמור את הפלט בקובץ נפרד תוך כדי תנועה, והשווה את שתי ספירות השורות בסוף. עבור מסמך ארוך באחת השורות הנמוכות יותר איטי מספיק כדי ששווה לשאול האם שירות תרגום ייעודי הוא הכלי הטוב יותר, שלטקסט ציבורי הוא בדרך כלל.
מה שצ'אנק לא פותר הוא עקביות. מונח שתורגם בדרך אחת בפסקה השלישית עשוי לחזור אחרת בפסקה תשע, מכיוון שכל בקשה היא עצמאית ואינה נושאת אף אחת מהאפשרויות הקודמות. לכל דבר עם טרמינולוגיה חוזרת, קבע תחילה את מונחי המפתח ותקן אותם ביד לאחר מכן.
כַּמָה זְמַן זֶ
עשרים וחמש עד ארבעים שניות למעבר קצר, והזמן עוקב אחר הפלט ולא את הקלט.
| מטרה | זְמַ | פלט |
|---|---|---|
| סְרָ | 37 שניות | 301 בתים |
| יַפָ | 25 שניות | 209 בתים |
| טֶלוּ | 28 שניות | 335 בתים |
היפנית הייתה המהירה ביותר מכיוון שהיא הפיקה הכי פחות, שהוא הכישלון שתואר לעיל שהופיע בתזמון. ריצה שחוזרת במהירות יוצאת דופן על מטרה לא אירופית שווה בדיקה שנייה מסיבה זו.
ריצה אחת מתוך עשר החזירה במעלה הזרם 502 במקום תרגום. העמוד מטפל בזה בצורה נכונה, מראה שגיאה במקום להדפיס אותה כפלט, וניסיון חוזר עבד. שווה לדעת שזה קורה בדגם משותף אחד.
מה כדאי לבדוק לפני השימוש בתרגום?
ארבעה דברים, לפי הסדר הם טעו כאן.
- אורך. השווה את הפלט מול הקלט. אם זה נראה קצר, חסרה פסקה. זה תופס את הכישלון הגרוע ביותר מבלי לקרוא מילה משפת היעד.
- כל מספר ותאריך. מספרים שורדים כספרות ותאריכים אינם שורדים כתאריכים.
- קוד, כתובות אתרים ומזהים. אלה התקיימו בכל עשר הריצות, כך שזהו אישור מהיר ולא בעיה סבירה.
- בן אדם, אם זה הולך לאדם. שום דבר מעל מחליף את זה, ומרשם הנימוס הוא הסיבה.
למה הוא פועל בשרת של האתר עצמו?
מכיוון שבקשות התרגום שאנשים מגישים הן רשימה של דברים שהם מעדיפים לא להעלות.
אות בשפה שהם לא קוראים. מסמך ממשרד ממשלתי. הודעה מבן משפחה. סעיף בחוזה. האלטרנטיבה המקובלת שולחת אותו לשירות שהתנאים שלו מאפשרים שימור, ועבור סוגי הטקסט שאנשים מתרגמים זו חשיפה גדולה יותר ממה שהיא לרוב הכלים.
כאן זה עובר לדגם קטן בחומרה של האתר עצמו ואינו מאוחסן אלא אם כן תבחר לשלוח משוב. העלות היא בעשר שורות הטבלה לעיל, שצוינה בבירור ולא התגלתה.
