הדבר שהפתיע אותי בהפעלת טקסט לדיבור על החומרה שלנו הוא כמה קטן הדגם. קובץ אחד, 78 מגה-בייט, המכיל 904 רמקולים נפרדים. זה פחות מפרץ תמונה בטלפון וכעשירית ממה שמודל שפה בינוני בודד שוקל, ומתוכו יוצא קול שלא תציב מיד כסינתטי. מדדתי שלושה מתוך שמונת הקולות שהכלי חושף: הצלילים החציוניים שלהם הם 103 הרץ, 184 הרץ ו-242 הרץ, שזה טווח אמיתי מקול גברי נמוך לקול נשי גבוה, מתוך אותו קובץ עם מספר שונה שהועבר פנימה.
TL;DR: המנוע פועל על הקופסה של האתר, באמצעות דגם Libritts-R. נמדד: 113 תווים הפיקו 5.8 עד 6.1 שניות של אודיו בכ-3 עד 4 שניות של זמן קיר, כך שהוא מסנתז מהר יותר ממה שאתה יכול להאזין. אתה מקבל 22,050 הרץ מונו WAV, שזה בערך 2.6 MB לדקה. בקרת המהירות עובדת אך דחוסה: הטווח המלא של 0.7 עד 1.5 מייצר פיזור של 1.61x במשך 2.14x המספרים מרמזים, ואי אפשר להבחין בין 0.85 מ-1.0. אותו טקסט הוא אף פעם לא אותו אודיו פעמיים. כְּכ כלי טקסט לדיבור קלט כובע ב-3,000 תווים.
מה עושה הדיבור?
פייפר, מנוע טקסט לדיבור עצבי, הפועל כמיכל משלו לצד אפליקציית האינטרנט, עם דגם מאומן Libritts-R.
את הקורפוס הזה כדאי לדעת, כי הוא מסביר גם את האיכות וגם את אופי הפלט. מדובר בערך 585 שעות של דיבור באנגלית, במקור מהקלטות ספרי שמע של Librivox, ואז העבירו מודל שחזור דיבור כדי לנקות את איכות ההקלטה של חומר המקור. הדוברים הם מתנדבים הקוראים ספרים בדומיין ציבורי.
אז הקולות נשמעים כמו אנשים שקוראים בקול, כי זה בדיוק מה שהם עשו. המודל טוב במשפטים הצהרתיים ופסקאות של פרוזה, וזה מה שהוא שמע. זה פחות משכנע בכל דבר שיחת, כי אף אחד בנתוני האימון לא ניהל שיחה.
קובץ הדגם מכיל 904 רמקולים והכלי חושף שמונה מהם. המזהים בקוד הם הדגם של עצמו, שנבחרו על פני הטווח במקום להיות השמונה הטובים ביותר, שזו הבחנה שכדאי לזכור אם אף אחת מהשמונה לא מתאימה לך.
האם שמונת הקולות שונים זה מזה?
כן, למדידה. יצרתי את אותו משפט בשלושה מהם וחישבתי את התדר הבסיסי החציוני של הפריימים הקוליים:
| קוֹל | מזהה דובר | חציון F0 |
|---|---|---|
| קול 2 | 3 | 103.3 הרץ |
| קול 5 | 45 | 183.8 הרץ |
| קול 8 | 150 | 242.3 הרץ |
אלה לא וריאציות על נושא. דיבור זכר בוגר מתרכז בדרך כלל בסביבות 85 עד 155 הרץ ודיבור נשים בוגר בסביבות 165 עד 255 הרץ, כך ששלושה אלה יושבים בתחתית, באמצע ובחלק העליון של הטווח האנושי הרגיל.
משך הזמן היה כמעט זהה, 2.07 עד 2.08 שניות עבור אותו משפט, כך שהחלפת הקול משנה את הגוון והגובה מבלי לשנות את הקצב. זה הופך את השמונה לניתנים להחלפה אמיתית עבור תסריט נתון, מה שחשוב אם אתה מפיק סט של קליפים ורוצה להקליט מחדש אחד.
כמה זה מהיר?
מהר יותר מהאזנה, שזה המספר שחשוב.
| מידה | ערך |
|---|---|
| קלט | 113 תווים |
| אודיו מופק | 5.77 עד 6.08 שניות |
| זמן קיר | 2,994 עד 3,929 אלפיות השנייה |
| יחס | בערך פי 1.5 עד 1.9 פעמים בזמן אמת |
אז דקת אודיו לוקחת שלושים עד ארבעים שניות לעשות, והמקסימום של 3,000 תווים מסתדר בערך בשתיים ושלושת רבעי דקות של דיבור למשהו מתחת לשתי דקות של המתנה.
האזהרה היא שבקשה אחת מוגשת בכל פעם. השרת מריץ משבצת סינתזה בודדת בכוונה: נמדד על הקופסה, טקסט אחד לבדו לוקח בערך 2.2 שניות ושלוש בבת אחת לוקח בערך 9 שניות כל אחד, כך שמקביליות לא קונה כלום בתפוקה הכוללת ועולה לאדם הראשון בתור שבע שניות. עד עשרים בקשות עשויות להמתין; מעבר לכך שהכלי אומר שהוא תפוס במקום לגרום לך לחכות מספר דקות.
יש גם תקציב לכל מבקר של עשרים דורות כל עשר דקות, שהוא מספיק גבוה כדי ששימוש רגיל לעולם לא יעמוד בו ונמוך מספיק כדי שאף אחד לא יהפוך את הקופסה למפעל ספרי שמע חינמי.
מה מקבלים בחזרה?
קובץ WAV, לא דחוס, והגודל שווה לדעת לפני שאתה עושה קובץ ארוך.
codec pcm_s16le
sample rate 22,050 Hz
channels 1 (mono)
bit depth 16
זה 44.1 קילובייט לשנייה של אודיו, אז בערך 2.6 מגה-בייט לדקה, וריצה מלאה של 3,000 תווים נוחתת ליד 7 מגה-בייט. מדגם 113 התווים לעיל היה 254,508 בתים למשך 5.77 שניות.
uncompressed הוא ברירת המחדל הנכונה עבור משהו שאתה הולך לערוך או להמיר, מכיוון שזהו הפורמט שכל עורך לוקח ללא תלונה ואין לו אובדן דורות להוסיף. זו ברירת המחדל השגויה עבור משהו שאתה הולך להעלות או לשלוח דוא"ל, והתיקון הוא שלב אחד: הפעל את ה-wav דרכו ממיר האודיו וקח את ה-MP3 או M4A. המדריך שלו כיסויים לבחירה, והתשובה הקצרה לדיבור היא שכל דבר במהירות של 128 kbps או מעליו הוא בסדר.
קצב ה-22,050 הרץ הוא של הדגם, והוא חצי מקצב התקליטורים. ראוי לשים לב ש-LiBrits-R מופץ ב-24 קילו-הרץ, כך שהדגם יוצא מתחת לקצב הקורפוס שממנו הוא למד; זו התצורה של פייפר ולא כל דבר שאבד כאן. עבור קול זה לא ראוי לציון בכל מקרה, מכיוון שאנרגיית הדיבור יושבת הרבה מתחת ל-11 קילו-הרץ, וזה מה ש-22,050 הרץ נושא. זה כן אומר שהפלט לא יעבור כהקלטת אולפן, ודגימה מחדש כלפי מעלה לא מוסיפה דבר.
האם בקרת המהירות עושה מה שכתוב?
זה משנה את המהירות, ולא באותה מידה כפי שהמספר מרמז. זוהי העקומה הנמדדת:
| קֶרַח | תְמִ | יחס ל-1.0 | ליניארי היה נותן |
|---|---|---|---|
| 0.7 | 7.268 שניות | 1.195 | 1.429 |
| 0.85 | 6.142 ש' | 1.010 | 1.176 |
| 1.0 | 6.084 שניות | 1,000 | 1,000 |
| 1.25 | 5.271 שניות | 0.866 | 0.800 |
| 1.5 | 4.516 שניות | 0.742 | 0.667 |
מונוטוני, אז הבקרה עובדת בכיוון שאתה מצפה לו, ונדחסת בשני הקצוות. הטווח המלא בין 0.7 ל-1.5 צריך להיות פיזור של 2.14x במשך 1.61x. ההגדרה 0.85 היא בטווח של 1% מ-1.0, כלומר היא לא עושה שום דבר שאתה יכול לשמוע.
המנגנון הוא שההגדרה מועברת למודל כסולם משך, ומנבא משך המודל עצמו מחליט כמה זמן מקבל כל פונמה. הוא מתייחס לסולם כאל רמז חזק ולא כמכפיל.
הקריאה המעשית: השתמש ב-0.7 או 1.5 אם אתה רוצה קצב שונה באופן ניכר, ואל תצפה שהגדרות הביניים יתנו לך שליטה עדינה. אם אתה צריך משך מדויק, צור ב-1.0 ושנה את הקצב בעורך אודיו, כאשר המספר אומר מה שהוא אומר.
מדוע אותו טקסט אף פעם לא אותו אודיו פעמיים?
כי המודל מקבל החלטה חדשה לגבי תזמון בכל ריצה.
שלחתי בקשה זהה פעמיים, אותו טקסט, אותו קול, אותה מהירות. התוצאות היו 6.084 שניות ו-6.02 שניות, והקבצים שונים בתים עבור בייט. שום דבר לא נשמר במטמון ושום דבר לא נזרע.
זה טבוע למשפחת המודלים הזו: מנבא משך הזמן הוא סטוכסטי, כך שאורכי הפונמות משתנים מעט בין ריצות אפילו עם כל קלט קבוע. השונות הנמדדת כאן היא כ-1.4%, דבר שאינו נשמע כהבדל בקצב ונראה בבירור כהבדל באורך הקובץ.
שתי השלכות. אם לטייק יש הפסקה מביכה או מילה שנחתה בצורה מוזרה, יצירתה שוב היא תיקון אמיתי ולא אמונה טפלה. ואם אתה מפיק סט של קליפים שצריכים להתאים, צור אותם בסשן אחד ושמור על מה שאתה מקבל, כי לחזור מחר לשורה חלופית אחת נותן לך שורה שהיא שבריר שנייה.
למה יש מגבלה של 3,000 תווים?
בגלל מה שיושב מאחוריו, ולא כל דבר בטקסט.
שלושת אלפים תווים הם בערך שניים ושלושה רבעי דקות של דיבור וכ-7 מגה-בייט של WAV, המיוצר בחריץ סינתזה בודד שכולם חולקים. פרק של 30,000 תווים יתפוס את המשבצת הזו למשך עשרים דקות ויחזיק מאגר של 70 מגה-בייט בזיכרון תוך כדי.
לכל דבר ארוך יותר, התפצלו על גבולות פסקה והצטרפו לחלקים. זה נוהג טוב יותר בכל מקרה: טעות בפסקה תשע עולה לך בפסקה תשע ולא בכל הפרק, וה ממיר אותיות רישיות וקטנותו יצטרף וימיר את הסט לאחר מכן.
פיצול אמצע משפט הוא הדבר היחיד שיש להימנע ממנו, מכיוון שהמודל מחליט על אינטונציה לכל אמירה. משפט חתוך לשניים מייצר שני קטעים שנשמעים שניהם כמו משפטים שלמים, עם טון נופל באמצע המחשבה.
למה זה טוב, ולמה זה לא?
טוב לכל דבר שנכתב לקריאה בקול, שהיא קטגוריה צרה יותר ממה שזה נשמע.
| עובד טוב | עובד רע |
|---|---|
| קריינות על סרטון או שקופיות | דיאלוג בין דמויות |
| גרסת אודיו של מאמר | כל דבר שצריך רגש או הדגשה |
| נגישות: לשמוע את הטיוטה שלך | שמות ומקומות מחוץ לאנגלית נפוצה |
| קול מציין מיקום לאב טיפוס | תזמון מדויק לחיתוך וידאו |
| הגייה של משפט שכתבת | שירה, או כל דבר מוזיקלי |
התבנית בעמודה הימנית היא Control. הדגם נותן לך קול, מהירות ומושב להאזנה. אין דרך להדגיש מילה מסוימת, להכניס הפסקה באורך נתון, לשנות אינטונציה בשאלה או לאיית ראשי תיבות. אלה הדברים ש-TTS API מקצועי חושף דרך Markup, ואין לזה שום דבר.
השורה הראשונה של העמודה השמאלית היא המקום שבו הוא זוכה למקומו. קול שקורא לך את הכתיבה שלך בחזרה הוא כלי ההגהה המהיר ביותר שיש, כי משפט שלא עובד ברור ברגע שמישהו אחר אומר את זה.
האם אתה יכול לשמוע קול לפני שאתה מתחייב אליו?
לא, וזה החלק האחד של הממשק שהייתי משנה.
שמונת הקולות הם ירידה של התוויות: קול 1 עד קול 8, ללא דוגמה לאף אחד מהם. הדרך היחידה לגלות איך נשמע קול 6 היא ליצור איתו, שתופס את משבצת הסינתזה המשותפת, לוקח כמה שניות וספור כנגד עשרים הדורות שלך לעשר דקות.
לחד-פעמי זה בסדר. לבחירת קול לפרויקט זה אומר לעבור אודישן לשמונה טייקים מאותו קו לפני שמתחילים, שזה רוב העשירית מהתקציב שלך שהושקע על החלטה.
הגישה המעשית היא לעבור אודישן עם שורה קצרה ולא עם התסריט שלך. משפט של תריסר מילים חוזר תוך כשתי שניות ומספר לך את הגובה והדמות, שזה כל מה שאתה בוחר ביניהן. לאחר מכן עבור לטקסט האמיתי לאחר שבחרת.
הטבלה המוקדם יותר במדריך זה היא קיצור דרך חלקי: קול 2 נמוך, קול 5 הוא אמצע, קול 8 גבוה. החמישה שלא מדדתי יושבים איפשהו ביניהם.
איך זה בהשוואה לקול ענן?
לא בחיוב על פולנית, וזו לא ההשוואה שחשובה כאן.
ממשק API מסחרי נותן לך פרוזודיה טובה יותר, עשרות שפות, שליטה בסימון על הפסקות והדגשה, וקולות מאומנים לשידור. אם אתה מייצר משהו לפרסום, זה שווה את הכסף.
מה שזה נותן לך במקום זה הוא שהטקסט לעולם לא עוזב את החומרה של האתר עצמו, והפלט הוא שלך ללא חשבון לכל תו וללא חשבון. עבור השימושים בעמודה השמאלית למעלה, במיוחד לשמוע את הטיוטה שלך קוראת בחזרה, ההבדל בפולנית אינו שווה חשבון ענן ומפתח API.
הסיכום הכנה הוא שזו המקבילה ל-TTS של מיקרופון מובנה הגון. זה מספיק טוב שתפסיק לשים לב שהוא שם, ולא במה שהיית משתמש כדי להקליט אלבום.
האם אתה יכול להשתמש באודיו באופן מסחרי?
כנראה, עם ייחוס, והרישיון ראוי למבט זהיר ולא לכן.
מנוע הפייפר הוא ברישיון MIT. הדגם כאן מאומן על Libritts-R, אשר OpenSLR מפיץ כ- "רישיון: CC ב-4.0", ו-CC ב-4.0 מאפשר שימוש מסחרי בתנאי שניתן ייחוס.
הטיפול מוצדק מכיוון שמטא-נתונים של הציטוט של Libritts-R Paper נושאים נושאים רשיון רישיון שונה, הגרסה הלא מסחרית ללא נגזרות. זה ככל הנראה שאריות בתבנית ציטוט ולא הצהרת כוונות, ודף ההפצה הוא האות החזק יותר, אבל השניים לא מסכימים ואני לא בעמדה לפתור את זה עבורך.
אז: לכל דבר מקרי, זו לא שאלה שמישהו ישאל. למוצר מסחרי הבנוי על האודיו, קרא את הרישיון על דגם הקול הספציפי בעצמך וקבל עצות במקום לקרוא את דף הנתונים שלי.
מה כדאי לבדוק לפני פרסום אודיו?
ארבעה דברים, לפי הסדר שהם משתבשים.
- תקשיב לכל העניין. זה נשמע ברור ומדלגים עליו באופן שגרתי, וזו הדרך היחידה לתפוס שם שגוי.
- כל שם עצם, ראשי תיבות או יחידה. לדגם אין מילון שאתה יכול לערוך. אם "osei" או "GDPR" יוצא שגוי, התיקון מאיית אותו בצורה פונטית בטקסט הקלט ומקבל שהקלט כעת מכוער.
- האורך, כנגד החריץ שהוא צריך למלא. זכור שהקצב ניתן לשליטה רופפת בלבד, אז השאר מקום במקום לתכנן את השני.
- המר לפני ההעלאה. 2.6 מגה-בייט לדקה של WAV זה לא מה שאתה רוצה בדף אינטרנט.
למה הוא פועל בשרת של האתר עצמו?
מכיוון שהטקסטים שאנשים קראו בקול הם לעתים קרובות הכתיבה שלהם שלא פורסמה.
טיוטה, תסריט, מכתב מקדים, נאום, הודעה שהם לא בטוחים לגבי שליחתם. האלטרנטיבה המקובלת מפרסמת אותו לשירות שמחייב לכל תו, שומר את הטקסט בתנאים שאף אחד לא קורא ודורש חשבון לפני המילה הראשונה.
כאן זה עובר לקונטיינר ליד אפליקציית האינטרנט, מסונתז וחוזר כקובץ. העלויות גלויות בכל מדידה למעלה: חריץ אחד בכל פעם, תקרה של 3,000 תווים, 22 קילו-הרץ מונו וקול טוב ולא משודר. בתמורה הטקסט נקרא על ידי מכונה שכבר בטחת בה עם הדף.
