الشيء الذي فاجأني بشأن تشغيل النص إلى كلام على أجهزتنا الخاصة هو مدى صغر حجم النموذج. ملف واحد ، 78 ميجا بايت ، يحتوي على 904 مكبرات صوت متميزة. هذا أقل من انفجار صورة هاتف وحوالي عُشر ما يزنه نموذج لغة متوسطة المدى ، ويخرج منه صوتًا لن تضعه على الفور على أنه اصطناعي. قمت بقياس ثلاثة من الأصوات الثمانية التي تكشفها الأداة: متوسطة هتز 103 هرتز و 184 هرتز و 242 هرتز ، وهو نطاق حقيقي من صوت ذكر منخفض إلى صوت أنثى مرتفع ، من نفس الملف مع رقم مختلف تم تمريره.
ليرة تركية؛DR: المحرك يعمل على صندوق الموقع الخاص ، باستخدام طراز Libritts-R. القياس: أنتجت 113 حرفًا من 5.8 إلى 6.1 ثانية من الصوت في حوالي 3 إلى 4 ثوانٍ من وقت الحائط ، لذا فهي تتولى بشكل أسرع مما يمكنك الاستماع إليه. تحصل على 22،050 هرتز WAV ، وهو حوالي 2.6 ميغا بايت في الدقيقة. يعمل التحكم في السرعة ولكنه مضغوط: ينتج النطاق الكامل من 0.7 إلى 1.5 انتشارًا بمقدار 1.61x في المدة بدلاً من 2.14x لا يمكن تمييز الأرقام ، و 0.85 لا يمكن تمييزها عن 1.0. نفس النص ليس نفس الصوت مرتين. لامه أداة النص إلى الكلام CAPS المدخلات في 3000 حرف.
ماذا تفعل الكلام؟
Piper ، محرك تحويل النص إلى كلام عصبي ، يعمل كحاوية خاصة به بجانب تطبيق الويب ، مع نموذج تم تدريبه على ليبريتس-R.
هذا الجسم يستحق المعرفة ، لأنه يشرح جودة وطبيعة المخرجات. إنها حوالي 585 ساعة من قراءة الخطاب باللغة الإنجليزية ، في الأصل من LibriVox Audiobic Recordings ، ثم وضعت من خلال نموذج استعادة الكلام لتنظيف جودة تسجيل مادة المصدر. المتحدثون هم متطوعون يقرؤون كتب المجال العام.
لذا تبدو الأصوات وكأنهم يقرؤون بصوت عالٍ ، لأن هذا هو بالضبط ما كانوا يفعلونه. النموذج جيد في الجمل التصريحية وفقرات النثر ، وهو ما سمعه. إنه أقل إقناعًا في أي شيء محادثة ، لأنه لم يكن هناك أي شخص في بيانات التدريب يجري محادثة.
يحتوي ملف النموذج على 904 مكبرات صوت وتكشف الأداة ثمانية منها. المعرفات الموجودة في الكود هي الخاصة بالطراز ، والتي تم اختيارها لتمتد إلى النطاق بدلاً من أن تكون أفضل ثمانية ، وهو تمييز يستحق أن يؤخذ في الاعتبار إذا لم يناسبك أي من الثمانية.
هل الأصوات الثمانية تختلف عن بعضها البعض؟
نعم، بشكل يمكن قياسه. لقد قمت بتوليد نفس الجملة في ثلاثة منها وحساب التردد الأساسي المتوسط للإطارات الصوتية:
| صوت | معرف المتحدث | الوسيط F0 |
|---|---|---|
| صوت 2 | 3 | 103.3 هرتز |
| صوت 5 | 45 | 183.8 هرتز |
| صوت 8 | 150 | 242.3 هرتز |
هذه ليست اختلافات في موضوع. عادةً ما يتمحور كلام الذكور البالغين حول 85 إلى 155 هرتز والكلام الأنثوي البالغ حوالي 165 إلى 255 هرتز ، لذا فإن هؤلاء الثلاثة يجلسون في الأسفل والوسط والجزء العلوي من النطاق البشري الطبيعي.
كانت المدد متطابقة تقريبًا ، من 2.07 إلى 2.08 ثانية لنفس الجملة ، لذا فإن تبديل الصوت يغير الجرس والميل دون تغيير السرعة. هذا يجعل الثمانية قابلة للتبديل حقًا لنص معين ، وهو أمر مهم إذا كنت تنتج مجموعة من المقاطع وتريد إعادة تسجيل واحدة.
ما هي السرعة؟
أسرع من الاستماع ، وهو الرقم الذي يهم.
| يقيس | قيمة |
|---|---|
| الإدخال | 113 حرفًا |
| الصوت المنتج | 5.77 إلى 6.08 ثانية |
| توقيت الحائط | 2994 إلى 3929 مللي ثانية |
| نسبة | ما يقرب من 1.5 إلى 1.9 مرة في الوقت الحقيقي |
لذا فإن دقيقة من الصوت تستغرق ثلاثين إلى أربعين ثانية ، وتعمل الحرف البالغة 3000 حرف في حوالي دقيقتين وثلاثة ربع دقيقة من الكلام لشيء أقل من دقيقتين من الانتظار.
التحذير هو أنه يتم تقديم طلب واحد في كل مرة. يدير الخادم فتحة توليفة واحدة عن عمد: يتم قياسه في المربع ، ويستغرق نص واحد وحده حوالي 2.2 ثانية وثلاثة في وقت واحد يستغرق حوالي 9 ثوانٍ لكل منهما ، لذلك لا تشتري التوازي شيئًا في إجمالي الإنتاجية ويكلف الشخص الأول في قائمة الانتظار سبع ثوانٍ. قد ينتظر ما يصل إلى عشرين طلبًا ؛ بعد أن تقول الأداة إنها مشغولة بدلاً من جعلك تنتظر عدة دقائق.
هناك أيضًا ميزانية لكل زائر تبلغ عشرين جيلًا كل عشر دقائق ، وهي نسبة عالية بما يكفي بحيث لا يلبيها الاستخدام العادي أبدًا ومنخفضًا بدرجة كافية بحيث لا يحول أحد الصندوق إلى مصنع كتب صوتية مجاني.
ماذا ترجع؟
ملف WAV ، غير مضغوط ، والحجم يستحق المعرفة قبل أن تصنع ملفًا طويلًا.
codec pcm_s16le
sample rate 22,050 Hz
channels 1 (mono)
bit depth 16
هذا هو 44.1 كيلو بايت في الثانية من الصوت ، لذلك تقريبًا 2.6 ميغا بايت في الدقيقة، و 3000 حرف كامل يمتد بالقرب من 7 ميغا بايت. كانت العينة المكونة من 113 حرفًا أعلاه 254508 بايت لمدة 5.77 ثانية.
غير مضغوط هو الإعداد الافتراضي المناسب لشيء ما ستقوم بتحريره أو تحويله ، نظرًا لأنه التنسيق الذي يأخذه كل محرر دون شكوى وليس لديه خسارة في التوليد لإضافته. إنه الإعداد الخاطئ لشيء ما ستقوم بتحميله أو إرسال بريد إلكتروني ، والإصلاح هو خطوة واحدة: قم بتشغيل wav من خلال محول الصوت وخذ MP3 أو M4A. دليلها الأغطية التي يجب اختيارها ، والإجابة المختصرة للكلام هي أن أي شيء بسرعة 128 كيلوبت في الثانية أو أعلى منه جيد.
معدل 22،050 هرتز هو الخاص بالطراز ، وهو نصف معدل القرص المضغوط. تجدر الإشارة إلى أن Libritts-R يتم توزيعه عند 24 كيلو هرتز ، وبالتالي فإن مخرجات النموذج أقل من معدل المجموعة التي تعلمت منها ؛ هذا هو التكوين الخاص بـ Piper بدلاً من أي شيء مفقود هنا. بالنسبة للصوت ، فهو غير ملحوظ في كلتا الحالتين ، نظرًا لأن طاقة الكلام تقع أقل بكثير من 11 كيلو هرتز ، وهو ما يحمله 22،050 هرتز. هذا يعني أن الإخراج لن يمر كتسجيل في الاستوديو ، وإعادة تشكيله لأعلى لا يضيف شيئًا.
هل التحكم في السرعة يفعل ما يقول؟
يغير السرعة وليس بالقدر الذي يوحي به الرقم. هذا هو المنحنى المقاس:
| ضبط السرعة | مدة | النسبة إلى 1.0 | الخطية ستعطي |
|---|---|---|---|
| 0.7 | 7.268 ق | 1.195 | 1.429 |
| 0.85 | 6.142 ق | 1.010 | 1.176 |
| 1.0 | 6.084 ق | 1.000 | 1.000 |
| 1.25 | 5.271 ثانية | 0.866 | 0.800 |
| 1.5 | 4.516 ق | 0.742 | 0.667 |
رتيب ، لذا فإن التحكم يعمل في الاتجاه الذي تتوقعه ، ويتم ضغطه من كلا الطرفين. يجب أن يكون النطاق الكامل من 0.7 إلى 1.5 هو 2.14x انتشار في المدة ويبلغ 1.61x. الإعداد 0.85 هو في حدود 1٪ من 1.0 ، وهذا يعني أنه لا يفعل شيئًا يمكنك سماعه.
الآلية هي أن الإعداد يتم تمريره إلى النموذج كمقياس مدة ، ويقرر توقع المدة الخاصة بالنموذج إلى متى يقرر كل صوت. إنه يتعامل مع المقياس على أنه تلميح قوي وليس مضاعفًا.
القراءة العملية: استخدم 0.7 أو 1.5 إذا كنت تريد وتيرة مختلفة بشكل ملحوظ ، ولا تتوقع أن تمنحك الإعدادات الوسيطة تحكمًا جيدًا. إذا كنت بحاجة إلى مدة محددة ، فقم بإنشاء 1.0 وقم بتغيير الإيقاع في محرر الصوت ، حيث يعني الرقم ما يقوله.
لماذا لا يكون نفس النص هو نفس الصوت مرتين؟
لأن النموذج يتخذ قرارًا جديدًا بشأن التوقيت في كل جولة.
لقد أرسلت طلبًا متطابقًا مرتين ، نفس النص ، نفس الصوت ، نفس السرعة. كانت النتائج 6.084 ثانية و 6.002 ثانية ، وتختلف الملفات بايت للبايت. لا شيء مخبأ ولا شيء مصنف.
هذا متأصل في هذه المجموعة من النماذج: متنبئ المدة عشوائي ، لذا تختلف أطوال الصوت قليلاً بين عمليات التشغيل حتى مع كل مدخل ثابت. يبلغ التباين المقاس هنا حوالي 1.4٪ ، وهو غير مسموع كاختلاف في السرعة ومرئي بوضوح كفرق في طول الملف.
نتيجتين. إذا كان للأخذ وقفة محرجة أو كلمة هبطت بشكل غريب ، فإن توليدها مرة أخرى يعد حلًا حقيقيًا وليس خرافة. وإذا كنت تنتج مجموعة من المقاطع التي يجب أن تتطابق ، فقم بإنشائها في جلسة واحدة واحتفظ بما تحصل عليه ، لأن العودة غدًا لخط بديل واحد يمنحك خطًا مختلفًا عن الثانية.
لماذا يوجد حد 3000 حرف؟
بسبب ما يجلس وراءه ، وليس أي شيء يتعلق بالنص.
ثلاثة آلاف حرف هي ما يقرب من دقيقتين وثلاثة ربع دقيقة من الكلام وحوالي 7 ميغا بايت من WAV ، تم إنتاجها في فتحة توليف واحدة يشاركها الجميع. سيشغل فصل مكون من 30000 حرفًا تلك الفتحة لمدة عشرين دقيقة ويحتوي على 70 ميغا بايت في الذاكرة أثناء القيام بذلك.
لأي شيء أطول ، انقسم على حدود الفقرة وانضم إلى الأجزاء. هذه ممارسة أفضل على أي حال: يكلفك الخطأ في الفقرة التاسعة الفقرة التاسعة بدلاً من الفصل بأكمله ، و تحويل الصوت سوف ينضم ويحول المجموعة بعد ذلك.
تقسيم منتصف الجملة هو الشيء الوحيد الذي يجب تجنبه ، لأن النموذج يقرر التنغيم لكل نطق. تنتج الجملة المقطوعة إلى النصف شظيتين تبدوان وكأنهما جمل كاملة ، مع نغمة سقوط في منتصف الفكر.
ما هو الخير وما لا؟
جيد لأي شيء مكتوب ليتم قراءته بصوت عالٍ ، وهي فئة أضيق مما تبدو عليه.
| يعمل بشكل جيد | يعمل بشكل سيء |
|---|---|
| سرد على مقطع فيديو أو شرائح | حوار بين الشخصيات |
| نسخة صوتية من مقال | أي شيء يحتاج إلى عاطفة أو تأكيد |
| إمكانية الوصول: الاستماع إلى المسودة الخاصة بك | أسماء وأماكن خارج اللغة الإنجليزية المشتركة |
| صوت العنصر النائب لنموذج أولي | توقيت دقيق لقطع الفيديو |
| نطق جملة كتبتها | الغناء أو أي شيء موسيقي |
النمط الموجود في العمود الأيمن هو التحكم. يمنحك النموذج صوتًا وسرعة ومقعدًا للاستماع منه. لا توجد طريقة للتأكيد على كلمة معينة ، أو إدخال وقفة بطول معين ، أو تغيير التنغيم في سؤال ما ، أو تهجئة اختصار. هذه هي الأشياء التي تكشفها واجهة برمجة تطبيقات TTS المحترفة من خلال Markup ، وهذا لا يحتوي على أي منها.
الصف الأول من العمود الأيسر هو المكان الذي يكسبه مكانه. الصوت الذي يقرأ كتابتك الخاصة هو أسرع أداة تدقيق لغوية ، لأن الجملة التي لا تعمل واضحة في اللحظة التي يقولها شخص آخر.
هل يمكنك سماع صوت قبل أن تلتزم به؟
لا ، وهذه هي القطعة الوحيدة من الواجهة التي أود تغييرها.
الأصوات الثمانية عبارة عن قائمة منسدلة للتسميات: الصوت من 1 إلى الصوت 8 ، مع عدم وجود عينة مرفقة بأي منها. الطريقة الوحيدة لمعرفة ما يشبه أصوات الصوت 6 هي أن تولد به ، والذي يحتل فتحة التوليف المشتركة ، ويستغرق بضع ثوانٍ ، ويحسب مقابل عشرين جيلًا لكل عشر دقائق.
لمرة واحدة لا بأس بذلك. لاختيار صوت لمشروع ما ، فهذا يعني إجراء اختبار لثمانية لقطات من نفس السطر قبل أن تبدأ ، وهو معظم ميزانيتك التي تنفقها على اتخاذ القرار.
النهج العملي هو الاختبار بسطر قصير بدلاً من البرنامج النصي الخاص بك. تعود جملة من عشرات الكلمات في حوالي ثانيتين وتخبرك بالملعب والشخصية ، وهو كل ما تختار بينه. ثم قم بالتبديل إلى النص الحقيقي بمجرد أن تختار.
الجدول السابق في هذا الدليل عبارة عن اختصار جزئي: الصوت 2 منخفض ، والصوت 5 متوسط ، والصوت 8 مرتفع. الخمسة الذين لم أقيسهم يجلسون في مكان ما بينهم.
كيف يقارن بصوت السحاب؟
ليس بشكل إيجابي على البولندية ، وهذه ليست المقارنة التي تهم هنا.
تمنحك واجهة برمجة التطبيقات التجارية عرضًا أفضل ، وعشرات اللغات ، والتحكم في الترميز في الإيقافات المؤقتة والتركيز ، والأصوات المدربة على البث. إذا كنت تنتج شيئًا للنشر ، فهو يستحق المال.
ما يمنحك هذا بدلاً من ذلك هو أن النص لا يترك أبدًا أجهزة الموقع الخاصة ، والمخرجات لك بدون فاتورة لكل حرف ولا حساب. بالنسبة للاستخدامات الموجودة في العمود الأيسر أعلاه ، لا سيما عند سماع مسودة القراءة الخاصة بك ، فإن الاختلاف في التلميع لا يستحق حسابًا سحابيًا ومفتاح API.
الملخص الصادق هو أن هذا هو مكافئ TTS لميكروفون مدمج لائق. من الجيد أن تتوقف عن ملاحظة وجوده ، وليس ما ستستخدمه لتسجيل ألبوم.
هل يمكنك استخدام الصوت تجاريًا؟
ربما ، مع الإسناد ، يستحق الترخيص نظرة متأنية بدلاً من نعم.
محرك بايبر مرخص من معهد ماساتشوستس للتكنولوجيا. النموذج هنا مدرب على Libritts-R ، يوزع OpenSLR كـ & quot؛ الترخيص: CC BY 4.0 & quot؛، و CC BY 4.0 تصاريح الاستخدام التجاري المقدم.
الرعاية مبررة لأن بيانات الاقتباس الخاصة بـ Libritts-R Paper & # 39 ؛ تحمل سلسلة ترخيص مختلفة ، متغير المشتقات غير التجارية. هذا على الأرجح بقايا في قالب اقتباس وليس بيان نوايا ، وصفحة التوزيع هي الإشارة الأقوى ، لكن الاثنين لا يوافقان ولست في وضع يسمح لي بحلها لك.
إذن: لأي شيء عرضي ، هذا ليس سؤالًا سيطرحه أي شخص. للحصول على منتج تجاري مبني على الصوت ، اقرأ الترخيص على نموذج الصوت المحدد بنفسك وخذ النصيحة بدلاً من أخذ قراءتي لصفحة مجموعة البيانات.
ما الذي يجب عليك التحقق منه قبل نشر الصوت؟
أربعة أشياء ، بالترتيب يخطئون.
- استمع إلى كل شيء. هذا يبدو واضحًا ويتم تخطيه بشكل روتيني ، وهو الطريقة الوحيدة للقبض على اسم خاطئ.
- أي اسم خاص أو اختصار أو وحدة. لا يحتوي النموذج على قاموس يمكنك تحريره. إذا كانت & quot؛ osei & quot؛ أو خرجت خطأ ، فإن الإصلاح هو تهجئته صوتيًا في نص الإدخال وقبول أن الإدخال أصبح قبيحًا الآن.
- الطول ، مقابل الفتحة التي يجب أن تملأها. تذكر أن السرعة لا يمكن التحكم فيها إلا بشكل فضفاض ، لذا اترك مساحة بدلاً من التخطيط للثانية.
- تحويل قبل التحميل. 2.6 ميغا بايت للدقيقة ليس ما تريده على صفحة الويب.
لماذا يتم تشغيله على خادم الموقع الخاص؟
لأن النصوص التي قرأها الناس بصوت عالٍ هي كتاباتهم غير المنشورة في كثير من الأحيان.
مسودة ، نص ، خطاب تغطية ، خطاب ، رسالة لا يتأكدون من إرسالها. يقوم البديل التقليدي بنشره في خدمة تقوم بفواتير لكل حرف ، وتحتفظ بالنص وفقًا لمصطلحات لا يقرأها أحد ، ويتطلب حسابًا قبل الكلمة الأولى.
هنا يذهب إلى حاوية بجانب تطبيق الويب ، ويتم تجميعه ، ويعود كملف. التكاليف مرئية في كل قياس أعلاه: فتحة واحدة في كل مرة ، وسقف 3000 حرف ، و 22 كيلو هرتز ، وصوت جيد بدلاً من البث. في المقابل ، تمت قراءة النص بواسطة جهاز كنت تثق به بالفعل مع الصفحة.
