סיכום יכול לשמור כל מספר ועדיין לטעות

כתבתי סיפור תכנון מועצה ממולא בדמויות, העברתי אותו במסכם, ואז בדקתי כל מספר בפלט מול המקור. כתיבת המקור בעצמי היא הנקודה: זה אומר שאני יודע בדיוק מה כל משפט טוען, וזו הדרך היחידה לומר סיכום שהוא רק קצר יותר מאחד שהוא גם נכון. אף אחד לא הומצא. תשעה מספרים הגיעו וכל התשעה מופיעים במקור, וזו תוצאה טובה יותר מהאזהרות הרגילות לגבי המצאת בינה מלאכותית שיובילו אותך לצפות. הסיכום עדיין היה שגוי, בשני מקומות, ושתי השגיאות שמרו על שלמות הספרות. באחד מהם נכתב "דירות ייעודיות במחירים סבירים ל-80% מדמי השכירות בשוק, רמה מתחת ל-30% המומלצת של Shelt, המשווה רמת שכר דירה לשיעור יחידות ומגיעה למשפט שאינו נכון בשום חשבון.

TL;DR: הדבר שצריך לבדוק בסיכום הוא לא אם המספרים אמיתיים, זה אם הם עדיין מחוברים לדבר הנכון. נמדד על מקור של 327 מילים: אפס מספרים מומצאים, דחיסה נכונה ב-0.28 ו-0.59 מהמקור, ושני קשרים שבורים, כל אחד שומר על הדמויות ומאבד את מה שהם התייחסו אליהם. כדאי לדעת גם לפני שאתה מדביק: הגדרות האורך הן מוחלטות, אז בקלט קצר "מפורט" הפיק סיכום ארוך פי 2.2 מהטקסט שסיכם. כְּכ סַכָּר פועל על השרת של האתר עצמו.

מה עושות ארבע הגדרות האורך?

הם נותנים גודל פלט, והם פוגעים בו. תאימות לפורמטים היא הדבר האמין ביותר כאן.

נמדד על אותו קטע בן 91 מילים:

הגדרה	מוּבָן	מְיוּ	יחס למקור
משפט אחד	משפט בודד	משפט אחד, 47 מילים	0.52
פִּכַּ	3 עד 4 משפטים	4 משפטים, 82 מילים	0.90
נקודות כדור	5 עד 7 כדורים	7 כדורים, 95 מילים	1.04
מְפו�	2 עד 3 פסקאות	3 פסקאות, 200 מילים	2.20

כל אחד מאלה תואם את ההוראה. משפט אחד הוא משפט אחד. נקודות תבליט נתנו שבע, בתוך הלהקה של חמש עד שבע. מפורט נתן שלוש פסקאות.

תסתכל על העמודה האחרונה.

מדוע הסיכום המפורט היה ארוך יותר מהמאמר?

כי האורכים הם מטרות מוחלטות, לא פרופורציות של הקלט.

"מפורט" מבקש שתיים עד שלוש פסקאות המכסות כל נקודה עיקרית, והוא מייצר שתיים עד שלוש פסקאות בין אם אתה נותן לה תשעים מילים או תשע אלפים. בקטע קצר שפירושו שהמודל כותב פרוזה מקשרת סביב העובדות כדי להגיע לאורך, והפלט ארוך ממה שסיכם.

אותו קטע ב-327 מילים מתנהג כפי שהיית מצפה:

אורך מקור	פִּכַּ	מְפו�
91 מילים	0.90 של מקור	2.20 של מקור
327 מילים	0.28 של מקור	0.59 של מקור

אז האיזון יושב איפשהו בסביבות מאתיים עד שלוש מאות מילים. מתחת לזה, בחרו משפט אחד, או אל תסכמו כלל, כי קטע בן 91 מילים הוא כבר באורך של סיכום.

האינפלציה נראית גם בפרוזה. הגרסה המפורטת של הקטע הקצר פותחת "החלטת מועצת העיר לגבי חניונים במרכז העיר מייצגת פרויקט פיתוח עירוני משמעותי שמטרתו לטפל במחיר סביר לדיור ולעורר צמיחה כלכלית", שהיא עשרים ושלוש מילים לומר שהמועצה אישרה תכנית.

האם זה ממציא עובדות?

במבחן זה, לא, וכדאי לציין זאת בצורה ברורה כמו הכשלים.

ספרתי כל מספר במקור בן 327 המילים ובכל מספר בסיכום המפורט שלו:

numbers in source    19
numbers in summary    9
in summary, not in source:   none

תשע מתוך תשע עשרה דמויות שרדו ולא הופיעה דמות חדשה אחת. הדגם פועל בטמפרטורה של 0.3, הפס הנמוך ביותר המשמש כל כלי כתיבה באתר, שהוא ההגדרה שהופכת סוג זה של פלט לשמרני.

זו הכותרת שהסיקור של רוב הסיקור של AI סיכום ייעצר בה, וזה החצי הפחות שימושי של התמונה.

אז מה משתבש?

הקשרים בין המספרים, ששורדים כספרות ונשברים כמשמעות.

תביעת הדיור בר השגה. המקור אומר ש-85 מתוך 340 הדירות יהיו סבירות ב-80% מדמי השכירות בשוק, וששיעור זה נמוך מהממליץ של 30% מקלט. הסיכום אומר:

designated affordable apartments for 80% of market rent,
a level significantly below Shelter's recommended 30%

שני המספרים אמיתיים. ההשוואה היא שטויות: 80 אחוז משכר הדירה בשוק הוא מחיר, 30 אחוז הם נתח של יחידות, והמשפט טוען שהראשון מתחת לשני. הנתון שעשה את המשפט המקורי הגיוני, 85 יחידות מתוך 340, הוא זה שנפל.

סכסוך החניה. המקור מציינת את המועצה של 41 אחוזי תפוסה ולשכת המסחר חולקת עליה בסקר משלה. הסיכום אומר שהלשכה ציינה "נתוני הקיבולת ששימשו בסקר שלהם היו נמוכים משיעור התפוסה של 41%", שהלשכה טוענת להיפך מהעמדה שלה.

אף שגיאה לא תתפס על ידי בדיקת המספרים מול המקור. שניהם דורשים לקרוא את המשפט ולשאול מה הוא טוען.

לכישלון זה יש שם בספרות המחקר. מיינז ועמיתיו' עבודה על נאמנות בסיכום מופשט מפריד בין הזיה חיצונית, כאשר סיכום מציג משהו שנעדר מהמקור, מהזיה פנימית, שם הוא משלב מחדש חומר שמופיע לאמירה שהמקור אינו משמיע. הממצא שלהם, בסיכומים עם הערות אנושיות, הוא שהסוג הפנימי הוא גם נפוץ יותר וגם קשה יותר לזיהוי אוטומטי. זו בדיוק הצורה של שתי השגיאות למעלה, וזו הסיבה שבדיקת מספרים נותנת ביטחון כוזב.

מה נשמט, והאם יש דפוס?

פרט התומך בתביעה במקום להיות התביעה, ולא, אין דפוס אמין.

מאותו מקור נעלמו כליל: 1,412 תגובות ייעוץ, 63 אחוזי תמיכה, שני המוסכים' תאריכי בנייה, התחייבות לתיקון של 12 מיליון פאונד, סקר שנערך בקרב 38 עסקים שמצאו 71 אחוז הגיעו ברכב, תדירות ה-20 דקות של המעבורת, עלות התשתית של 4.3 מיליון פאונד ותאריך תחילת הפתיחה במרץ. הסיכום שמר על "העלות הראשונית של שיפורי תשתית" ללא הנתון שהפך אותו לטיעון.

במעבר הקצר יותר הירידה הייתה לא אחידה באופן שמביס כל כלל אצבע:

מַע�	משפט אחד	פִּכַּ	נקודות כדור	מְפו�
340 דירות	שָׁ	אָבוּ	שָׁ	שָׁ
שכר דירה עולה ב-18%	אָבוּ	אָבוּ	אָבוּ	שָׁ
900 רווחים הוסרו	אָבוּ	אָבוּ	שָׁ	אָבוּ
מתחיל באביב הבא	שָׁ	אָבוּ	שָׁ	שָׁ

סיכום ארוך יותר אינו ערכת-על של פסקה קצרה יותר. "פסקה קצרה" איבד את ספירת הדירות ש- "משפט אחד" שמר. "מפורט" איבד את נתון החניה ש- "נקודות תבליט" שמר. אם מספר ספציפי חשוב לך, ההגדרה שמשמרת אותו אינה ניתנת לחיזוי, והגישה האמינה היחידה היא לבדוק.

מי שצריך להדאיג את הקורא הוא העלאת שכר הדירה: 18 אחוז בשלוש שנים הוא הנתון היחיד הכי מצוטט ביצירה, ושלוש מתוך ארבע ההגדרות הורידו אותו.

האם זה יכול לסכם PDF או דף אינטרנט?

לא ישירות. זה לוקח טקסט שאתה מדביק, מה שאומר שהחילוץ הוא שלב נפרד וכדאי לעשות בכוונה.

עבור PDF, שלף את הטקסט תחילה. PDF לטקסט עושה את זה בדפדפן, ו המדריך למה ההמרה עולה שווה תחילה דקה מזמנך, כי עמודות PDF יוצאות משולבות וטבלה יוצאת כשורת ערכים. סיכום של טורים מקושקשים הוא סיכום של שטויות, והוא ייקרא בצורה שוטפת לחלוטין.

עבור דף אינטרנט, העתק את טקסט המאמר ולא את הדף. ניווט, באנרים של עוגיות, רשימות מאמרים קשורים וספירת הערות כולם הופכים לקלט, ולמודל אין דרך לדעת שהם רהיטים. בדף עם סרגל צד ארוך הם יכולים לגבור על המאמר.

עבור מסמך סרוק אין טקסט לחלץ כלל, ו-OCR קודם. מה בעצם שובר את OCR יש את הגרסה המדודה של זה, כאשר הטיה של שלוש מעלות חשובה יותר מרזולוציה.

הכלל הכללי: מה שמגיע לקופסה הוא מה שמסכם, כולל כל דבר שהגיע במקרה.

למה לא פשוט לקרוא את הפסקה הראשונה?

לעתים קרובות אתה צריך, ולדעת מתי ההבדל בין שימוש במסכם טוב לבין שימוש בו באופן רפלקסיבי.

כתיבת חדשות משתמשת בפירמידה ההפוכה, שבה הפסקה הראשונה נושאת את כל הסיפור והכל אחריה היא מוסיפה פרטים בסדר יורד של חשיבות. לכתבה חדשותית, הפסקה הראשונה היא סיכום שנכתב על ידי אדם שקורא את הדבר, והוא חופשי ומיד.

שבו מסכם זוכה בדקה הוא החומר שלא כתוב כך:

מקור	קרא את הפתיחה	לְסַכֵּ
מאמר חדשות	כן, זה כבר סיכום	לעתים רחוקות שווה את זה
דקות, תמלילים, שרשורים	אין מבנה לניצול	כן
נְיָרִ	תקציר כבר קיים	רק לקטע
דוח עם תקציר מנהלים	לקרוא את זה	רק הקטעים שהוא מדלג עליו
מסמך משפטי או מדיניות	פתיחה היא הגדרות	כן, עם בדיקה

המקרה הנפוץ הכלי הזה מתאים הוא זה ללא סיכום שנכתב על ידי המחבר וללא הזמנה מועילה: שרשור דוא"ל, סט הערות לפגישה, תמלול, יומן צ'אט ארוך. אלה מופץ את המידע באופן שווה דרכם, וזה בדיוק כשקוראים את הפסקה הראשונה לא אומר לך דבר.

באיזו הגדרה כדאי לבחור?

לפי מה אתה הולך לעשות עם הסיכום, והבחירה צרה יותר ממה שארבע אפשרויות מציעות.

הגדרה	השתמש בו עבור	הימנע מתי
משפט אחד	שורת נושא, הערה לעצמך, טריאז'	אתה צריך כל פרט בכלל
פִּכַּ	קריאת מסמך ארוך במהירות	המקור הוא מתחת ל-200 מילים
נקודות כדור	הערות שתסרוק שוב מאוחר יותר	למקור יש טיעון ולא רשימה
מְפו�	דוח ארוך שאתה עדיין צריך לפעול לפיו	המקור קצר, או שאתה צריך כל דמות

לנקודות תבליט מגיע אזהרה. הפיכת פרוזה לכדורים משליכה את רקמת החיבור, שם חיה אי הסכמה. מאמר על החלטה תכנונית שנויה במחלוקת הופך לרשימה של הצהרות עם התחרות הוסרה, והכדורים נקראים כעובדות מסודרות.

מה כדאי לבדוק בסיכום?

שלושה דברים, בסדר הזה, כי השניים הראשונים מהירים.

1. כל מספר, נגד המקור. לא אם זה סביר, אם זה שם. דקה לסיכום קצר.
2. למה כל מספר מצורף. כאן היו השגיאות. קרא כל משפט המכיל דמות ושאל איזו טענה היא טוענת, ואז מצא את הטענה הזו במקור.
3. מי אמר מה. ייחוס הוא הדבר השני שמתהפך. הדוגמה של לשכת המסחר לעיל היא היפוך עמדה שנקרא באופן טבעי לחלוטין.

מה שאינך יכול לבדוק בהשוואה הוא מה חסר, שכן עובדה נעדרת לא משאירה זכר לפלט. זה מצריך קריאה של המקור, שהוא הדבר שניסית להימנע ממנו. המסגרת הכנה היא שסיכום אומר לך על מה מסמך כדי שתוכל להחליט אם לקרוא אותו, לא כדי שתוכל לדלג עליו.

האם סיכום בטוח להעברה?

לא כתחליף לדבר שהוא מסכם, ושני הכשלים לעיל הם הסיבה.

שניהם שלטו שוטפים. שניהם שמרו על נתונים אמיתיים. שניהם ישרדו רפרוף של מישהו שלא קרא את המקור, ואת הדיור בר השגה יחזור על עצמו בפגישה של מישהו שלא ידע אז מאיפה הוא הגיע.

אם אתה מעביר סיכום, העבר איתו את המקור. אם אתה מצטט מתוך סיכום, חזור למקור לקבלת הציטוט. אם אתה מקבל החלטה על סיכום, המספר שאתה מחליט עליו הוא זה שצריך לאמת תחילה.

אין זו טיעון נגד סיכום. זה הנוהג הרגיל לעבודה מכל חשבון יד שנייה, וסיכום שהופק על ידי מכונה הוא בדיוק זה.

כַּמָה זְמַן זֶ

בין שלושים שניות לדקה וחצי, מעקב אחר הפלט ולא הקלט.

לרוץ	מקור	הגדרה	זְמַ
1	91 מילים	משפט אחד	32 שניות
2	91 מילים	מְפו�	73 שניות
3	327 מילים	פִּכַּ	66 שניות
4	327 מילים	מְפו�	95 שניות

קריאת מקור ארוך היא זולה יחסית; כתיבת סיכום ארוך לא. "מפורט" עולה בערך פי שניים ממה "משפט אחד" עלויות על אותה קלט.

יש גם תקרה על הקלט. טקסט ארוך מאוד מתקצר למה שהמודל יכול לקרוא במכה אחת, והעמוד אומר זאת כשזה קורה במקום לסכם בשקט את החלק הראשון. לדוח ארוך, מסכם אותו בסעיפים, שגם שומר על כל צ'ק קטן מספיק כדי לעשות אותו כראוי.

למה זה מוגדר להיות צפוי?

כי סיכום הוא העבודה האחת באתר שבה תשובה חוזרת היא התשובה הנכונה.

כל כלי AI כאן נושא טמפרטורה השולטת בכמות השונות של הדגם מותר. כלי השמות פועלים ב-1.0, מכיוון שרשימת שמות שלעולם לא משתנה היא חסרת תועלת. הפרפראזה יושב על 0.5. המסכם הוא 0.3, הנמוך ביותר מבין כלי הכתיבה.

לכן לא הומצאו מספרים. טמפרטורה נמוכה גורמת לדגם להיצמד להמשך הסביר ביותר של הטקסט שלפניו, שעבור משימת סיכום פירושו הטקסט שלפניו. אותה הגדרה היא הסיבה שהפלט יכול להיות שטוח ומעט מכני, וזה המסחר הנכון כאן.

זה גם אומר שריצה חוזרת לא תעזור הרבה. אם סיכום מפיל נתון שאתה צריך, הפעלתו שוב בדרך כלל מפילה אותו שוב, והמהלך הטוב יותר הוא הגדרת אורך שונה או קלט קצר יותר.

מדוע זה פועל על השרת של האתר עצמו?

כי המסמכים שאנשים מסכמים הם אלה שהם לא יכולים להדביק בשירות ציבורי.

מסמכי מועצת המנהלים, מכתב משפטי, דו"ח אירוע, שרשור על עמית, טיוטה תחת אמברגו, סיכום רפואי. החלופה הרגילה שולחת את כל המסמך לחברה שתנאיה מאפשרים לשמור אותה ואולי להכשיר אותה.

כאן זה עובר לדגם קטן בחומרה של האתר עצמו ואינו מאוחסן אלא אם כן תבחר לשלוח משוב. העלות גלויה בתזמונים שלמעלה, ובתקרה הכנה: דגם קטן מסכם היטב עמוד ומאה עמודים בכלל לא.