שאלתי את כותב החיבורים באתר זה שאלה של מניות - האם יש לאסור שיעורי בית בבתי ספר יסודיים - ולקרוא את התוצאה פעמיים. המבנה היה בריא: כותרת, תזה בסוף המבוא, שלוש פסקאות גוף שכל אחת מהן עושה נקודה אחת, מסקנה. הוא לא המציא סטטיסטיקה, לא ציטוטים ולא מאמרי כתב עת מזויפים. ואז הגעתי לסוף, שם הוא הוסיף קטע הפניות המפרט את איגוד הפסיכולוגים האמריקאי והרווארד לצד כותרים שאינם קיימים, כל אחד מהם מסומן בנימוס "ציטוט היפותטי - דמיינו מאמר אמיתי". זו צורת הבעיה בעמוד אחד: הדבר הוא פיגום מוכשר עם מלכודת בתחתית, והמלכודת נראית כמו שיעורי בית שכבר נעשו.
TL;DR: מודל שפה קטן כותב טיוטה ראשונה מובנית היטב וללא ראיות שמישות. נמדד על פני שתי ריצות של הַלָז: ספירת מילים נחתה בטווח של 8% מהיעד, אפס נתונים סטטיסטיים או ציטוטים שהומצאו, אך ארבעה ציטוטים של מציין מיקום הנותנים שמות למוסדות אמיתיים לצד כותרות דמיוניות. השתמש בטיוטה עבור השלד שלו, החלף כל משפט מהתוכן שלו בתוכן שלך, ובדוק את מדיניות המוסד שלך לפני שמשהו ממנו מתקרב למשימה. דעו גם שגלאי AI אינם בדיקה אמינה בכל זה, בכל כיוון.
מה זה באמת עושה טוב?
מבנה, וזה לא כלום.
החלק הקשה של טיוטה ראשונה עבור רוב האנשים הוא לא המשפטים, זו הצורה: לאן הולכת התזה, כמה נקודות הגוף צריך, בשביל מה מיועדת פסקה. לדגם שהוכשר על הרבה מאוד פרוזה הסברתית יש את הצורה הזו שיננה בעל פה. שתי הטיוטות שיצרתי העלו את התזה כמשפט האחרון של המבוא, נתנו לכל פסקת גוף טענה אחת וסגרו מבלי להציג חומר חדש. זה הסטנדרט הנלמד בכל שיעור קומפוזיציה, המבוצע בצורה נכונה בניסיון הראשון.
בקרת האורך הייתה טובה יותר ממה שציפיתי. כשנשאל 500 מילים, שתי הריצות הפיקו 538 ו-526. זה משנה כי ריפוד לספירת מילים הוא הדבר השני שתלמידים מפסידים לו שעות, ולראות טיוטה בגודל נכון אומר לך כמה מקום לוקח שלוש נקודות.
מה שהוא עושה הוא השלמת דפוס על פני טקסט בצורת חיבור. זה עושה את זה טוב בחלקים של חיבור שהם קונבנציונליים, ורעים בדיוק בחלקים שאמורים להיות שלך.
האם זה מרכיב מקורות?
לא לגמרי, וההבחנה חשובה יותר מאשר כן או לא.
ההנחיה מאחורי כלי זה מורה למודל לא להמציא ציטוטים, נתונים סטטיסטיים או מקורות, ולתאר את סוג המקור שעליך לצטט במקום זאת. נמדד על פני שתי הריצות, שהחזיקו: ללא אחוזים, ללא "מופעי מחקרים", ללא DOIs מפוברקים, ללא שמות מחברים מומצאים עם שנים סבירות.
מה שהופיע במקום זה היה סעיף הפניות בטופס זה:
2. ... Research Publication, [Year]. (Hypothetical citation - imagine a real article)
3. American Psychological Association, "Homework and Academic Achievement", [Year].
(Hypothetical Citation - imagine a real report)
קרא בעיון, זה כנה. זה מסומן. זה אומר לך למצוא את הדבר האמיתי. אבל הוא מציין ארגון אמיתי לצד כותרת שהארגון מעולם לא פרסם, והוא יושב ברשימה ממוספרת תחת כותרת, שהיא הצורה החזותית המדויקת של ביבליוגרפיה מוגמרת. תלמיד עייף בשעה 01:00 מוחק את המילים בסוגריים ומגיש אותן. זה לא מצב כשל היפותטי, זה המובן מאליו, ושווה לתת לו שם כי הכלי עצמו זהירות הוא שיוצר אותו.
הכלל שאחריו: התייחסו לכל דבר הדומה לציטוט בטיוטת AI כהערה לעצמכם לגבי מה ללכת ולמצוא. אף פעם לא כהתייחסות.
למה דגמים קטנים הוזה בכלל?
כי הם לא מחזירים כלום. מודל שפה מנבא המשך סביר, וציטוט סביר למראה הוא המשך סביר של משפט שזקוק לראיות. אין חיפוש, אין מסד נתונים, אין רגע שבו המודל בודק אם ה-APA פרסם את הדוח הזה.
הגודל מחמיר את זה. כלי זה מריץ את Gemma 3 1B, דגם של מיליארד פרמטרים, שנבחר מכיוון שהוא מתאים לשרת CPU בלבד וניתן להציעו בחינם. לדגמים קטנים יותר יש פרטים פחות ממוננים והם נשענים חזק יותר על דפוס, כך שהם נוטים יותר להמצאה בטוחה מאשר למסחריות הגדולות. הכשירות המבנית שורדת את הגודל הקטן; מהימנות עובדתית לא.
זו גם הסיבה שהוא לא יודע כלום עדכני. אין שלב גלישה, כך שכל מה שקרה לאחר הרכבת נתוני האימון שלו לא קיים בכל הנוגע לטיוטה.
האם גלאי AI של מורה יתפוס אותו?
זו השאלה השגויה, והתשובה הכנה לא נוחה בשני הכיוונים: גלאים תופסים עבודה שלא נכתבה בינה מלאכותית, ומפספסת עבודה שהייתה.
OpenAI, שהייתה לה כל סיבה מסחרית לגרום לזיהוי לעבוד, משכה את מסווג הטקסט של AI ב-20 ביולי 2023 בגלל הדיוק הנמוך שלו. הערכה שפורסמה משלו לפני כן: המסווג זוהה נכון 26% של טקסט בכתב בינה מלאכותית, תוך כדי סימון 9% של טקסט שנכתב על ידי אדם ככתוב בינה מלאכותית. כלי שתופס רבע ממה שהוא מחפש ומאשים כוזב כמעט אחד מכל עשרה סופרים תמימים אינו כלי, ויוצריו אמרו זאת על ידי פרישתו.
גם התוצאות הכוזבות אינן מחולקות באופן שווה. ליאנג ועמיתיו בסטנפורד בדקו שבעה גלאים בכתיבה על ידי דוברי אנגלית שפת אם ושאינם שפת אם ומצאו אותם כתיבה לא מקורית באופן עקבי כ-AI שנוצרה כ-AI, פורסם ב תַבְ בשנת 2023. המנגנון הוא תמיהה: גלאים מסמנים טקסט של בחירת המילים שלו, וכותב מוכשר שעובד בשפה שנייה מייצר בדיוק את זה. ההמלצה של המחברים היא שאין להשתמש בגלאים אלה במסגרות הערכה או חינוכיות.
אז: אל תסתמך על גלאי כדי להצדיק אותך, ואל תניח שאחד יתפוס אותך. גם לא סיבה להגיש עבודת בינה מלאכותית במקום שבו היא אסורה. הסיבה שלא לכך היא שזה אסור, והאנשים המסמנים את עבודתך יכולים בדרך כלל לדעת באמצעים אחרים.
מהי הדרך הכנה להשתמש בטיוטה כזו?
שלושה שימושים ששורדים בדיקה, ואחד שלא.
כצורה להתווכח איתה. צור את הטיוטה, קרא את שלוש הנקודות שלה ושימו לב לאיזו מהן אתם לא מסכימים. אי ההסכמה היא החיבור שלך. זה הדבר הכי שימושי שהוא עושה, כי התגובה לעמדה היא הרבה יותר קלה מאשר להמציא אחד מדף ריק.
כבדיקה על המבנה שלך. כתוב תחילה את החיבור שלך, ואז צור אחד והשווה את השלדים. אם הדגם מצא נקודה שפספסת, לך ותחקור אותה כמו שצריך.
כאוצר מילים ומדגם רישום. המסגרת ברמה האקדמית משנה את מידת הפורמלית של הפרוזה. לראות את ההבדל בין גרסאות התיכון לבוגרים של אותו טיעון מלמד משהו על רישום שקשה להסביר בצורה מופשטת.
לא כדבר להגיש. מוסדות רבים אוסרים או מגבילים עבודה בכתב בינה מלאכותית, והמדיניות שונה לפי מהלך, לא רק לפי האוניברסיטה. בדוק את שלך לפני שאתה משתמש בכל זה במשימה. היכן שהוא מותר, הגילוי הוא בדרך כלל חלק מההרשאה.
האם הטיוטה נקראת ככתובה במכונה?
כן, ובאופן מדיד, בדרכים שקל ללמוד לזהות.
הרצתי את שתי הטיוטות באותן בדיקות שהאתר הזה חל על הכתיבה שלו. על פני כ-530 מילים כל אחת, הפלט נשא חמש נקודות EN, ומתוך רשימת המילים שסימן יצר פרוזה, "אומנה" שלוש פעמים, בתוספת "הוליסטית" ו-"מכריעה". אף אחד מאלה אינו שגוי באנגלית. כולן הן המילים שמודל מגיע אליהן כאשר אדם יבחר משהו פשוט יותר: לְהַ יותר מאשר לְטַ, תָמִ יותר מאשר הִתמוֹ, מַחְ יותר מאשר מַרכ.
המספרים האחרים הם מבניים. כל פסקה היא בערך באותו אורך. כל רשימה משתמשת באותה צורה. המסקנה חוזרת על ההקדמה עם המילים שהוחלפו. סמן שקורא ארבעים חיבורים בשבוע מבחין בדפוס הזה הרבה לפני שהם מגיעים לגלאי, וזו הסיבה האמיתית ששאלת הגלאי היא לא לעניין.
אם אתה משכתב טיוטה לקול שלך, אלה הדברים לתקוף תחילה: שנה את אורכי הפסקה, חתוך את המקף, החלף את שם העצם המופשט בשם הקונקרטי, וגרם למסקנה לומר משהו שהמבוא לא עשה.
למה זה לוקח כל כך הרבה זמן?
כי הוא פועל על מעבד משותף ולא על GPU, והמסחר הזה הוא מה שהופך אותו לחופשי.
נמדד באתר החי, טיוטה של 500 מילים 170 שניות מבקשה למילה האחרונה. זו האפשרות הקצרה ביותר. חיבור של 1,500 מילים לוקח יותר זמן באופן יחסי. הטקסט זורם כפי שהוא כתוב, כך שתוכלו לקרוא את הפתיחה בזמן שהשאר מגיע, מה שהופך את ההמתנה לפחות ברורה ממה שהמספר מרמז.
העיצוב האלטרנטיבי יהיה ממשק API מסחרי, שעונה תוך מספר שניות, עולה כסף לכל בקשה ושולח את הנושא שלך לצד שלישי שעשוי לשמור אותו. זה שולח את הנושא שלך דרך HTTPS לשרת שבונה את ההנחיה, מריץ את המודל, מחזיר את הטקסט ולא שומר כלום: הנושא והטיוטה משמשים לכתיבת התשובה ולאחר מכן נמחקים, לא מתועדים, לא משמשים להדרכה, לא מועברים לאף חברת בינה מלאכותית. לנושא חיבור שבדרך כלל אינו רגיש. לגבי טיוטת הצהרה אישית, זה משנה.
מה כדאי לבדוק לפני הגשת משהו?
רשימה קצרה, לפי הסדר שהכי תופס.
- מדיניות המוסד שלך, לפני כל דבר אחר. כללים ברמת הקורס שונים לרוב מאלה ברמת האוניברסיטה.
- כל טענה עובדתית, נגד מקור אמיתי שפתחת. הטיוטה לא תמציא נתון, אבל היא תביע את הדברים בביטחון ללא ראיות מאחוריהם.
- כל ציטוט, שפירושו בפועל החלפת כולם.
- הקול, שם רשימת המילים למעלה מרוויחה את החזקה.
- הטיעון, אחרון. אם אתה עדיין מסכים עם כל שלוש הנקודות של המודל לאחר מחקרן, כתבת את החיבור של המודל ולא שלך.
עבור הכתיבה עצמה, ה מַפרִיזָה משנה ניסוח אך לא מהותי ולא יתקן אף אחד מהאמור לעיל, והפעלת טיוטה דרך טקסט הומניזר מתייחס לתלים ולא לחשיבה. גם לא תחליף שיש מה להגיד.
מה לגבי ספירת המילים והעיצוב?
שניהם מטופלים טוב יותר לאחר מכן, על ידי כלים בטוחים ולא הסתברותיים.
דגם התבקש 500 מילים מייצר כ-500 מילים, וזה בסדר עד שתקציר אומר "500 מילים מקסימום" והטיוטה נוחתת על 538. הדבק את הטקסט הסופי ב- מונה מילים ולדעת את המספר במקום להעריך אותו. אותו דבר לגבי רמת הקריאה ואורך המשפט, שלרוב הסמנים אכפת ממנו יותר ממה שהם מודים.
עיצוב הוא הדבר השני שכדאי להפריד. הטיוטה מגיעה כטקסט רגיל עם כותרות בסגנון Markdown, הנוח לעריכה ושגוי להגשה ברוב הקורסים. המר אותו פעם אחת בסוף, כשהמילים הפסיקו להשתנות, במקום להילחם בעיצוב באמצעות שישה גרסאות.
האם שבעת סוגי החיבורים משנים משהו?
יותר מהרמה האקדמית, מה שהפתיע אותי.
הכלי מציע ויכוח, משכנע, הסברתי, נרטיבי, תיאורי, השוואה וניגוד, וסיבה ותוצאה. אלה לא תוויות קוסמטיות על אותה טיוטה: הם משנים את העבודה שעושות פסקאות הגוף. טיוטה טיעונית נוקטת עמדה ומגינה עליה מפני התנגדות משתמעת. הסבר מסביר מבלי לקחת צד, כך שהפסקאות הופכות לקטגוריות ולא לטענות. השווה וניגוד מארגן מחדש הכל סביב שני נושאים, מה שמאלץ מבנה נקודה אחר נקודה או בלוק, והמודל בוחר אחד ומחזיק אותו.
המסגרת ברמה האקדמית עושה פחות. הוא מתאים את אוצר המילים וכמה גידור מופיע, כך שהגרסה הבוגרת של טיעון אומרת "הראיות מצביעות על תוספת הגרסה של התיכון "זה מראה". הטיעון הבסיסי הוא בדרך כלל אותן שלוש נקודות. כדאי לדעת אם קיווית שמסגרת הבוגרים תייצר חשיבה ברמת תואר שני: היא מייצרת רישום ברמת תואר שני על אותו נימוק.
התוצאה המעשית היא לבחור את הסוג בקפידה ואת הרמה כלאחר יד. טיוטה משכנעת כאשר היית צריך הסבר הוא חיבור שגוי מבחינה מבנית; טיוטה של תיכון כאשר אתה צריך תואר ראשון היא עשרים דקות של ניסוח מחדש.
האם דגם מסחרי גדול טוב יותר בשביל זה?
בכתיבה, כן. מהדברים שמכניסים אותך לצרות, לא ברור.
מודל גדול כותב בצורה שוטפת יותר, מחזיק טיעון ארוך יותר יחד, ויש לו הרבה פחות סיכוי לייצר את דפוס הציטוט של מציין מיקום שתואר לעיל. אם הקריטריון היחיד הוא איכות הפרוזה, הוא מנצח והוא לא קרוב.
שלושה דברים שהוא לא מתקן. עדיין אין לו שלב חיפוש, אז הוא עדיין ממציא בביטחון - הכשלים נדירים יותר ולכן קשה יותר לתפוס אותם, וזה לא זהה יותר לבטוח. זה עדיין מייצר את המספר המבני, כי אלה מגיעים מהתפלגות האימון ולא מגודל הדגם. ובדרך כלל זה שומר על הטקסט שלך: רוב העוזרים המסחריים שומרים על שיחות כברירת מחדל, וחלקם משתמשים בהם להדרכה אלא אם כן אתה מבטל את הסכמתך, וזו הצעה אחרת כאשר המסמך הוא הצהרה אישית או פרק תזה שלא פורסם.
זה הטרייד שהכלי הזה עושה בכוונה: דגם קטן יותר, פחות שוטף, שפועל על שרת שלא שומר כלום, מוצע בחינם. לשאלת חיבור מלאי, השתמש בכל מה שכותב הכי טוב. לכל דבר שלא תדביק בפורום ציבורי, שאלת השימור היא זו שתשאל תחילה. אותו נימוק עובר איך אנחנו כותבים הכל כאן, כאשר התלים מקוטלגים ביתר פירוט ממה שיש בדף זה מקום עבורו.
