我問這個網站上的論文作者一個股票問題——小學應該禁止作業嗎——然後讀兩次結果。 結構健全:標題,引言末尾的論文,三個正文段落各提出一點,結論。 它沒有發明統計數據,沒有引用,也沒有虛假的期刊文章。 然後我到達了最後,它添加了一個參考部分,列出了美國心理學會和哈佛大學的不存在的標題,每個標題都帶有禮貌地標記“假設引用 - 想像一篇真實的文章”。 這就是一頁問題的形式:The Thing 是一個有能力的鷹架,底部有一個陷阱,而陷阱看起來像是已經完成了作業。
TL;DR: 一個小的語言模型寫出了結構良好的初稿,沒有可用的證據。 在兩次運行中測量 這個: 字數在目標、零發明的統計數據或引文的 8% 以內,但除了虛構標題之外,有四個佔位符的引用命名真實機構。 使用草稿作為其骨架,用你自己的內容替換它的內容的每個句子,並在任何一個接近任務之前檢查你的機構的政策。 也要知道,在任一方向上,人工智慧檢測器都不是對任何這些的可靠檢查。
它真正做得好是什麼?
結構,這可不是什麼。
對大多數人來說,初稿的難點不是句子,而是形狀:論文去哪裡,身體需要多少點,段落是做什麼用的。 一個受過大量說明性散文訓練的模特兒,已經記住了這種形狀。 我產生的兩份草稿都將論文作為引言的最後一句,給每個正文段落一個單一的主張,並在沒有引入新材料的情況下結束。 這是每個作文課所教的標準,在第一次嘗試時正確執行。
長度控制比我預期的要好。 要求 500 字,兩段跑出 538 和 526。 這很重要,因為填充一個字數是學生浪費數小時的另一件事,而看到一個大小合適的草稿會告訴你三分需要多少空間。
它正在做的是論文形狀文本的模式完成。 這使得它擅長一篇傳統的文章,而不擅長那些應該屬於你的部分。
是否構成來源?
不完全是,這種區別比是或否更重要。
此工具背後的提示指示模型不要發明引文、統計資料或來源,並描述您應該引用的來源類型。 在兩次運行中測量,保持:沒有百分比,沒有“研究顯示”,沒有捏造的 DOI,沒有發明的作者姓名具有合理的年份。
相反的是此表格的參考部分:
2. ... Research Publication, [Year]. (Hypothetical citation - imagine a real article)
3. American Psychological Association, "Homework and Academic Achievement", [Year].
(Hypothetical Citation - imagine a real report)
仔細閱讀,這是誠實的。 它被標記了。 它告訴你要找到真實的東西。 但它在該組織從未發布的標題旁邊命名了一個真正的組織,它位於標題下的編號列表中,這是完成書目的確切視覺形式。 凌晨 1 點疲憊的學生刪除括號中的單字並提交。 這不是一個假設的失敗模式,它是顯而易見的,它值得命名,因為工具自己的謹慎是創造它的。
以下規則:將 AI 草案中任何類似引用的內容視為對自己要去找什麼的說明。 從來沒有作為參考。
為什麼小模特兒會產生幻覺?
因為他們沒有檢索任何東西。 語言模型可以預測可能的延續,而看似合理的引文是需要證據的句子的可能延續。 沒有查找,沒有資料庫,也沒有模型檢查 APA 是否發布該報告的時刻。
尺寸使情況變得更糟。 該工具運行 Gemma 3 1B,一個 10 億參數的模型,之所以選擇它,是因為它適用於僅 CPU 的伺服器,並且可以免費提供。 較小的型號的細節較少,較難使用圖案,因此比大型商業型號更傾向於自信發明。 結構能力在小尺寸下倖存下來;事實可靠性沒有。
這也是為什麼最近一無所知的原因。 沒有瀏覽步驟,因此就草稿而言,在其訓練資料組裝後發生的任何事情都不存在。
老師的人工智慧探測器會抓住它嗎?
這是錯誤的問題,誠實的答案在兩個方向上都令人不舒服:探測器捕捉到不是人工智慧編寫的工作,而錯過了工作。
OpenAI,它有充分的商業理由讓檢測發揮作用, 2023 年 7 月 20 日撤回自己的 AI 文本分類器 因為它的準確性低。 在此之前已發表的評估: 正確識別的分類器 26% 人工智慧寫的文字,同時標記 9% 人工寫的文字,是人工智慧寫的。 一個工具可以抓住它正在尋找的四分之一,並錯誤地指責近十分之一的無辜作家,它不是工具,它的製造商通過退役來這麼說。
誤報也分佈不均。 史丹佛大學的梁及其同事測試了七個由母語和非英語母語人士寫作的偵測器,發現他們 一直錯誤地將非本地寫作錯誤歸類為人工智慧產生, 發表於 型 2023年。 機制是困惑:檢測器標記單字選擇是可預測的文字,而使用第二語言工作的稱職作家正是產生這一點。 作者自己的建議是,這些檢測器不應用於評估或教育環境。
所以:不要依賴偵測器來證明你是正確的,也不要以為有人會抓住你。 在不允許的情況下提交人工智慧工作也不是理由。 不這樣做的原因是不允許,標記你作品的人通常可以透過其他方式來判斷。
使用這樣的草稿的誠實方式是什麼?
三個用途在審查中倖存下來,一個不能。
作為一種可以爭論的形狀。 產生草稿,閱讀它的三點,並注意你不同意哪一個。 分歧是你的文章。 這是它所做的最有用的事情,因為對一個位置做出反應比從空白頁發明一個位置要容易得多。
作為對您自己結構的檢查。 先寫你的文章,然後生成一篇,比較骨架。 如果模型發現您錯過的觀點,請正確研究它。
作為詞彙和註冊樣本。 學術層面的設定改變了散文的正式程度。 看到同一論點的高中和研究生版本之間的差異,教導了一些難以抽象解釋的關於註冊的東西。
不作為提交的東西。 許多機構禁止或限制人工智慧書面工作,政策因課程而異,而不僅僅是大學。 在作業中使用任何這些之前檢查您的。 在允許的情況下,揭露通常是許可的一部分。
草稿是否讀作機器書面?
是的,而且可以衡量,以易於學習的方式發現。
我通過相同的檢查運行了兩個草稿,這個網站適用於它自己的寫作。 在每個大約 530 個單字中,輸出帶有五個 en 破折號,並且從標記生成的詞的列表中,“Foster”三次,加上“Holistic”和“Crucial”。 這些都不是錯誤的英文。 當一個人選擇更簡單的東西時,它們都是模特兒所能表達的: 勗 而不是 助長, 整個 而不是 整體, 要緊 而不是 要命.
其他的告訴是結構性的。 每段的長度大致相同。 每個列表都使用相同的形狀。 結論用交換的字重申了引言。 一個每週閱讀 40 篇文章的標記在他們到達偵測器之前很久就注意到了這種模式,這是檢測器問題無關緊要的真正原因。
如果你用自己的聲音重寫草稿,那就是首先要攻擊的東西:改變段落長度,剪短破折號,用具體的名詞替換抽象名詞,然後讓結論說出介紹沒有。
為什麼要這麼長?
因為它在共享 CPU 上運行而不是 GPU,而這種交易是免費的。
在現場測量,500 字的草稿被採 170 秒 從請求到最終決定。 這是最短的選擇。 一篇 1,500 字的文章需要更長的時間。 文字按編寫的形式串流,因此您可以在其餘部分到達時閱讀開口,這使得等待不如數字暗示的那麼明顯。
替代設計是商業 API,它在幾秒鐘內就回答,每個請求都會花費錢,並將您的主題發送給可能保留它的第三方。 這個將您的主題透過 HTTPS 發送到一個伺服器,該伺服器建立提示、運行模型、返回文字,並且不保留任何內容:主題和草稿用於編寫回覆,然後丟棄,未記錄,未用於培訓,未傳遞給任何 AI 公司。 對於一個通常不敏感的論文主題。 對於個人陳述的草案,這很重要。
在提交任何東西之前,您應該檢查什麼?
一個簡短的清單,以最能捕捉到的順序。
- 您的機構政策,首先。 課程級規則通常與大學程度的規則不同。
- 每一個事實主張,反對您開啟的真實來源。 草案不會發明統計數據,但它會自信地斷言事情,背後沒有證據。
- 每次引用,這實際上意味著更換所有這些。
- 聲音,這是上面的單字列表賺取保留的地方。
- 論點,最後。 如果您在研究模型後仍然同意所有三個模型的觀點,那麼您就寫了模型文章而不是您的文章。
對於重寫本身, 解說工具 更改措辭但不更改內容,並且不會修復上述任何內容,並通過草稿運行草稿 文本人道化 解決的是告訴而不是思考。 也不能取代有話要說。
字數和格式呢?
兩者之後都更好地處理,由確定而不是機率的工具。
一個要求 500 個單字的模型產生大約 500 個單字,這很好,直到簡短的“500 字最大”和草稿落在 538 處。 將最終文字貼到 字計數器 並知道數字而不是估計它。 閱讀程度和句子長度也是如此,大多數標記都比他們承認的更關心。
格式化是另一件值得分開的。 草稿以純文字形式到達,帶有 Markdown 風格的標題,方便編輯,在大多數課程中提交錯誤。 最後轉換一次,當單字停止變化時,而不是透過六次修訂來對格式進行鬥爭。
七種論文類型會改變什麼嗎?
比學術水平更重要,這讓我感到驚訝。
該工具提供議論、說服力、說明性、敘述性、描述性、比較和對比以及因果關係。 這些不是同一張草稿上的化妝品標籤:它們改變了身體段落正在做的工作。 辯論草案採取立場,為其反對暗示的反對意見。 說明性解釋沒有偏袒任何一方,因此段落變成了類別而不是聲明。 比較和對比重組了兩個主體周圍的所有東西,這迫使一個逐點或一個塊結構,模型選擇一個並保持它。
學術水平設定的作用較小。 它調整詞彙和出現的對沖程度,因此一個論點的研究生版本說「證據表明」高中版本說「這顯示」。 基本論點通常是相同的三點。 如果您希望研究生環境會產生研究生水平的思維,那麼值得知道:它在相同的推理上產生研究生級別。
實際結果是小心翼翼地挑選類型。 當你需要說明文時,一個有說服力的草稿在結構上是錯誤的;當你需要本科時,高中草稿是 20 分鐘的改寫。
大型商業模式更適合這個嗎?
在寫作,是的。 在讓你陷入困境的事情上,不是很明顯。
一個大模型寫得更流暢,在一起更長的論點,並且不太可能產生上述的佔位符引用模式。 如果唯一的標準是散文品質,它就贏了,而且還不接近。
它沒有解決的三件事。 它仍然沒有查找步驟,因此它仍然自信地發明 - 故障更罕見,因此更難捕捉,這與更安全的不同。 它仍然產生結構告訴,因為它們來自訓練分佈,而不是來自模型大小。 它通常會保留您的文字:大多數商業助理都保留對話,有些人使用它們進行訓練,除非您選擇退出,當文件是個人陳述或未發表的論文章節時,這是一個不同的主張。
這就是這個工具故意進行的交易:一個更小、更流利的模型,它在伺服器上運行,不保留任何東西,免費提供。 對於股票論文問題,使用任何寫得最好的東西。 對於任何您不會貼到公共論壇中的東西,保留問題是首先要問的問題。 同樣的推理貫穿 我們如何在這裡寫一切, 告訴比這個頁面有空間的更詳細的編目。



