老師將一篇文章貼到偵測器中並取得 " 87% 人工智慧產生並引用;。一位編輯經營一位自由工作者'文章透過另一篇文章獲得 "可能是人&引用;。求職者被告知他們的求職信已被標記。在每種情況下,都會要求一個號碼來回答有關一個人的問題:他們寫了這個嗎?這個數字無法承受重量,原因有據可查。
可以誠實衡量的是文本本身。句子長度、詞彙、對沖和標點符號都是關於寫作的事實,它們也是讓草稿對讀者來說變得公式化的事實。本指南解釋了作者身份檢測失敗的原因、每個可測量訊號的含義、數字的計算方式以及如何使用它們來改進草稿而不是指責某人。範例使用 人工智慧寫作檢查器,其中之一 人工智慧書寫工具 在 Toolz 上,它報告了六個訊號,並故意不給出人工智慧作者的可能性。
TL;DR: 沒有工具可以可靠地判斷人工智慧是否寫了文字。 OpenAI 因準確性低而於 2023 年撤回了自己的分類器,研究表明探測器經常將非英語母語作家標記為 AI。檢查器可以誠實測量的是書寫:句子長度變化(突發)、平均句子長度、每 1,000 個單字過度使用的詞彙、對沖短語、em 破折號密度和連接詞開頭。這 人工智慧寫作檢查器 報告這六個訊號以及每個訊號背後的證據,運行客戶端,並且是免費的,無需註冊。
人工智慧探測器能判斷誰寫了文字嗎?
不。 人工智慧偵測器是一種統計分類器,它根據文本的表面特徵猜測作者身份,而這些猜測常常是錯誤的,以至於對它們採取行動是不安全的。
最明確的證據來自建造它們的公司。 OpenAI 於 2023 年 1 月發布了 AI 文字分類器,並於 2023 年 7 月撤回。更新 其公告頁面 表示分類器不再可用"由於其準確度和報價率較低;當訓練模型的組織無法為其輸出建立可靠的偵測器時,第三方分數就不值得信任。
失敗也不是隨機的。史丹佛大學研究人員 2023 年的一項研究, GPT 偵測器對非英語母語作家有偏見 (梁等人)在非英語母語人士撰寫的托福論文中運行了七個廣泛使用的探測器。平均而言,超過一半的人寫論文被歸類為人工智慧生成,而美國八年級學生的論文分類則準確得多。機制很簡單:用第二語言寫作的人往往使用更窄的詞彙和更規則的句子結構,而規則性正是偵測器讀起來像機器的東西。
另外兩個問題使分數變得脆弱。對產生的草稿進行輕微編輯可以將分數從 "AI"移動到 "人&報價;。使用語法軟體對人類草稿進行大量編輯可能會以其他方式移動它。在普通編輯下翻轉的測量方法不是測量作者身份。
書寫檢查器可以誠實測量什麼?
它可以測量真實的文本屬性,無論是誰製作的。 Toolz 檢查器報告六:
| 信號 | 它衡量什麼 | 是如何報道的 | 人形結局 | 公式化的結局 |
|---|---|---|---|---|
| 句子長度的變化 | 句子長度有多少差異(突發性) | 變異係數,以百分比表示 | 70%以上 | 15%或更少 |
| 平均句子長度 | 每個句子的平均單字數 | 詞 | 14 或更少 | 30個或更多 |
| 過度使用的詞彙 | 大約 40 個單字的模型被過度使用 | 每 1,000 個字的計數和速率 | 每 1,000 人 0 人 | 每 1,000 人中有 20 人或更多 |
| 對沖短語 | 諸如 " 之類的短語值得注意&引用; | 計數 | 0 | 5個或更多 |
| Em 破折號密度 | Em 和 en 破折號 | 每 1,000 個字的計數和速率 | 每 1,000 人 0 人 | 每 1,000 人中有 10 人或更多 |
| 連接開路器 | 句子開頭此外,此外,然而 | 句子比例 | 0% | 30%以上 |
每個訊號以 0 到 1 的比例放置在這兩個錨點之間,並著色為類人(低於 0.34)、混合(0.34 到 0.67)或公式化(高於 0.67)。錨點是編輯閾值,而不是作者身份的統計截止值。它們標記讀者開始注意到該模式的位置。
每個訊號也列出了它的證據:實際的句子長度、匹配的單字、找到的對沖、以連接詞開頭的句子。如果一個數字看起來錯誤,證據就會說明原因。
什麼是突發,為什麼它是最強訊號?
突發性是指文本中句子長度的變化程度。人類寫作混合了短句和長句。三個字的句子得一分。三十字的句子貫穿其子句的限定。生成的草稿往往會形成統一的中間長度,一個又一個的十五到二十二個字。
檢查器將突發性報告為變異係數:句子長度的標準差除以平均值。除以平均值使得該數字與句子整體長度無關,因此可以公平地比較短句子的文本和長句子的文本。
以下是長度為 4、17、2 和 11 個單字的四個句子的計算:
mean = (4 + 17 + 2 + 11) / 4 = 8.5
squares = 4.5² + 8.5² + 6.5² + 2.5² = 20.25 + 72.25 + 42.25 + 6.25 = 141
variance = 141 / 4 = 35.25
std dev = √35.25 ≈ 5.94
CV = 5.94 / 8.5 ≈ 0.70 → "70% variation"
70% 時,文字位於類人一端。將這些長度更改為 15、17、16 和 18,標準差降至約 1.12,平均值為 16.5,變化約為 7%,這是公式化的結束。
突發是最強的單一訊號,因為如果不重寫就很難偽造,而且很容易修復:拆分一個長句子,合併兩個短句子,然後添加一個非常短的句子,其中一個點值得強調。
詞彙、對沖、破折號和開球如何計算?
過度使用的詞彙。 檢查器從大約 40 個單字的清單中計算全詞匹配,這些單字在生成的文字中出現的頻率遠高於人類書寫中的頻率,包括 leverage, robust, crucial, comprehensive, holistic, meticulous, transformative 和 navigating. 計數轉換為每 1,000 個單字的比率,以便比較短文本和長文本。
對沖短語。 計算出十種模式,包括"記下&引用很重要;,&引用;它值得注意&引用;,&引用;應該注意&引用;,&引用;當涉及&引用時;,&引用;在一天結束時&引用;,&引用;不用說&引用;和&引用;在今天'快節奏的世界&引用;。
Em 破折號密度。 每個 em 破折號和 en 破折號都會被計算並轉換為每 1,000 個單字的速率。人們在鍵盤上打字很少會產生字元;模型不斷產生它。
連接開瓶器。 檢查器將以下開頭的句子計算為所有句子的份額:此外,此外,值得注意的是,重要的是,因此或然而。
平均句子長度。 每句的平均字數。大約 15 到 20 個單字讀起來很舒服; 25點以後讀者開始工作。
句子在一段句號、問號或感嘆號後面跟著空格後分開,單字是字母和撇號的運行。縮寫如 "eg"因此可以提前拆分一個句子,這會稍微改變長度數字。證據清單顯示長度,以便您可以發現它。
每個數字都是一個可行的範例
貼上這篇短文:
The report is ready. It covers three regions and explains why sales in the north fell by a fifth last spring. Read it. Moreover, it is important to note that the landscape is changing.
檢查器報告 34 個單字和 4 個句子,並帶有以下訊號:
| 信號 | 價值 | 判決 |
|---|---|---|
| 句子長度的變化 | 70% 變化(長度 4、17、2、11) | 類似人類 |
| 平均句子長度 | 8.5字 | 類似人類 |
| 過度使用的詞彙 | 1 個實例(每 1,000 個字 29.4 個):風景 | 公式化的 |
| 對沖短語 | 1 找到: & 引用;值得注意並引用很重要; | 類似人類 |
| Em 破折號密度 | 0 破折號(每 1,000 個字 0.0) | 類似人類 |
| 連接開路器 | 4 句話中的 1 句 | 公式化的 |
由此產生了兩個教訓。首先,非常短的文本的比率劇烈波動:34 個單字中的一個單字的比率為每 1,000 個單字 29.4 個,超出了標準。在閱讀詞彙量和破折號率之前至少貼上幾百個單字。其次,訊號指向一個特定的句子。最後一個帶有開瓶器、對沖和列出的單詞,並將其重寫為 "市場正在改變。&引用;清除所有三個。
本文的整體標籤是 "自然閱讀並引用;因為六個分數的平均值略低於混合閾值。這個邊界結果很好地說明了為什麼整個標籤是訊號的總結而不是等級。
您應該如何使用書寫檢查器,又該如何不使用?
在您自己的草稿上使用它,以查找哪些段落讀起來公式化,並了解模式是什麼樣的。在編輯貢獻的工作時使用它,作為指向輕鬆編輯會有所幫助的指標。
不要用它來決定學生是否作弊、自由工作者是否使用模型、申請人是否自己寫了一封信。該頁面在結果上方的警告框中說了這一點,原因值得重複:沒有探測器可以確定作者身份,誤報對第二語言作家來說最為嚴重,基於分數的指控可以對那些沒有做錯事的人造成真正的傷害。如果作者身份確實很重要,請與作者交談,查看草稿和修訂歷史記錄,或要求他們解釋其推理。
也沒有分數可以瞄準。如果變化很小,請改變你的句子。如果對沖很高,就砍掉對沖。無論誰寫了它,兩者都會提高寫作水平。
如何修復檢查器發現的內容?
每個訊號都有一個直接修復。
| 尋找 | 修復 |
|---|---|
| 句子長度變化低 | 分一句長句;合併兩個短句;添加一個非常短的句子以強調 |
| 平均句子長度高 | 打破 " 中的句子&引用;,&引用;哪個&引用;和&引用;因為&引用;條款獨立的地方 |
| 詞彙量高 | 將列出的每個單字換成一個簡單的單字:使用、強、關鍵、完整 |
| 對沖短語 | 刪除短語;這句話的意思是一樣的 |
| 高電錶破折號率 | 將破折號替換為句號、逗號或括號,以句子所需者為準 |
| 連接開路器 | 刪除開場白;句子的順序已經顯示了連接 |
其中一些可以自動應用。這 人工智慧文字人性化 刪除對沖和開瓶器,交換過度使用的單字並替換破折號,並列出每個更改,以便您可以拒絕不合適的更改。它不會改變句子長度,因此突發性仍然是手動編輯。實用的循環是:檢查、人性化、手動編輯句子節奏,然後再次檢查。
如果您想查看編輯更改了多少,請將前後的內容貼上到 a 中 文字差異檢查器. 對於特定平台上的長度目標,指南 數字數和閱讀時間 涵蓋字數的計算方式以及工具不一致的原因。
模式檢查器與人工智慧偵測器與可讀性評分
這三種工具回答不同的問題並且經常被混淆。
| 工具類型 | 問題它回答 | 輸出 | 可靠的 |
|---|---|---|---|
| 人工智慧探測器 | 這是模特兒寫的嗎? | 機率或判決 | 沒有任何後果;準確性太低 |
| 圖案檢查器 | 這篇文章有哪些公式化的習慣? | 測量訊號並附有證據 | 編輯和自我審查 |
| 可讀性評分(Flesch 及類似) | 這讀起來有多難? | 等級或輕鬆分數 | 將文字與觀眾相匹配 |
可讀性公式和模式檢查器在句子長度上重疊,但會查看句子以外的不同內容。弗萊施評分計算每個單字的音節;模式檢查器計算特定的單字和結構。一起使用時,它們會告訴您草稿是否難以閱讀以及是否按模板閱讀。
文字是上傳還是儲存?
不。瀏覽器中的每次測量均以 JavaScript 運行。文字不會傳輸、記錄或存儲,並且頁面載入後會離線工作。當文字方塊失去焦點時,頁面會記錄僅包含單字計數的使用事件,而不記錄文字。
這對於人們最想檢查的確切文件很重要:未發表的草稿、學生作品、手稿和客戶交付成果。單字清單和閾值在頁面中是固定的,因此相同的文字總是產生相同的數字,如果兩個編輯交換筆記,結果可以重現。
現在要檢查草稿, 將其貼到書寫模式檢查器中,閱讀每個訊號下的證據,並修復最重要的兩三個。
