我寫了一個充滿數字的議會規劃故事，將其通過總結器，然後對照來源檢查輸出中的每個數字。 自己寫源就是重點：這意味著我確切地知道每個句子聲稱的內容，這是判斷一個僅與真實的簡稱更短的摘要的唯一方法。 沒有一個是發明的。 九個數字通過了，所有九個數字都出現在原始版本中，這比通常關於人工智慧編造東西的警告會引導你預期的結果更好。 摘要在兩個地方仍然是錯誤的，兩個錯誤都保持數字完好無損。 其中一個讀到「以 80% 的市場租金指定的經濟適用房，這個水平明顯低於庇護所建議的 30% 的水平，它將租金水平與一定比例的單位進行比較，並得出在任何算術中都不正確的句子。
TL;DR: 要檢查摘要的不是數字是否真實，而是它們是否仍然附著在正確的事物上。 以 327 字為單位測量 資料來源：零發明數字，正確壓縮原件的 0.28 和 0.59，以及兩個關係被破壞，每個關係都保留數字並丟失他們所指的。 在您貼上之前也值得了解：長度設定是絕對的，因此在簡短的輸入中，總結的總和比它所總結的文字長 2.2 倍。 那個 總計 在網站自己的伺服器上運行。
四個長度設定有什麼作用？
他們命名了一個輸出大小，然後他們就點擊了它。 格式合規性是這裡最可靠的事情。
在同一個 91 字的段落上測量：
| 設定 | 要 | 生 | 與源比 |
|---|---|---|---|
| 一句話 | 一句話 | 1句，47個字 | 0.52 |
| 短段 | 3 到 4 句 | 4句，82個字 | 0.90 |
| 要點 | 5 到 7 顆子彈 | 7顆子彈，95個字 | 1.04 |
| 詳 | 2 到 3 段 | 3段，200字 | 2.20 |
這些中的每一個都與指令相符。 一句就是一句。 Bullet Points 在五到七頻段內給了七個。 詳細介紹了三個段落。
看最後一列。
為什麼詳細的摘要比文章長？
因為長度是絕對目標，而不是輸入的比例。
「詳細」要求在每個要點上寫兩到三個段落，無論你給它九十個單字還是九千個，它都會產生兩到三個段落。 在一段短文中，這意味著模型圍繞事實寫出連接散文以達到長度，並且輸出比它所總結的要長。
327 個字的同一段落的行為與您預期的一樣：
| 源頭長度 | 短段 | 詳 |
|---|---|---|
| 91 個字 | 0.90 來源 | 2.20 來源 |
| 327字 | 0.28 來源 | 0.59 來源 |
所以收支平衡大約是兩到三百個字。 在此之下，選擇一句話，或根本不總結，因為 91 個字的段落已經是摘要的長度。
通貨膨脹在散文中也可見。 短文的詳細版本開啟了「市議會關於市中心停車場的決定，代表了一個重要的城市發展項目，旨在解決住房負擔能力和刺激經濟成長」，這是二十三個字，說議會批准了一項計劃。
是不是很生氣？
在這個測試中，不，這與失敗一樣值得一提。
我計算了 327 字來源中的每個數字以及它的詳細摘要中的每個數字：
numbers in source 19
numbers in summary 9
in summary, not in source: none
十九個人物中有九個倖存下來，沒有一個新人物出現。 該模型在 0.3 的溫度下運行，這是網站上任何寫入工具使用的最低頻段，這是使這種輸出保守的設定。
這是 AI 總結中大多數報導的標題，它將停止，它是圖片中不太有用的一半。
那怎麼了？
數字之間的關係，作為數字而生存，並作為意義破碎。
經濟適用房索賠。 消息人士稱，在 340 套公寓中，有 85 套以 80% 的市場租金價格負擔得起，這一比例低於 30% 的庇護所建議。 摘要說：
designated affordable apartments for 80% of market rent,
a level significantly below Shelter's recommended 30%
這兩個數字都是真實的。 比較是無稽之談：80% 的市場租金是價格，30% 是單位份額，句子斷言第一個低於第二個。 使原始句子有意義的數字，340 個單位中的 85 個，是被刪除的數字。
停車糾紛。 消息人士稱，理事會引用 41% 的入住率，商會對其自身調查提出異議。 摘要說，商會表示「他們調查中使用的容量數據低於 41% 的入住率」，該商會與其自身位置相反。
透過檢查來源的數字不會發現任何錯誤。 兩者都需要閱讀句子並詢問它聲稱的內容。
這種失敗在研究文獻中有名。 梅尼茲及其同事' 抽象總結中的忠誠度工作 將外在幻覺（其中摘要）引入源不存在的外在幻覺與內在幻覺中的事物，在其中將存在的材料重新組合成不做出的陳述。 他們在人為註釋的摘要中發現，內在類型更常見，更難自動檢測。 這正是上述兩個錯誤的形狀，也是數字檢查給出錯誤信心的原因。
什麼被丟棄，有模式嗎？
支持索賠而不是索賠的細節，不，沒有可靠的模式。
來自同一來源，這些完全消失：1,412 個諮詢回應，63% 的支持，兩個車庫'建造日期，1200 萬英鎊的維修責任，一項調查發現 71% 的企業是乘車到達的，太空梭的 20 分鐘頻率，430 萬英鎊的基礎設施成本，以及 3 月的開始日期。 摘要保留了「基礎設施改善的初始成本」；沒有使其成為論點的數字。
在較短的通道上，下降是不均勻的，這與任何經驗法則都相符：
| 實 | 一句話 | 短段 | 要點 | 詳 |
|---|---|---|---|---|
| 340間公寓 | 留 | 迷 | 留 | 留 |
| 租金上漲 18% | 迷 | 迷 | 迷 | 留 |
| 刪除了 900 個空格 | 迷 | 迷 | 留 | 迷 |
| 明年春天開始 | 留 | 迷 | 留 | 留 |
較長的摘要不是較短的摘要。「短段落」失去了「一句話」的公寓數。 「詳細」遺失了「子彈點」保留的停車位。 如果特定數字對您很重要，則保留它的設定是不可預測的，唯一可靠的方法是檢查。
讀者最讓讀者擔心的是租金上漲：三年內 18% 是這篇文章中最容易引用的統計數據，四個設定中有三個放棄了它。
它可以總結 PDF 或網頁嗎？
不是直接。 它需要您粘貼的文字，這意味著提取是一個單獨的步驟，值得一試。
對於 PDF，請先將文字拉出。 pdf 到文字 在瀏覽器中執行，並且 轉換成本指南 首先值得您花一分鐘的時間，因為 PDF 的列是交錯的，而一張桌子作為一行價值觀出現。 加擾列的摘要是無意義的摘要，它將完美地閱讀。
對於網頁，複製文章文字而不是頁面。 導航、餅乾橫幅、相關文章列表和評論計數都成為輸入，模型無法知道它們是家具。 在帶有長側邊欄的頁面上，它們可以超過文章。
對於掃描文件，根本沒有要提取的文字，OCR 是第一位的。 什麼真正打破了 OCR 有測量版本，其中三度傾斜比分辨率更重要。
一般規則：無論到達盒子什麼，都會被概括，包括偶然發生的任何事情。
為什麼不直接閱讀第一段？
通常你應該這樣做，知道什麼時候使用總結器和反射性地使用它之間的區別。
新聞寫作使用倒金字塔，第一段將整個故事以及它添加到細節以遞減的重要性順序添加細節之後。 對於新聞文章，第一段是由閱讀內容的人撰寫的摘要，它是免費且即時的。
總結者賺取的分鐘是不是以這種方式寫的材料：
| 來源 | 閱讀開頭 | 總結 |
|---|---|---|
| 新聞文章 | 是的，這已經是總結了 | 很少值得 |
| 會議記錄、成績單、線程 | 沒有可利用的結構 | 是的 |
| 學術論文 | 抽象已經存在 | 僅適用於部分 |
| 襄報 | 讀 | 只有它跳過的部分 |
| 法律或政策文件 | 開口是定義 | 是的，檢查 |
此工具適合的常見案例是沒有作者編寫的摘要，也沒有有用的訂單：電子郵件線程、一組會議記錄、成績單、長聊天日誌。 那些資訊透過它們均勻分佈，這正是在閱讀第一段時，您什麼都沒告訴你。
您應該選擇哪種設定？
根據您要對摘要做什麼，選擇範圍狹窄，比四個選項建議的要窄。
| 設定 | 用它來 | 避免何時 |
|---|---|---|
| 一句話 | 主題行，給自己的便條，分類 | 你需要任何細節 |
| 短段 | 快速閱讀長文 | 來源不到200字 |
| 要點 | 注意 稍後會再次掃描 | 來源有一個參數而不是一個列表 |
| 詳 | 長長的報告你仍然需要採取行動 | 來源很短，或者你需要每一個數字 |
要點值得警告。 將散文變成子彈會丟棄結締組織，這是分歧的存在。 關於有爭議的規劃決定的文章變成了一份刪除比賽的陳述清單，子彈讀作是已解決的事實。
您應該在摘要中查看什麼？
三件事，順序，因為前兩件很快。
- 每個數字，反對源。 不是它是否合理，它是否在那裡。 一分鐘簡短的總結。
- 每個號碼附加的內容。 這是錯誤所在。 閱讀包含圖形的每個句子，並詢問它提出了什麼主張，然後在來源中找到該聲明。
- 誰說的。 歸因是反轉的另一件事。 上述商會的例子是完全自然地閱讀的立場逆轉。
您無法通過比較檢查的是缺少的，因為缺席的事實在輸出中沒有留下任何痕跡。 這需要閱讀來源，這是您試圖避免的事情。 誠實的框架是摘要告訴您文件的內容，以便您可以決定是否閱讀它，而不是為了跳過它。
摘要轉發是否安全？
不能取代它所總結的事物，而上述的兩個失敗就是原因。
兩者都流利。 兩人都保持真實的數字。 兩者都會被一個沒有讀過來源的人輕描淡寫，而經濟適用房將在會議上被一個無法說出它來自哪裡的人重複。
如果您要轉發摘要，請轉發原始程式碼。 如果您引用摘要，請返回引用的來源。 如果您對摘要做出決定，您正在決定的數字是首先驗證的號碼。
這不是反對總結的論點。 這是從任何二手帳戶工作的普通做法，機器產生的總結就是這樣。
需要多長時間？
三十秒到一分半鐘之間，追蹤輸出而不是輸入。
| 跑 | 來源 | 設定 | 時間 |
|---|---|---|---|
| 1 | 91 個字 | 一句話 | 32 秒 |
| 2 | 91 個字 | 詳 | 73 秒 |
| 3 | 327字 | 短段 | 66 秒 |
| 4 | 327字 | 詳 | 95 秒 |
閱讀長篇文章相對便宜；寫長篇摘要不是。 「詳細」的成本大約是「一句話」在同一輸入上的成本的兩倍。
輸入上也有天花板。 非常長的文字縮短為模型一次可以閱讀的內容，當這種情況發生時，頁面上寫著，而不是默默地總結第一部分。 對於長報告，分段總結，這也使每個檢查都足夠小以正確執行。
為什麼它可以預測？
因為總結是網站上的一項工作，其中一個可重複的答案是正確的答案。
這裡的每個 AI 工具都有一個溫度，控制模型允許的變化。 命名工具在 1.0 時運行，因為永遠不會更改的名稱清單是無用的。 釋義位於 0.5。 總結器為 0.3，是寫作工具中最低的。
這就是為什麼沒有發明數字的原因。 低溫使模型靠近它前面的文本最可能的延續，對於總結任務來說，這意味著它前面的文本。 同樣的設定是為什麼輸出可以是平的和一點機械的，這是這裡的正確交易。
這也意味著重新運行不會有太大幫助。 如果摘要掉落您需要的數字，再次運行它通常會再次刪除它，更好的動作是不同的長度設定或更短的輸入。
為什麼這會在網站自己的伺服器上運行？
因為人們總結的文件是他們無法貼上公共服務的文件。
董事會文件、法律信函、事件報告、關於同事的線程、禁運下的草案、醫療摘要。 通常的替代方案會將整份文件發送給一家公司，其條款允許保留並可能接受培訓。
這裡它轉到網站自己硬體上的一個小模型，除非您選擇發送回饋，否則不會儲存。 成本在上面的時間和誠實的天花板中是可見的：一個小模型總結了一頁井，一百頁根本沒有。
