我写了一个充满数字的议会计划故事，通过总结者运行它，然后根据来源检查输出中的每个数字。 自己写源是重点：这意味着我确切地知道每个句子的要求，这是区分摘要的唯一方法，它只是比一个也更短的摘要。 没有发明一种。 九个数字通过，所有九个数字都出现在原版中，这比通常的人工智能制造警告会导致您期待更好的结果。 总结仍然是错误的，在两个地方，两个错误都保持了数字的完整性。 其中一套写着“指定的可负担公寓，占市场租金的 80%，远低于 Shelter 推荐的 30%”，这将租金水平与一部分单位进行了比较，并得出了在任何算术中都不能成立的句子。
TL;博士: 检查摘要的内容不是数字是否真实，而是它们是否仍然依附于正确的事物。 以 327 字的来源测量：零发明数字，在原始数据的 0.28 和 0.59 处正确压缩，以及两个关系断开，每个关系都保留了数字并丢失了它们所指的内容。 还值得在粘贴之前了解：长度设置是绝对的，因此在“详细”的短输入中产生的摘要比它总结的文本长 2.2 倍。 那个 总结者 在站点自己的服务器上运行。
四长的设置是做什么的？
他们命名一个输出大小，然后他们击中它。 格式合规性是这里最可靠的事情。
在同一个 91 字的段落中测量：
| 设置 | 征求 | 生产的 | 源头比 |
|---|---|---|---|
| 一句话 | 单句 | 1句话，47个字 | 0.52 |
| 短段 | 3 到 4 句话 | 4个句子，82个单词 | 0.90 |
| 项目符号 | 5 到 7 颗子弹 | 7 子弹，95 字 | 1.04 |
| 广博的 | 2 到 3 段 | 3段，200字 | 2.20 |
其中每一项都与说明相符。 一句话是一句话。 子弹点给了 7 个，在 5 到 7 个波段内。 详细给出了三段。
看最后一栏。
为什么详细的摘要比文章长？
因为长度是绝对目标，而不是输入的比例。
“详细”要求两到三段涵盖每个要点，它产生两到三段，无论你给它九十个字还是九千个字。 在一段短段上，这意味着模型围绕事实写下连接散文以达到长度，并且输出比它所概括的要长。
327 字的同一段落与您所期望的行为：
| 源长度 | 短段 | 广博的 |
|---|---|---|
| 91 字 | 0.90 的源 | 2.20 源 |
| 327 字 | 0.28 源 | 0.59 的源 |
所以盈亏平衡在大约两到三百个字的某个地方。 在此之下，选择一个句子，或者根本不总结，因为 91 字的段落已经是摘要的长度。
通货膨胀在散文中也很明显。 简短文章的详细版本开启了“市议会关于市中心停车场的决定，是一个旨在解决住房负担能力和刺激经济增长的重要城市发展项目”，这是二十三个词，可以说市议会批准了一项计划。
它发明了事实吗？
在这个测试中，不，这值得说明，就像失败一样清楚。
我计算了 327 字源中的每个数字以及详细摘要中的每个数字：
numbers in source 19
numbers in summary 9
in summary, not in source: none
十九位数中有九位幸存下来，没有一人出现新人物。 该模型的温度为 0.3，这是网站上任何书写工具使用的最低频段，这是使这种输出保守的设置。
这是 AI 摘要的最主要报道将停止的标题，也是图片中不太有用的一半。
那么出了什么问题呢？
数字之间的关系，它们作为数字而存在并作为意义中断。
经济适用房索赔。 消息人士称，340 套公寓中有 85 套将以 80% 的市场租金负担得起，这一比例低于 Shelter 建议的 30%。 总结说：
designated affordable apartments for 80% of market rent,
a level significantly below Shelter's recommended 30%
这两个数字都是真实的。 比较是无稽之谈：80% 的市场租金是一个价格，30% 是单位的份额，句子断言第一个是低于第二个。 使原句有意义的数字，340 个中的 85 个单位，是被丢弃的一个。
停车争议。 消息来源有 41% 的入住率，商会用自己的调查提出了质疑。 摘要说，该会议厅表示“他们调查中使用的容量数据低于41%的占用率”，后者的房间与其自身的位置相反。
对照源检查数字，这两个错误都不会被捕获。 两者都需要阅读句子并询问它声称的内容。
这种失败在研究文献中有一个名字。 梅内斯和同事' 抽象总结中的忠诚工作 将外在幻觉分开，其中一个摘要介绍了源中不存在的东西，与内在的幻觉，将存在的材料重新组合到源不制造的陈述中。 他们在人工注释的摘要中发现，内在的类型更常见，更难自动检测。 这正是上面两个错误的形状，这也是数字检查给出错误置信的原因。
什么被丢弃，有没有模式？
支持索赔而不是索赔的细节，不，没有可靠的模式。
同样的来源，这些完全消失了：1,412 次咨询响应，63% 支持，两个车库' 建设日期，1200 万英镑的维修责任，对 38 家企业的调查发现 71% 的汽车到达，班车 20 分钟频率，430 万磅的基础设施成本和 3 月开始日期。 摘要保留了“基础设施改进的初始成本”，但没有将其作为争论的数字。
在较短的段落中，下降的方式不均匀，违反了任何经验法则：
| 事实 | 一句话 | 短段 | 项目符号 | 广博的 |
|---|---|---|---|---|
| 340 套公寓 | 保存的 | 迷 | 保存的 | 保存的 |
| 租金上涨 18% | 迷 | 迷 | 迷 | 保存的 |
| 移除 900 个空间 | 迷 | 迷 | 保存的 | 迷 |
| 明年春天开始 | 保存的 | 迷 | 保存的 | 保存的 |
较长的总结不是较短的一个超集。“短段”丢失了“一个句子”所保留的公寓计数。 “详细”丢失了“子弹点”保留的停车位。 如果一个特定的数字对你很重要，保留它的设置是不可预测的，唯一可靠的方法是检查。
读者最应该担心的是租金上涨：三年内 18% 是文章中最引人注目的统计数据，四种设置中的三个都将其丢弃。
它可以总结 PDF 或网页吗？
不是直接的。 它需要您粘贴文本，这意味着提取是一个单独的步骤，值得一提。
对于 PDF，请先将文本拉出。 PDF 转文本 在浏览器中进行，并且 转换成本指南 值得你先花一分钟的时间，因为一个 PDF 的列交错了出来，一张表格是一行价值观。 乱码列的摘要是对废话的总结，它将完全流利地阅读。
对于网页，复制文章文本而不是页面。 导航、cookie 横幅、相关文章列表和评论数都变成了输入，模型无法知道它们是家具。 在带有长侧栏的页面上，它们可以超过文章。
对于扫描的文档，根本没有文本可以提取，OCR 是第一位的。 实际上破坏了 OCR 的是什么 有测量的版本，三度倾斜比分辨率更重要。
一般规则：到达盒子的任何东西都会被总结，包括任何偶然发生的事情。
为什么不只读第一段呢？
通常你应该，知道什么时候是很好地使用总结器和反射性地使用它之间的区别。
新闻写作使用倒金字塔，其中第一段承载了整个故事，并按重要性降序添加细节。 对于新闻文章，第一段是阅读该事物的人写的摘要，它是自由和即时的。
总结者赚取时间的地方是不是这样写的材料：
| 来源 | 阅读开幕式 | 概括 |
|---|---|---|
| 新闻报道 | 是的，它已经是一个总结 | 很少值得 |
| 会议记录、成绩单、线程 | 没有可利用的结构 | 是的 |
| 学术论文 | 摘要已经存在 | 仅适用于一个部分 |
| 报告与执行摘要 | 读到那个 | 只有它跳过的部分 |
| 法律或政策文件 | 开场是定义 | 是的，通过检查 |
这个工具适合的常见情况是没有作者写的摘要，也没有有用的订购：电子邮件线程、一组会议记录、一份成绩单、一个长聊天日志。 这些信息通过它们均匀分布，这正是阅读第一段时的信息。
你应该选择哪个设置？
根据您将要做什么摘要，选择范围比四个选项建议的要窄。
| 设置 | 用它来 | 避免当 |
|---|---|---|
| 一句话 | 主题行，给自己的笔记，分类 | 你需要任何细节 |
| 短段 | 快速阅读长文档 | 来源不到200字 |
| 项目符号 | 备注 您稍后将再次扫描 | 源有一个参数而不是一个列表 |
| 广博的 | 一份长长的报告，您仍需采取行动 | 来源很短，或者你需要每个数字 |
子弹点值得注意。 将散文变成子弹会丢弃结缔组织，这就是分歧的地方。 关于有争议的规划决策的文章变成了取消比赛的陈述列表，子弹被解读为已确定的事实。
摘要中应该检查什么？
三件事，按这个顺序，因为前两个很快。
- 每个数字，反对源头。 不知道是否合理，是否存在。 一分钟简短的总结。
- 每个数字附加到什么。 这是错误所在。 阅读包含一个数字的每个句子并询问它提出了什么主张，然后在源中找到该主张。
- 谁说什么。 归因是另一件事。 上面的商会示例是完全自然地读取的位置逆转。
相比之下，您无法检查的是缺少的内容，因为缺失的事实在输出中不会留下任何痕迹。 这需要阅读源，这是您试图避免的事情。 诚实的框架是摘要告诉您文档的内容，以便您可以决定是否阅读它，而不是为了跳过它。
摘要可以安全转发吗？
不能代替它所概括的事物，上面的两个失败就是原因。
两者都流利。 两人都保留了真实的数字。 两者都将在没有阅读来源的人的情况下幸存下来，而经济适用房将在一次会议中被一个无法说出它来自哪里的人重复。
如果您转发摘要，请转发源代码。 如果您从摘要中引用，请返回报价的来源。 如果您正在对摘要做出决定，您决定的数字是首先验证的数字。
这不是反对总结的论据。 这是从任何二手帐户工作的普通做法，机器产生的摘要正是如此。
需要多长时间?
在三十秒到一分半之间，跟踪输出而不是输入。
| 跑 | 来源 | 设置 | 工夫 |
|---|---|---|---|
| 1 | 91 字 | 一句话 | 32 秒 |
| 2 | 91 字 | 广博的 | 73 秒 |
| 3 | 327 字 | 短段 | 66 秒 |
| 4锛屽湪娴欐睙鏉 | 327 字 | 广博的 | 95 秒 |
读长篇比较便宜；写长总结不是。 “详细”的成本大约是“一个句子”在相同输入上的成本的两倍。
输入上也有一个天花板。 很长的文本被缩短为模型可以一口气读取的内容，页面会说，当这种情况发生时，而不是默默地总结第一部分。 对于长篇报告，将其总结为部分，这也使每张支票都保持足够小以正确完成。
为什么它被设置为可预测的？
因为汇总是网站上可重复答案是正确答案的一项工作。
这里的每个 AI 工具都带有一个温度控制模型允许的变化程度。 命名工具运行在 1.0，因为永远不会更改的名称列表是无用的。 释义器位于 0.5。 摘要器为 0.3，是写作工具中最低的。
这就是为什么没有发明数字的原因。 低温使模型紧贴其前面文本的最可能延续，这对于摘要任务意味着其前面的文本。 同样的设置是为什么产量可以是平坦的，有点机械，这是这里的正确交易。
这也意味着重新运行对您没有多大帮助。 如果摘要删除了您需要的数字，则再次运行它通常会再次删除它，而更好的移动是不同的长度设置或较短的输入。
为什么这会在站点自己的服务器上运行？
因为人们总结的文件是他们无法粘贴到公共服务中的文件。
董事会文件、法律信函、事件报告、关于同事的线程、禁运草案、医学摘要。 通常的替代方案将整个文件发送给一家公司，该公司的条款允许保留并可能对其进行培训。
在这里，它会在网站上的一个小模型上进行，除非您选择发送反馈，否则不会存储。 成本在上面的时间和诚实的天花板中可见：一个小模型很好地总结了一页，一百页根本没有。
