老师将一篇论文粘贴到检测器中,得到"87% AI 生成的"一位编辑通过另一篇文章运行自由职业者'的文章,得到"可能是人类"一位求职者被告知他们的求职信被标记了。在每种情况下,都会要求一个数字回答一个关于一个人的问题:他们写的是这个吗?这个数字无法承载重量,原因有据可查。
诚实衡量的是文本本身,句子长度、词汇、对冲和标点符号是关于写作的事实,它们是让草稿给读者带来公式化的事实。本指南解释了为什么作者身份检测失败、每个可测量信号意味着什么、数字是如何计算的以及如何使用它们来改进草稿而不是指责某人的例子。 AI写作检查器的,其中之一 AI编写工具 toolz上,它报告了六个信号,并故意不给出ai作者的概率。
TL;博士: 没有任何工具能够可靠地判断 AI 是否编写了文本。OpenAI 在 2023 年因准确性低而撤回了自己的分类器,研究表明探测器经常将非英语母语作者标记为 AI。检查器可以诚实地测量的是写作:句子长度变化(突发性)、平均句子长度、每 1,000 个单词过度使用的词汇量、对冲短语、em 破折号密度和连接词开头。 AI写作检查器 报告这六个信号,每个信号后面都有证据,运行客户端,并且免费,无需注册。
AI检测器能告诉谁写了一篇文字吗?
号人工智能探测器是一种统计分类器,它从文本的表面特征猜测作者身份,而这些猜测往往是错误的,以至于对它们采取行动是不安全的。
最明确的证据来自于构建它们的公司 OpenAI 于 2023 年 1 月发布了 AI 文本分类器,并于 2023 年 7 月撤回更新 其公告页面 说分类器不再可用"由于其低准确率"当训练模型的组织无法为其输出构建可靠的检测器时,第三方分数应该没有多少信心。
失败也不是随机的。斯坦福大学研究人员 2023 年的一项研究, GPT探测器对非英语母语作家有偏见 (Liang et al。),运行了七个广泛使用的探测器,超过托福非英语母语人士撰写的论文,其中一半以上的人类撰写的论文平均被归类为AI生成的,而美国八年级学生的论文分类要准确得多,其机制很简单:人们用第二语言写作往往使用更窄的词汇和更规则的句子结构,而规律性正是探测器读作机器一样的东西。
2个问题又让分数变得脆弱,对生成的草稿进行轻度编辑可以将分数从"ai"移动到"human",而对人类草稿进行大量编辑,用语法软件可以反过来移动,在普通编辑下翻转的测量不是测量作者身份。
写作检查员可以诚实地衡量什么?
Toolz 检查器报告六: 无论是谁制作的, 它都可以测量文本的属性为真
| 信号 | 它衡量什么 | 是如何报告的 | 人类般的结局 | 公式化结束 |
|---|---|---|---|---|
| 句子长度变化 | 句子长度相差多少(突发性) | 变异系数,以百分比表示 | 70%或更多 | 15%或更少 |
| 平均句子长度 | 每句均指单词 | 词 | 14或更少 | 30个或更多 |
| 词汇过度使用 | 40字左右 模型过度使用 | 每 1,000 个单词的计数和评分 | 0每千 | 每 1,000 人中有 20 人或更多 |
| 对冲短语 | "之类的短语,值得注意的是" | 算 | 0 | 5个或更多 |
| Em 破折号密度 | Em 和 en 破折号 | 每 1,000 个单词的计数和评分 | 0每千 | 每 1,000 人中有 10 人或更多 |
| 连接开口器 | 句子开始 此外,此外,然而 | 句子的份额 | 0%锛屽悓姣斿? | 30%或更多 |
0到1的尺度上放置在这两个锚点之间,并着色为类人(0.34以下),混合(0.34到0.67)或公式化(0.67以上)锚点是编辑阈值,而不是作者身份的统计截止值。它们标记读者开始注意到图案的位置。
Every signal 还列出了它的证据:实际的句子长度,匹配的单词,找到的对冲,用连接词打开的句子,如果一个数字看起来错误,证据就说明了原因。
什么是爆发性,为什么它是最强的信号?
Burstiness 是在文本中句子长度相差多少,人类的写作混合了短句和长句,一个三字句子落地一个点,一个三十字的句子通过一个资格及其从句,生成的草稿往往会沉淀成一个统一的中长,十五到二十二个单词的句子。
Checker将突发性报告为变异系数:句子长度的标准差除以平均值,除以平均值使数字与句子整体长度无关,因此可以公平地比较短句的文本和长句的文本。
4、17、2、11字的四个句子, 这里算出:
mean = (4 + 17 + 2 + 11) / 4 = 8.5
squares = 4.5² + 8.5² + 6.5² + 2.5² = 20.25 + 72.25 + 42.25 + 6.25 = 141
variance = 141 / 4 = 35.25
std dev = √35.25 ≈ 5.94
CV = 5.94 / 8.5 ≈ 0.70 → "70% variation"
70%的文本位于类似人类的一端。将那些长度更改为15,17,16和18并且标准差下降到平均值16.5上的约1.12,大约7%的变化,这是公式化的结束。
Burstiness是最强的单一信号,因为如果不重写,很难伪造,而且当你这样做时很容易修复:拆分一个长句子,合并两个短句子,并在一个点值得强调的地方添加一个非常短的句子。
词汇、对冲、破折号和开场白是如何计算的?
词汇过度使用。 该检查器从大约 40 个单词的列表中计算整个单词匹配,这些单词在生成的文本中比在人类写作中出现的频率要高得多,包括 leverage、 robust、 crucial、 comprehensive、 holistic、 meticulous、 transformative 並 navigating。计数转换为每1000个单词的比率,因此短文本和长文本比较。
对冲短语。 10种模式计算在内,包括"注意"很重要,"值得注意","应该注意","当涉及到"时,"在一天结束时","不用说"和"在今天's快节奏的世界"。
Em 破折号密度。 Em dash和en dash每一次都计数,转换成每1000个单词的速率,键盘上打字的人很少产生字符;模型不断产生。
连接式开孔器。 检查器将以"此外,值得注意的是,重要的是,因此或然而"开头的句子计数为所有句子的份额。
平均句子长度。 每句平均字数。大约 15 到 20 个单词读起来很舒服;过去 25 个单词读者开始工作。
期(period)后拆分句子,问号或感叹号后跟空白,单词是字母和撇号的运行,像"例如"这样的缩写可以因此提前拆分一个句子,这会稍微改变长度数字,证据列表显示长度,这样你就可以发现它。
一个每个数字都有一个工作示例
Pa上这短短的文字:
The report is ready. It covers three regions and explains why sales in the north fell by a fifth last spring. Read it. Moreover, it is important to note that the landscape is changing.
检查器报告 34 个单词和 4 个句子,并带有以下信号:
| 信号 | 价值 | 判决 |
|---|---|---|
| 句子长度变化 | 70% 的变化(长度 4、17、2、11) | 像人一样 |
| 平均句子长度 | 8.5个单词 | 像人一样 |
| 词汇过度使用 | 1个实例(每千字29.4个):景观 | 公式化 |
| 对冲短语 | 1 找到: "注意"很重要 | 像人一样 |
| Em 破折号密度 | 0破折号(每千字0.0) | 像人一样 |
| 连接开口器 | 4句话中的1句话 | 公式化 |
2个教训由此而来,一是极短文本的速率剧烈摆动:34中一个单词是每千个29.4个速率,超标,在多读词汇和破折号速率之前至少粘贴几百个单词,二是信号指向一个特定的句子,最后一个带有开场白、对冲和列出的单词,并重写为"市场正在发生变化"清除所有三个。
本文的整体标签是"自然阅读",因为六个分数的平均值正好低于混合阈值。那个边界结果很好地说明了为什么整体标签是信号的总结而不是等级。
您应该如何使用书写检查器,不应该如何使用?
在自己的草稿上使用它,找到哪些段落读作公式化,并了解图案是什么样子。在编辑贡献工作时使用它,作为指向轻度编辑将提供帮助的指针。
不要用它来决定学生是否作弊、自由职业者是否使用模型或申请人是否写了自己的信。页面在结果上方的警告框中如此说道,原因值得重复:没有检测器可以建立作者身份,误报对第二语言作者来说最难,而基于分数的指控可能会对没有做错事的人造成真正的伤害。如果作者身份确实重要,请与作者交谈,查看草稿和修订历史,或要求他们解释他们的推理。
Ye没有分数可以瞄准,变异低,就把句子变一变,对冲高,就剪对冲,都提高写谁写谁的写。
如何修复检查器找到的内容?
每个信号都有直接修复。
| 寻找 | 修复 |
|---|---|
| 低句长变化 | 拆开一个长句子;合并两个短句子;添加一个非常短的句子以强调 |
| 平均句子长度高 | 在 " 和 " 处断句, " 哪一个" 和 " 因为"条款单独存在的地方 |
| 高词汇率 | 将每个列出的单词交换为一个简单的单词:使用、强、关键、完整 |
| 对冲短语 | 删除短语;该句子的意思是同一件事 |
| 高 em 破折率 | 用句号、逗号或括号替换破折号,以句子想要的为准 |
| 连接开口器 | 删除开头;句子的顺序已经显示了连接 |
其中几个可以自动应用。 AI文本人性化器 removes hedges 和 opener, 交换过度使用的单词和替换破折号, 并列出每个更改, 这样你就可以拒绝那些不适合的, 它不改变句子长度, 所以突发性仍然是一个手动编辑, 一个实用的循环是:检查, 人性化, 手动编辑句子节奏, 然后再检查。
如果您想查看编辑更改了多少,请将前后粘贴到 a 中 文本差异检查器、特定平台上的长度目标,指南 数单词和阅读时间 涵盖如何计算单词计数以及工具为何不同意。
图案检查器与人工智能检测器与可读性评分
这三种工具回答不同的问题,并且经常被混淆。
| 工具类型 | 问题它回答了 | 输出 | 可靠的 |
|---|---|---|---|
| AI检测仪 | 模特写这个了吗? | 概率或判决 | 没有什么后果;准确性太低 |
| 图案检查器 | 本文有哪些公式化习惯? | 有证据的测量信号 | 编辑和自我审查 |
| 可读性得分(Flesch 及类似) | 这读起来有多难? | A 等级水平或轻松得分 | 将文本与观众匹配 |
A 可读性公式和一个模式检查器在句子长度上重叠,但看它之外的不同事物,Flesch 评分会计算每个单词的音节;模式检查器会计算特定的单词和结构。它们一起使用,它们会告诉您草稿是否难以阅读以及是否按模板阅读。
文本是上传还是存储?
No。Every测量在浏览器中运行在JavaScript。文本没有传输,记录或存储,页面一旦加载就离线工作。当文本框失去焦点时,页面记录一个使用事件,其中仅包含字数,永远不会包含文本。
对于人们最想检查的确切文档来说,这一点很重要:未发表的草稿、学生作品、手稿和客户交付成果。单词列表和阈值在页面中是固定的,因此相同的文本总是产生相同的数字,这使得如果两位编辑比较笔记,结果可以重现。
现在要检查草稿, 将其粘贴到书写模式检查器中、读取每个信号下的证据,并修复最重要的两三个。
