Учитель вставляет эссе в детектор и получает "87% AI-генерируемый & quot;. редактор запускает статью фрилансера & #39;s через другую и получает & quot; вероятно, human& quot;. соискателю работы сообщают, что его сопроводительное письмо было помечено. в каждом случае предлагается один номер, чтобы ответить на вопрос о человеке: они это написали? этот номер не может нести вес, и причины хорошо документированы.
Честно измерить можно сам текст Длина предложения, словарный запас, хеджирование и пунктуация - это факты о письме, и это те же факты, которые делают черновик шаблонным для читателя. в этом руководстве объясняется, почему обнаружение авторства не удается, что означает каждый измеримый сигнал, как рассчитываются числа и как использовать их для улучшения черновика, а не для обвинения кого-либо. В примерах используется Проверка письма с искусственным интеллектом, один из Инструменты письма с искусственным интеллектом на Toolz, который сообщает шесть сигналов и намеренно не дает вероятности авторства ИИ.
TL;DR: Ни один инструмент не может достоверно определить, написал ли ИИ текст. OpenAI отозвала свой собственный классификатор в 2023 году из-за низкой точности, и исследования показывают, что детекторы часто помечают неместных английских писателей как ИИ. Чекер может честно измерить написание: вариация длины предложения (взрыв), средняя длина предложения, чрезмерно используемый словарный запас на 1000 слов, хедж-фразы, плотность тире и соединительные открыватели. The Проверка письма с искусственным интеллектом сообщает об этих шести сигналах с доказательствами, стоящими за каждым, запускает на стороне клиента и является бесплатным, без регистрации.
Может ли детектор ИИ сказать, кто написал текст?
Нет. Детектор ИИ - это статистический классификатор, который догадывается об авторстве по поверхностным особенностям текста, и эти предположения ошибочны достаточно часто, поэтому действовать на них небезопасно.
Наиболее четкие доказательства получены от компаний, которые их создали. OpenAI выпустила классификатор текста AI в январе 2023 года и отозвала его в июле 2023 года. Обновление на страница объявления говорит, что классификатор больше не был доступен & quot; из-за низкой скорости точности & quot;. когда организация, которая обучила модель, не может построить надежный детектор для ее вывода, оценка сторонних производителей заслуживает мало доверия.
Неудачи также не случайны. Исследование Стэнфордских исследователей, проведенное в 2023 году Детекторы GPT предвзято относятся к писателям, не являющимся коренными англичанами (Лян и др.), запустили семь широко используемых детекторов над эссе TOEFL, написанными не носителями английского языка. более половины этих написанных человеком эссе были классифицированы как созданные с помощью искусственного интеллекта в среднем, в то время как эссе восьмиклассников США были классифицированы гораздо точнее Механизм прост: люди, пишущие на втором языке, как правило, используют более узкий словарный запас и более регулярную структуру предложений, а регулярность - это именно то, что детекторы читают как машинное.
Еще две проблемы делают оценки хрупкими Легкое редактирование сгенерированного черновика может сдвинуть оценку с & quot;AI& quot; на & quot;human& quot; И тяжелое редактирование человеческого черновика с помощью грамматического программного обеспечения может сдвинуть его в другую сторону. измерение, которое переворачивается при обычном редактировании, не измеряет авторство.
Что может честно измерить пишущая шашка?
Он может измерять свойства текста, которые являются истинными независимо от того, кто его произвел.The Toolz checker сообщает шесть:
| Сигнал | Что он измеряет | Как сообщается | Человекоподобный конец | Формульный конец |
|---|---|---|---|---|
| Вариация продолжительности предложения | Насколько различаются длины предложений (взрыв) | Коэффициент вариации в процентах | 70% и более | 15% или меньше |
| Средняя длина предложения | Средние слова в предложении | честный | 14 или меньше | 30 и более |
| Злоупотребляемая лексика | Модели объемом около 40 слов чрезмерно используются | Считайте и оценивайте за 1000 слов | 0 на 1000 | 20 и более на 1000 |
| Фразы хеджа | Фразы типа & quot; стоит отметить & quot; | счет | 0 | 5 и более |
| Плотность тире | Эм и эн тире | Считайте и оценивайте за 1000 слов | 0 на 1000 | 10 и более на 1000 |
| Соединительные открыватели | Приговоры, начинающиеся Более того, Однако | Доля предложений | 0% | 30% и более |
Каждый сигнал помещается по шкале от 0 до 1 между этими двумя якорями и окрашивается как человеческий (ниже 0,34), смешанный (от 0,34 до 0,67) или шаблонный (выше 0,67). якоря - это пороговые значения редактирования, а не статистические пороговые значения авторства. Они отмечают, когда читатель начинает замечать шаблон.
Каждый сигнал также перечисляет свои доказательства: фактические длины предложений, совпадающие слова, найденные живые изгороди, предложения, открывающиеся связкой. Если число выглядит неправильно, доказательства показывают, почему.
Что такое лопастность и почему это самый сильный сигнал?
Бурность - это то, насколько длина предложения варьируется в зависимости от текста. Человеческое письмо смешивает короткие и длинные предложения. Предложение из трех слов дает точку. Предложение из тридцати слов проходит через квалификацию со своими предложениями. Сгенерированные черновики имеют тенденцию обретать единую среднюю длину, предложение за предложением из пятнадцати-двадцати двух слов.
Шашка сообщает о пышности как о коэффициенте вариации: стандартное отклонение длин предложений, деленное на среднее. Деление на среднее делает фигуру независимой от того, как долго предложения в целом, поэтому текст коротких предложений и текст длинных можно сравнить справедливо.
Вот расчет для четырех предложений длиной 4, 17, 2 и 11 слов:
mean = (4 + 17 + 2 + 11) / 4 = 8.5
squares = 4.5² + 8.5² + 6.5² + 2.5² = 20.25 + 72.25 + 42.25 + 6.25 = 141
variance = 141 / 4 = 35.25
std dev = √35.25 ≈ 5.94
CV = 5.94 / 8.5 ≈ 0.70 → "70% variation"
Текст находится на человеческом конце, 70%. Измените эти длины на 15, 17, 16 и 18, и стандартное отклонение упадет примерно до 1,12 при среднем значении 16,5, что составляет примерно 7%, что является шаблонным концом.
Бурстизм - самый сильный одиночный сигнал, потому что его трудно подделать без переписывания, и его легко исправить, когда вы это сделаете: разделите одно длинное предложение, объедините два коротких и добавьте очень короткое предложение, в котором точка заслуживает акцента.
Как учитываются словарный запас, хеджирование, тире и новинки?
Злоупотребляемая лексика. Шашка подсчитывает совпадения целых слов из списка примерно из 40 слов, которые появляются в сгенерированном тексте гораздо чаще, чем в человеческом письме, в том числе leverage, robust, crucial, comprehensive, holistic, meticulous, transformative а navigating. Количество преобразуется в норму на 1000 слов, поэтому короткие и длинные тексты сравниваются.
Фразы хеджа. Подсчитываются десять шаблонов, включая " важно отметить ", " стоит отметить ", " следует отметить ", "когда дело доходит до & quot;, & quot; в конце дня & quot;, & quot;необходимо сказать & quot; и & quot;в сегодняшнем дне и # 39;s быстро меняющийся мир & quot;.
Плотность тире. Каждый em dash и en dash подсчитывается и преобразуется в скорость на 1000 слов Люди, печатающие на клавиатуре, редко производят символ, модели производят его постоянно.
Соединительные открыватели. Шашка считает предложения, которые начинаются с Более того, Кроме того, Кроме того, Примечательно, Важно, Следовательно или Однако, как долю всех предложений.
Средняя длина предложения. Среднее количество слов в предложении. Около 15-20 слов читаются комфортно; после 25 читатель начинает работать.
Предложения разделяются после периода, вопросительного знака или восклицательного знака, за которым следует пробел, а слова представляют собой серии букв и апострофов. Сокращения, такие как & quot; например & quot; поэтому можно разделить предложение раньше, что немного меняет цифры длины. Список доказательств показывает длины, чтобы вы могли его обнаружить.
Работающий пример с каждым числом
Вставьте этот короткий текст:
The report is ready. It covers three regions and explains why sales in the north fell by a fifth last spring. Read it. Moreover, it is important to note that the landscape is changing.
Шашка сообщает 34 слова и 4 предложения, с этими сигналами
| Сигнал | стоимость | приговор |
|---|---|---|
| Вариация продолжительности предложения | вариация 70% (длины 4, 17, 2, 11) | Человекоподобный |
| Средняя длина предложения | 8,5 слов | Человекоподобный |
| Злоупотребляемая лексика | 1 экземпляр (29,4 на 1000 слов): пейзаж | Формулярный |
| Фразы хеджа | 1 найдено: & quot; важно отметить & quot; | Человекоподобный |
| Плотность тире | 0 тире (0,0 на 1000 слов) | Человекоподобный |
| Соединительные открыватели | 1 из 4 предложений | Формулярный |
Из этого вытекают два урока Во-первых, ставки на очень короткие тексты сильно качаются: одно слово из 34 - это показатель 29,4 на 1000, зашкаливает. вставьте не менее нескольких сотен слов, прежде чем читать много в словарный запас и скорость тире. во-вторых, сигналы указывают на определенное предложение. Последний несет открывалку, хедж и указанное в списке слово, и переписывает его в & quot; Рынок меняется.& quot; очищает все три.
Общая метка для этого текста & quot;Reads естественно & quot;, потому что среднее значение шести оценок оказывается чуть ниже смешанного порога. этот пограничный результат является хорошей иллюстрацией того, почему общая метка представляет собой сводку сигналов, а не оценку.
Как следует использовать шашку для письма, а как - нет?
Используйте его на своих черновиках, чтобы найти, какие абзацы читать как шаблонные, и узнать, как выглядят шаблоны. Используйте его при редактировании внесенной работы, как указатель на то, где легкое редактирование поможет.
Не используйте его, чтобы решить, обманул ли студент, использовал ли фрилансер модель или заявитель написал свое собственное письмо. на странице это написано в поле предупреждения над результатами, и причина должна повторить: ни один детектор не может установить авторство, ложные срабатывания сильнее всего падают на авторов второго языка, а обвинение, построенное на партитуре, может нанести реальный вред тому, кто не сделал ничего плохого. Если авторство действительно имеет значение, поговорите с автором, посмотрите на черновики и историю ревизий или попросите их объяснить свои рассуждения.
Также нет оценки, чтобы стремиться к. Если вариации низкие, варьируйте ваши предложения. если хеджирование высокое, срежьте хеджи. оба улучшают написание, кто бы его ни написал.
Как вы исправляете то, что находит шашка?
Каждый сигнал имеет прямую фиксацию.
| Нахождение | Исправить |
|---|---|
| Вариация с низкой длиной предложения | Разделить одно длинное предложение; объединить два коротких; добавить очень короткое предложение для выделения |
| Высокая средняя длина предложения | Разбить предложения на & quot;and & quot;, & quot;which & quot; и & quot;because & quot; где предложения стоят отдельно |
| Высокая скорость словарного запаса | Поменяйте каждое перечисленное слово на простое: используйте, сильное, ключевое, полное |
| Фразы хеджа | Удалить фразу; предложение означает то же самое |
| Высокая частота тире | Замените тире точками, запятыми или скобками, в зависимости от того, что пожелает предложение |
| Соединительные открыватели | Удалить открыватель; порядок предложений уже показывает связь |
Некоторые из них могут применяться автоматически.The AI Text Humanizer удаляет живые изгороди и открыватели, меняет местами излишне использованные слова и заменяет тире, и перечисляет каждое изменение, чтобы вы могли отказаться от тех, которые не подходят. Он не меняет длину предложения, поэтому пышность по-прежнему является ручным редактированием. практический цикл: проверить, очеловечить, редактировать ритм предложения вручную, затем проверить еще раз.
Если вы хотите узнать, насколько изменились ваши изменения, вставьте "до" и "после" в a проверка текстовых различий. Для целей по длине на конкретной платформе руководство по подсчет слов и время чтения рассказывает о том, как рассчитывается количество слов и почему инструменты расходятся во мнениях.
Проверка шаблона против детектора искусственного интеллекта и показателя читаемости
Эти три инструмента отвечают на разные вопросы и часто путаются.
| Тип инструмента | Вопрос, на который он отвечает | выходной | Надежный для |
|---|---|---|---|
| Детектор ИИ | Модель это написала? | Вероятность или вердикт | Ничего существенного; точность слишком низка |
| Шашка шаблона | Какие шаблонные привычки есть в этом тексте? | Измеренные сигналы с доказательствами | Редактирование и самообзор |
| Оценка читаемости (Флеш и тому подобное) | Насколько это тяжело читать? | Уровень оценки или оценка легкости | Сопоставление текста аудитории |
Формула читаемости и шаблонная шашка перекрываются по длине предложения, но смотрят на разные вещи за ее пределами. Оценка Флеша подсчитывает слоги на слово; шаблонная шашка подсчитывает конкретные слова и конструкции. Используемые вместе, они говорят вам, трудно ли прочитать черновик и читается ли он как шаблонный.
Загружается или сохраняется текст?
Нет. каждое измерение выполняется в JavaScript в вашем браузере. текст не передается, не регистрируется и не сохраняется, и страница работает в автономном режиме после загрузки. когда текстовое поле теряет фокус, страница записывает событие использования, содержащее только количество слов, а не текст.
Это имеет значение для точных документов, которые люди больше всего хотят проверить: неопубликованные черновики, студенческая работа, рукописи и результаты клиентов. Списки слов и пороговые значения фиксируются на странице, поэтому один и тот же текст всегда дает одни и те же числа, что делает результаты воспроизводимыми, если два редактора сравнивают заметки.
Чтобы проверить черновик сейчас, вставьте его в средство проверки шаблонов записи, прочитайте доказательства под каждым сигналом и исправьте два или три, которые имеют наибольшее значение.
