Я написал историю совета по планированию, набитую цифрами, пробежал ее через обобщающий файл, а затем проверил все числа в выводе на источник. Написание источника сама по себе — это означает, что я точно знаю, что утверждает каждое предложение, и это единственный способ сказать резюме, которое просто короче от того, что также верно. Ни одного не придумали. Пришло девять номеров, и все девять отображаются в оригинале, что является лучшим результатом, чем обычные предупреждения о том, что ИИ придумывает вещи, которые заставят вас ожидать. Резюме все еще было неверным в двух местах, и обе ошибки сохранили цифры. Одна из них читает "Отмеченные доступные квартиры на 80% рыночной арендной платы, что значительно ниже рекомендованного приюта 30%, что сравнивает уровень арендной платы с долей квартир и приходит к предложению, которое не может быть верным ни в одной арифметике.
TL;DR: В резюме не в том, являются ли цифры реальными, а в том, привязаны ли они к нужному. Измеряется на источнике из 327 слов: ноль придуманных чисел, правильное сжатие на 0,28 и 0,59 оригинала, и два разрыва отношений, каждая из которых сохраняет цифры и теряет то, о чем они упоминали. Также стоит знать, прежде чем вставлять: настройки длины абсолютные, поэтому на коротком вводе "Детализированное» выдало резюме в 2,2 раза длиннее, чем подводимый к ней текст. выше суммирующий Запускается на собственном сервере.
Что делают четыре настройки длины?
Они называют размер вывода и попадают в него. Соответствие формату здесь — самое надежное.
Измеряется в том же отрывке из 91 слова:
| Настройка | просил | произведенный | отношение к источнику |
|---|---|---|---|
| одно предложение | одно предложение | 1 предложение, 47 слов | 0,52 |
| короткий абза | от 3 до 4 предложений | 4 предложения, 82 слова | 0,90 |
| маркеры | от 5 до 7 пуль | 7 пуль, 95 слов | 1.04 |
| детальный | 2-3 абзаца | 3 абзаца, 200 слов | 2.20 |
Каждый из них соответствует инструкции. Одно предложение - одно предложение. Пулевые очки дали семь, внутри диапазона от пяти до семи. Подробно дали три абзаца.
Посмотрите на последнюю колонку.
Почему подробное резюме было длиннее статьи?
Поскольку длины являются абсолютными целями, а не пропорциями входа.
«Подробно» просит два-три абзаца, охватывающие каждый основной пункт, и он производит два-три абзаца, дали ли вы ему девяносто тысяч слов или девять тысяч. На коротком отрывке, что означает, что модель пишет соединительные прозы вокруг фактов, чтобы достичь длины, а результат длиннее, чем то, что она суммировала.
Тот же отрывок в 327 словах ведет себя так, как и следовало ожидать:
| длина источника | короткий абза | детальный |
|---|---|---|
| 91 слово | 0,90 источника | 2.20 источника |
| 327 слов | 0,28 источника | 0,59 источника |
Так что безубыток находится где-то где-то около двух-трехсот слов. Ниже выбирайте одно предложение или вообще не резюмируйте, потому что отрывок из 91 слова уже длина резюме.
В прозе также видна инфляция. Подробная версия короткого отрывка открывает "решение городского совета относительно гаражей в центре города, представляет собой значительный проект городского развития, направленный на решение проблемы доступности жилья и стимулирование экономического роста", который состоит из двадцати трех слов, чтобы сказать, что совет утвердил схему.
Он придумывает факты?
В этом тесте нет, и это стоит так же четко, как и провалы.
Я подсчитал все числа в источнике из 327 слов и каждое число в подробном изложении:
numbers in source 19
numbers in summary 9
in summary, not in source: none
Выжили девять из девятнадцати фигур, и ни одна новая фигура не появилась. Модель работает при температуре 0,3, самой низкой полосой, используемой любым инструментом письма на сайте, что делает этот вид выхода консервативным.
Это заголовок, на котором останавливается большинство освещения ИИ, и это менее полезная половина картины.
Тогда что пойдет не так?
Отношения между числами, которые сохраняются в виде цифр и ломаются как смысл.
Претензия по доступному жилью. Источник говорит, что 85 из 340 квартир будут доступны по цене 80 процентов от рыночной арендной платы, и что эта доля ниже 30%, рекомендованных приютом. В кратце:
designated affordable apartments for 80% of market rent,
a level significantly below Shelter's recommended 30%
Оба числа реальны. Сравнение — ерунда: 80 процентов рыночной ренты — это цена, 30 процентов — это доля единиц, а в предложении утверждается, что первое — ниже второго. Цифра, которая сделала исходное предложение, имеет смысл, 85 единиц из 340 — это та, которая была сброшена.
Спор о парковке. Источник имеет Совет, который сослался на 41 процент заселения, а Торговая палата оспаривает его собственным опросом. В резюме говорится, что Палата заявила: «Части мощности, использованные в их обследовании, были ниже, чем 41% заполняемости», что заставляет Палата утверждать, что противоположная своему положению.
Ни одна ошибка не будет улавливается, если сверится цифры на источнике. Оба требуют прочтения предложения и спрашивать, что оно утверждает.
Эта неудача имеет название в исследовательской литературе. Майнес и коллеги' Работа по верности в абстрактном суммировании Отделяет внешнюю галлюцинацию, где резюме вводит что-то отсутствующее из источника, от внутренней галлюцинации, где он рекомбинирует материал, который присутствует в утверждение, которое источник не делает. Их вывод, в аннотированных человеком резюме, заключается в том, что внутренний вид более распространен и труден для обнаружения автоматически. Это точно форма обеих ошибок выше, и это причина, по которой проверка чисел придает ложную уверенность.
Что падает, и есть ли закономерность?
Деталь, которая поддерживает претензию, а не является претензией, и нет, нет надежной модели.
Из того же источника они полностью исчезли: 1412 ответов на консультации, 63% поддержки, два гаража, сроки строительства, 12 миллионов фунтов, 38 предприятий, которые пришли 71% на автомобиле, 20 минутная частота шаттла, 4,3 миллиона фунтов стерлингов инфраструктуры и дата начала марша. Резюме сохранило «первоначальную стоимость улучшения инфраструктуры» без цифры, которая сделала его аргументом.
В более коротком проходе выпадение было неровным, что побеждает любое эмпирическое правило:
| факт | одно предложение | короткий абза | маркеры | детальный |
|---|---|---|---|---|
| 340 квартир | сохраненный | потерянный | сохраненный | сохраненный |
| Арендная плата 18% | потерянный | потерянный | потерянный | сохраненный |
| 900 мест удалены | потерянный | потерянный | сохраненный | потерянный |
| Начинается следующей весной | сохраненный | потерянный | сохраненный | сохраненный |
Более длинное резюме не является надмножеством более короткого. "Подробно" потеряла фигурку, которую "сохранили" пункты "пулю". Если для вас важна конкретная цифра, то настройка, которая сохраняет ее, непредсказуема, и единственный надежный подход — проверить.
Больше всего беспокоит читатель, что это повышение арендной платы: 18 процентов за три года — самая цитируемая статистика в статье, и три из четырех настроек уронили ее.
Можно ли резюмировать PDF или веб-страницу?
Не прямо. Он принимает текст, который вы вставите, что означает, что извлечение — это отдельный шаг, и его стоит сделать сознательно.
Для PDF вытащите текст сначала. PDF в текст делает это в браузере и руководство по тому, что стоит это преобразование Стоит сначала минуты вашего времени, потому что столбцы PDF-39 выходят чередующимися, а таблица выходит в виде строки значений. Резюме зашифрованных столбцов — это краткая сводка ерунды, и она будет читаться совершенно свободно.
Для веб-страницы скопируйте текст статьи, а не страницу. Навигация, баннеры cookie, списки связанных статей и количество комментариев становятся введенными, и модель не может знать, что это мебель. На странице с длинной боковой панелью они могут перевесить статью.
Для отсканированного документа нет текста для извлечения вообще, и OCR стоит на первом месте. Что на самом деле ломает OCR имеет измеренную версию того, где наклон три градуса имеет больше, чем разрешение.
Общее правило: все, что доходит до ящика, — это то, что подводится подведение итогов, включая все, что появилось случайно.
Почему бы просто не прочитать первый абзац?
Часто вы должны, и знать, когда разница между использованием сводного свода и рефлексивным использованием его.
В написании новостей используется перевернутая пирамида, где в первом абзаце есть весь рассказ и все после того, как она добавляет детали в порядке убывания важности. Для новостной статьи первый абзац — это краткое изложение, написанное человеком, который читает вещь, и она бесплатна и мгновенная.
Когда суммирующий заработает свою минуту, это материал, который не написан так:
| Источник | Читать вступление | резюмировать |
|---|---|---|
| новостная статья | Да, это уже сводка | редко стоит |
| Минуты, стенограммы, темы | Нет структуры для эксплуатации | да |
| учебная пье | абстрактный уже существует | Только для раздела |
| Отчет с резюме | Прочитай, что | Только те разделы, которые он пропускает |
| Юридический или политический документ | Открытие - это определения | Да, с проверкой |
Распространенный случай, который подходит для этого инструмента, — это тот, где нет авторского резюме и без полезного заказа: ветка электронной почты, набор заметок о собрании, стенограмма, длинный журнал чата. У них есть информация, распределенная по ним равномерно, что именно при чтении первого абзаца вам ничего не говорит.
Какую настройку выбрать?
По тому, что вы собираетесь делать с резюме, и выбор уже ниже, чем предлагают четыре варианта.
| Настройка | использовать его для | Избегайте, когда |
|---|---|---|
| одно предложение | Строка темы, заметка для себя, сортировка | Вам вообще нужны подробности |
| короткий абза | Быстрое чтение длинного документа | источник менее 200 слов |
| маркеры | Примечания, вы снова сканируете позже | источник имеет аргумент, а не список |
| детальный | длинный отчет, который вы все еще должны действовать | Источник короткий, или вам нужна каждая цифра |
Пулевые очки заслуживают оговорки. Превращение прозы в пули убрасывает соединительную ткань, где и живет разногласие. Статья о оспариваемом решении о планировании становится списком заявлений со снятием конкурса, а пули читаются как устоявшиеся факты.
Что нужно проверить в резюме?
Три вещи в таком порядке, потому что первые две быстрые.
- Каждое число, против источника. Не правдоподобно ли это, есть ли он там. Одна минута для краткого резюме.
- к чему прикреплено каждое число. Вот где ошибки были. Прочитайте каждое предложение, содержащее фигуру, и спросите, какое утверждение она делает, а затем найдите это утверждение в источнике.
- Кто что сказал. Атрибуция — это еще одна вещь, которая инвертирует. Приведенный выше пример торговой палаты представляет собой обратную позицию, которая читается совершенно естественно.
То, что вы не можете проверить по сравнению с этим, это то, чего не хватает, поскольку отсутствующий факт не оставляет следов в выводе. Для этого нужно прочитать источник, которого вы пытались избежать. Честное обрамление заключается в том, что резюме сообщает вам, о чем документ, чтобы вы могли решить, читать ли его, а не так, чтобы вы могли его пропустить.
Можно ли пересылать резюме?
Не заменой того, что он резюмирует, и причины в них приведены выше.
Оба свободно говорили. Оба сохранили реальные цифры. Оба выживут в скользком от кого-то, кто не прочитал источник, и доступное жилье повторилось бы на встрече кем-то, кто тогда не мог сказать, откуда он взялся.
Если вы пересылаете сводку, перешлите с ним источник. Если вы цитируете из сводки, вернитесь к источнику для цитаты. Если вы принимаете решение по резюме, то номер, который вы выбираете, — это то, что нужно проверить в первую очередь.
Это не аргумент против подведения итогов. Это обычная практика для работы с любой подержанной учетной записью, и резюме, созданное машиной, именно так.
Сколько времени это займет?
От тридцати секунд до полутора минут, отслеживая выход, а не вход.
| длина | Источник | Настройка | время |
|---|---|---|---|
| 1 | 91 слово | одно предложение | 32 с |
| 2 | 91 слово | детальный | 73 с |
| 3 | 327 слов | короткий абза | 66 с |
| 4 | 327 слов | детальный | 95 с |
Чтение длинного источника сравнительно дешево, писать длинную резюме — нет. "Детализация" стоит примерно в два раза больше, чем "одно предложение" стоит на одном и том же вкладе.
На входе тоже есть потолок. Очень длинный текст сокращается до того, что модель может читать за один раз, и на странице это написано, когда это происходит, а не молчаливо обобщает первую часть. Для длинного отчета обобщайте его по разделам, что также делает каждую чек достаточно маленькой, чтобы сделать ее правильно.
Почему он ставится предсказуемым?
Потому что подведение итогов — это единственная работа на сайте, где повторяющийся ответ — правильный ответ.
Каждый инструмент ИИ здесь имеет температуру, контролирующую, насколько допустима вариация модели. Инструменты именования работают на 1.0, потому что список имен, которые никогда не меняются, бесполезен. Парафрейзер сидит на 0,5. Суммирование составляет 0,3, что является самым низким из инструментов письма.
Поэтому ни одного номера не придумали. Низкая температура делает модельную палочку близкой к наиболее вероятному продолжению текста перед ней, что для задачи суммирования означает текст перед собой. Тот же самый параметр — почему выход может быть плоским и немного механическим, что здесь является правильной торговлей.
Это также означает, что повторный запуск не поможет. Если сводка отбрасывает необходимую вам фигуру, запуск ее снова обычно падает, а лучшее движение — это настройка другой длины или более короткий ввод.
Почему это работает на собственном сервере сайта?
Поскольку документы, которые люди резюмируют, — это те, которые они не могут вставить в государственную службу.
Документы правления, юридическое письмо, отчет об инциденте, ветка о коллеге, проект по эмбарго, медицинское резюме. Обычная альтернатива отправляет весь документ компании, условия которой позволяют сохранить и, возможно, обучать его.
Здесь он переходит к небольшой модели на собственном оборудовании сайта и не хранится, если вы не решите отправить отзыв. Стоимость видна в приведенных выше таймингах, а в честном потолке: маленькая модель хорошо подводит страницу и сто страниц совсем не страниц.
