J'ai écrit une histoire de planification du conseil remplie de chiffres, je l'ai parcourue dans le résumé, puis j'ai vérifié chaque numéro de la sortie par rapport à la source. Écrire la source moi-même est le point : cela signifie que je sais exactement ce que revendique chaque phrase, ce qui est la seule façon de dire un résumé qui est simplement plus court que celui qui est également vrai. Aucun n'a été inventé. Neuf chiffres sont arrivés et les neuf apparaissent dans l'original, ce qui est un meilleur résultat que les avertissements habituels concernant l'inventaire de l'IA vous amènent à vous attendre. Le résumé était toujours erroné, à deux endroits, et les deux erreurs ont conservé les chiffres intacts. L'un d'eux lit "Appartement désigné abordable pour 80 % des loyers du marché, un niveau nettement inférieur à celui recommandé à 30 %, ce qui compare un niveau de loyer à une proportion d'unités et arrive à une peine qui ne peut être vraie dans aucune arithmétique.
tl;dr : La chose à vérifier dans un résumé n'est pas si les chiffres sont réels, mais s'ils sont toujours attachés à la bonne chose. Mesuré sur une source de 327 mots : zéro nombres inventés, une compression correcte à 0,28 et 0,59 de l'original et deux relations rompues, chacune conservant les chiffres et perdant ce qu'ils faisaient référence. Il est également intéressant de savoir avant de coller : les paramètres de longueur sont absolus, donc sur une courte entrée "détaillée" produit un résumé 2,2 fois plus long que le texte qu'il a résumé. le résumé Fonctionne sur le propre serveur du site.
Que font les quatre paramètres de longueur ?
Ils nomment une taille de sortie et ils l'ont frappé. La conformité au format est la chose la plus fiable ici.
Mesuré sur le même passage de 91 mots :
| Réglage | demandé | produit | Rapport à la source |
|---|---|---|---|
| une phrase | Une seule phrase | 1 phrase, 47 mots | 0.52 |
| court paragraphe | 3 à 4 phrases | 4 phrases, 82 mots | 0.90 |
| puces | 5 à 7 balles | 7 balles, 95 mots | 1.04 |
| détaillé | 2 à 3 paragraphes | 3 paragraphes, 200 mots | 2.20 |
Chacun de ces correspondances correspond à l'instruction. Une phrase est une phrase. Les puces ont donné sept, à l'intérieur de la bande de cinq à sept. Détaillé a donné trois paragraphes.
Regardez la dernière colonne.
Pourquoi le résumé détaillé était-il plus long que l'article ?
Parce que les longueurs sont des cibles absolues, et non des proportions de l'entrée.
"Détaillé" demande deux à trois paragraphes couvrant chaque point principal, et cela produit deux à trois paragraphes, que vous lui donniez quatre-vingt-dix mille mots. Sur un court passage, cela signifie que le modèle écrit une prose connective autour des faits pour atteindre la longueur et que la sortie est plus longue que ce qu'il a résumé.
Le même passage à 327 mots se comporte comme vous vous y attendiez :
| Longueur de la source | court paragraphe | détaillé |
|---|---|---|
| 91 mots | 0,90 de la source | 2.20 de la source |
| 327 mots | 0,28 de la source | 0,59 de la source |
Ainsi, le seuil de rentabilité se situe quelque part autour de deux à trois cents mots. En dessous, choisissez une phrase ou ne résumez pas du tout, car un passage de 91 mots est déjà la longueur d'un résumé.
L'inflation est également visible dans la prose. La version détaillée du court passage ouvre la décision du conseil municipal concernant les parkings du centre-ville, un important projet de développement urbain visant à aborder l'abordabilité du logement et à stimuler la croissance économique, soit vingt-trois mots pour dire que le conseil a approuvé un programme.
Cela invente-t-il des faits ?
Dans ce test, non, et cela vaut la peine d'être énoncé aussi clairement que les échecs.
J'ai compté chaque nombre dans la source de 327 mots et chaque nombre dans le résumé détaillé de celui-ci :
numbers in source 19
numbers in summary 9
in summary, not in source: none
Neuf des dix-neuf personnages ont survécu et pas un nouveau chiffre n'est apparu. Le modèle fonctionne à une température de 0,3, la bande la plus basse utilisée par n'importe quel outil d'écriture sur le site, ce qui rend ce type de sortie prudent.
C'est le titre auquel la couverture la plus importante de l'IA s'arrêterait, et c'est la moitié moins utile de l'image.
Alors qu'est-ce qui ne va pas ?
Les relations entre les nombres, qui survivent sous forme de chiffres et se brisent comme sens.
la demande de logement abordable. La source affirme que 85 des 340 appartements seront abordables à 80 % du loyer du marché et que cette proportion est inférieure aux 30 % recommandés. Le résumé dit :
designated affordable apartments for 80% of market rent,
a level significantly below Shelter's recommended 30%
Les deux chiffres sont réels. La comparaison est absurde : 80 % du loyer du marché est un prix, 30 % est une part d'unités et la phrase affirme que la première est inférieure à la seconde. Le chiffre qui avait la phrase originale avait un sens, 85 unités sur 340, est celui qui a été abandonné.
Le litige de stationnement. La source a le conseil citant 41 % d'occupation et la chambre de commerce qui le conteste avec une enquête qui lui est propre. Le résumé indique que la chambre a indiqué que les chiffres de capacité utilisés dans leur enquête étaient inférieurs au taux d'occupation de 41 %, ce qui a la chambre qui fait valoir le contraire de sa propre position.
Aucune des deux erreurs ne serait interceptée en vérifiant les chiffres par rapport à la source. Les deux exigent de lire la phrase et de demander ce qu'elle prétend.
Cet échec a un nom dans la littérature de recherche. Maynez et ses collègues ' Travail sur la fidélité dans la synthèse abstraite Sépare l'hallucination extrinsèque, où un résumé introduit quelque chose d'absent de la source, de l'hallucination intrinsèque, où il recombine le matériau présent dans une déclaration que la source ne fait pas. Leur découverte, sur les résumés annotés par l'homme, est que le type intrinsèque est à la fois plus courant et plus difficile à détecter automatiquement. C'est exactement la forme des deux erreurs ci-dessus, et c'est la raison pour laquelle une vérification des chiffres donne une fausse confiance.
Qu'est-ce qui est abandonné et y a-t-il un modèle ?
Détails qui soutiennent une réclamation plutôt que d'être la réclamation, et non, il n'y a pas de modèle fiable.
De la même source, ces derniers ont entièrement disparu : 1 412 réponses de consultation, 63 % de soutien, les deux garages, dates de construction, un handicap de 12 millions de livres, une enquête auprès de 38 entreprises qui ont constaté 71 % d'entre elles, la fréquence de 20 minutes de la navette, le coût d'infrastructure de 4,3 millions de livres et la date de début de mars. Le résumé a conservé "le coût initial des améliorations" sans le chiffre qui en a fait un argument.
Sur le passage le plus court, le largage était inégale d'une manière qui va à l'encontre de toute règle empirique :
| réalité | une phrase | court paragraphe | puces | détaillé |
|---|---|---|---|---|
| 340 appartements | entretenu | perdu | entretenu | entretenu |
| Loyers en hausse de 18 % | perdu | perdu | perdu | entretenu |
| 900 espaces supprimés | perdu | perdu | entretenu | perdu |
| Commence le printemps prochain | entretenu | perdu | entretenu | entretenu |
Un résumé plus long n'est pas un sur-ensemble plus court. "Paragraphe court" a perdu le décompte de l'appartement que "une phrase" conservée. "Détaillé" a perdu le chiffre de stationnement que "les points de bulles" ont conservé. Si un nombre spécifique vous importe, le paramètre qui le conserve n'est pas prévisible et la seule approche fiable est de vérifier.
Celui qui devrait le plus inquiéter un lecteur est l'augmentation du loyer : 18 % en trois ans est la statistique la plus cotée dans la pièce, et trois des quatre paramètres l'ont abandonnée.
Peut-il résumer un PDF ou une page Web ?
pas directement. Il faut du texte que vous collez, ce qui signifie que l'extraction est une étape distincte et qui en vaut la peine.
Pour un PDF, retirez le texte en premier. PDF en texte le fait-il dans le navigateur, et Le guide des coûts de conversion Cela vaut d'abord une minute de votre temps, car les colonnes d'un PDF sortent entrelacées et qu'un tableau apparaît comme une ligne de valeurs. Un résumé des colonnes brouillées est un résumé des bêtises, et il se lira parfaitement.
Pour une page Web, copiez le texte de l'article plutôt que la page. La navigation, les bannières de cookies, les listes d'articles connexes et les comptes de commentaires deviennent tous des entrées, et le modèle n'a aucun moyen de savoir qu'il s'agit de meubles. Sur une page avec une longue barre latérale, ils peuvent l'emporter sur l'article.
Pour un document numérisé, il n'y a pas de texte à extraire, et OCR passe en premier. Ce qui casse réellement l'OCR A la version mesurée de cela, où une inclinaison de trois degrés compte plus que la résolution.
La règle générale : tout ce qui atteint la boîte est ce qui est résumé, y compris tout ce qui s'est produit par accident.
Pourquoi ne pas simplement lire le premier paragraphe ?
Souvent, vous devriez le faire et savoir quand est la différence entre bien utiliser un récapitulatif et l'utiliser de manière réflexive.
La rédaction de nouvelles utilise la pyramide inversée, où le premier paragraphe porte toute l'histoire et tout après avoir ajouté des détails dans l'ordre décroissant d'importance. Pour un article de presse, le premier paragraphe est un résumé rédigé par une personne qui lisait la chose, et c'est gratuit et instantané.
Lorsqu'un résumé gagne sa minute, c'est le matériel qui n'est pas écrit de cette façon :
| Source | Lire l'ouverture | récapituler |
|---|---|---|
| article de presse | Oui, c'est déjà un résumé | ça vaut rarement le coup |
| minutes, transcriptions, fils | Aucune structure à exploiter | oui |
| papier académique | Le résumé existe déjà | Uniquement pour une section |
| Rapport avec un résumé | LIRE QUE | Seules les sections qu'il saute |
| Document juridique ou politique | L'ouverture est des définitions | Oui, avec vérification |
Le cas courant que cet outil convient est celui sans résumé écrit par l'auteur et sans commande utile : un fil de discussion, un ensemble de notes de réunion, une transcription, un long journal de discussion. Ceux-ci ont les informations distribuées de manière uniforme à travers eux, ce qui est précisément la lecture du premier paragraphe ne vous dit rien.
Quel paramètre choisir ?
Par ce que vous allez faire avec le résumé, et le choix est plus étroit que quatre options ne le suggèrent.
| Réglage | Utilisez-le pour | Évitez quand |
|---|---|---|
| une phrase | Une ligne d'objet, une note pour vous, triage | Vous avez besoin de détails |
| court paragraphe | Lire rapidement un long document | La source est inférieure à 200 mots |
| puces | Notes que vous numériserez à nouveau plus tard | La source a un argument plutôt qu'une liste |
| détaillé | un long rapport sur lequel vous devez encore agir | La source est courte, ou vous avez besoin de chaque chiffre |
Les puces méritent une mise en garde. Transformer la prose en balles écarte le tissu conjonctif, là où vit le désaccord. Un article sur une décision de planification contestée devient une liste de déclarations avec le concours supprimé et les puces lues comme des faits établis.
Que devez-vous vérifier dans un résumé ?
Trois choses, dans cet ordre, car les deux premières sont rapides.
- Chaque nombre, contre la source. Pas si c'est plausible, qu'il soit là. Une minute pour un bref résumé.
- à quoi chaque numéro est attaché. C'est là que se trouvaient les erreurs. Lisez chaque phrase contenant un chiffre et demandez ce qu'elle fait, puis trouvez cette affirmation dans la source.
- Qui a dit quoi. L'attribution est l'autre chose qui inverse. L'exemple de la Chambre de commerce ci-dessus est un renversement de position qui se lit tout à fait naturellement.
Ce que vous ne pouvez pas vérifier par comparaison est ce qui manque, car un fait absent ne laisse aucune trace dans la sortie. Cela nécessite une lecture de la source, ce que vous essayiez d'éviter. Le cadrage honnête est qu'un résumé vous indique ce qu'un document est afin que vous puissiez décider de le lire, et non pas pour pouvoir le sauter.
Un résumé est-il sûr à transmettre ?
Pas comme un substitut à la chose qu'il résume, et les deux échecs ci-dessus en sont la raison.
Les deux étaient couramment fluides. Les deux gardaient de vrais chiffres. Les deux survivraient à un écrémage de quelqu'un qui n'avait pas lu la source, et celui qui serait abordable serait répété lors d'une réunion par quelqu'un qui ne pouvait alors pas dire d'où elle venait.
Si vous transmettez un résumé, transmettez la source avec. Si vous citez un résumé, retournez à la source pour la citation. Si vous prenez une décision sur un résumé, le nombre que vous décidez est celui à vérifier en premier.
Ce n'est pas un argument contre la synthèse. C'est la pratique courante de travailler à partir de n'importe quel compte d'occasion, et un résumé produit par une machine est exactement cela.
Combien de temps cela prend-il ?
Entre trente secondes et une minute et demie, suivi de la sortie plutôt que de l'entrée.
| se jouer | Source | Réglage | chronométrer |
|---|---|---|---|
| 1 | 91 mots | une phrase | 32 s |
| 2 | 91 mots | détaillé | 73 s |
| 3 | 327 mots | court paragraphe | 66 s |
| 4 | 327 mots | détaillé | 95 s |
La lecture d'une source longue est relativement bon marché, mais pas la rédaction d'un long résumé. "Détaillé" coûte environ deux fois ce que "une phrase" coûte sur le même intrant.
Il y a aussi un plafond sur l'entrée. Le texte très long est raccourci à ce que le modèle peut lire en une seule fois, et la page le dit lorsque cela se produit plutôt que de résumer silencieusement la première partie. Pour un long rapport, résumez-le par sections, ce qui permet également de garder chaque contrôle suffisamment petit pour être fait correctement.
Pourquoi est-il prêt à être prévisible ?
Parce que la synthèse est le seul travail sur le site où une réponse répétable est la bonne réponse.
Chaque outil d'IA contient un contrôle de température de la variation de la variation du modèle. Les outils de dénomination s'exécutent à la version 1.0, car une liste de noms qui ne change jamais est inutile. Le paraphraseur est à 0,5. Le résumé est à 0,3, le plus bas des outils d'écriture.
C'est pourquoi aucun nombre n'a été inventé. La basse température permet au modèle de rester près de la suite la plus probable du texte devant lui, ce qui, pour une tâche de résumé, signifie le texte devant lui. Le même réglage est la raison pour laquelle la sortie peut être plate et un peu mécanique, ce qui est le bon commerce ici.
Cela signifie également que la réexécution n'aidera pas beaucoup. Si un résumé abandonne un chiffre dont vous avez besoin, l'exécuter à nouveau le supprime généralement à nouveau, et le meilleur mouvement est un paramètre de longueur différent ou une entrée plus courte.
Pourquoi cela s'exécute-t-il sur le propre serveur du site ?
Parce que les documents récapitulatifs sont ceux qu'ils ne peuvent pas coller dans un service public.
Les documents du conseil, une lettre juridique, un rapport d'incident, un fil sur un collègue, un projet sous embargo, un résumé médical. L'alternative habituelle envoie le document entier à une entreprise dont les conditions permettent de le conserver et éventuellement de la former.
Ici, il va à un petit modèle sur le propre matériel du site et n'est stocké que si vous choisissez d'envoyer des commentaires. Le coût est visible dans les délais ci-dessus, et dans le plafond honnête : un petit modèle résume bien une page et une centaine de pages pas du tout.
