Ich schrieb eine mit Zahlen gefüllte Ratsplanungsgeschichte, führte sie durch den Zusammenfassen und überprüfte dann jede Zahl in der Ausgabe gegen die Quelle. Das Schreiben der Quelle selbst ist der Punkt: Es bedeutet, dass ich genau weiß, was jeder Satz behauptet, was die einzige Möglichkeit ist, eine Zusammenfassung zu sagen, die nur kürzer ist als eine, die auch wahr ist. Keiner wurde erfunden. Neun Zahlen kamen durch und alle neun erscheinen im Original, was ein besseres Ergebnis ist als die üblichen Warnungen über KI, die Sie erwarten würden. Die Zusammenfassung war immer noch falsch, an zwei Stellen, und beide Fehler hielten die Ziffern intakt. Eine von ihnen lautet "bezahlte Wohnungen für 80% der Marktmiete, ein Niveau, das deutlich unter dem von 30% empfohlenen Schutz für die Unterkunft liegt", was ein Mietniveau mit einem Anteil von Einheiten vergleicht und zu einem Satz kommt, der in keiner Rechnung zutreffen kann.
tl; dr: Die Sache, die in einer Zusammenfassung zu überprüfen ist, ist nicht, ob die Zahlen real sind, sondern ob sie noch mit dem richtigen verbunden sind. Gemessen an einer Quelle mit 327 Wörtern: Null erfundene Zahlen, korrekte Komprimierung bei 0,28 und 0,59 des Originals und zwei Beziehungen, wobei jede die Zahlen beibehält und das, was sie bezog, verloren. Auch wissenswert, bevor Sie einfügen: Die Längeneinstellungen sind absolut, so dass bei einer kurzen Eingabe "Detailliert" eine Zusammenfassung 2,2-mal länger als der zusammengefasste Text erstellt wurde. der Zusammenfassende Läuft auf dem eigenen Server der Site.
Was machen die vier Längeneinstellungen?
Sie nennen eine Ausgabegröße und treffen sie. Die Einhaltung von Formaten ist hier das zuverlässigste.
Gemessen an derselben 91-Wörter-Passage:
| Einstellung | gefragt | produziert | Verhältnis zur Quelle |
|---|---|---|---|
| Ein Satz | ein einzelner Satz | 1 Satz, 47 Wörter | 0,52 |
| Kurzer Absatz | 3 bis 4 Sätze | 4 Sätze, 82 Wörter | 0,90 |
| Stichpunkte | 5 bis 7 Kugeln | 7 Kugeln, 95 Wörter | 1.04 |
| ausführlich | 2 bis 3 Absätze | 3 Absätze, 200 Wörter | 2.20 |
Jeder von diesen passt zur Anweisung. Ein Satz ist ein Satz. Bullet Points gab sieben, innerhalb der fünf bis sieben Band. Detailliert gab drei Absätze.
Schauen Sie sich die letzte Spalte an.
Warum war die detaillierte Zusammenfassung länger als der Artikel?
Weil die Längen absolute Ziele sind, nicht die Proportionen der Eingabe.
"Detailliert" fragt nach zwei bis drei Absätzen, die jeden Hauptpunkt abdecken, und es werden zwei bis drei Absätze erzeugt, ob Sie ihm neunzig Wörter oder neuntausend geben. In einer kurzen Passage, die bedeutet, dass das Modell eine Verbindungsprosa um die Fakten herum schreibt, um die Länge zu erreichen, ist der Ausgang länger als das, was es zusammengefasst hat.
Die gleiche Passage mit 327 Wörtern verhält sich wie erwartet:
| Quellenlänge | Kurzer Absatz | ausführlich |
|---|---|---|
| 91 Wörter | 0,90 der Quelle | 2.20 der Quelle |
| 327 Wörter | 0,28 der Quelle | 0,59 der Quelle |
Die Gewinnschwelle liegt also ungefähr zwei bis dreihundert Wörter. Wählen Sie darunter einen Satz aus oder fassen Sie überhaupt nicht zusammen, da eine Passage mit 91 Wörtern bereits die Länge einer Zusammenfassung ist.
Die Inflation ist auch in der Prosa sichtbar. Die detaillierte Version der Kurzpassage eröffnet "Die Entscheidung des Stadtrats in Bezug auf Parkhäuser in der Innenstadt stellt ein bedeutendes Stadtentwicklungsprojekt dar, das sich auf die Erschwinglichkeit von Wohnraum und das Wirtschaftswachstum ankurbelt", und das heißt, der Rat habe ein Programm genehmigt.
Erfindet es Fakten?
In diesem Test nein, und das ist es wert, genauso deutlich wie die Fehler zu sagen.
Ich habe jede Zahl in der 327-Wort-Quelle und jede Zahl in der detaillierten Zusammenfassung gezählt:
numbers in source 19
numbers in summary 9
in summary, not in source: none
Neun von neunzehn Figuren überlebten und keine neue Gestalt erschien. Das Modell läuft bei einer Temperatur von 0,3, dem niedrigsten Band, das von einem Schreibwerkzeug auf der Website verwendet wird. Dies ist die Einstellung, die diese Art von Ausgabe konservativ macht.
Dies ist die Überschrift, bei der die meisten Berichterstattung über die KI-Zusammenfassung aufhören würde, und es ist die weniger nützliche Hälfte des Bildes.
Was geht dann schief?
Die Beziehungen zwischen den Zahlen, die als Ziffern überleben und als Bedeutung brechen.
Der bezahlbare Wohnanspruch. Laut der Quelle werden 85 der 340 Wohnungen bei 80 Prozent der Marktmiete erschwinglich sein, und dieser Anteil liegt unter den von 30 Prozent empfohlenen Unterkünften. Die Zusammenfassung sagt:
designated affordable apartments for 80% of market rent,
a level significantly below Shelter's recommended 30%
Beide Zahlen sind real. Der Vergleich ist Unsinn: 80 Prozent der Marktmiete ist ein Preis, 30 Prozent sind Anteile an Anteilen, und der Satz behauptet, dass der erste unter dem zweiten liegt. Die Zahl, die den ursprünglichen Satz sinnvoll machte, 85 von 340 Einheiten, wurde fallen gelassen.
Der Parkstreit. Die Quelle hat den Rat unter Berufung auf 41 Prozent der Belegung und die Handelskammer mit einer eigenen Umfrage angewiesen. Die Zusammenfassung besagt, dass die in ihrer Erhebung verwendeten Kapazitätszahlen niedriger waren als die Auslastungsrate von 41%, wobei die Kammer das Gegenteil ihrer eigenen Position argumentiert.
Kein Fehler würde durch Überprüfen der Zahlen mit der Quelle abgefangen. Beide müssen den Satz lesen und fragen, was er behauptet.
Dieses Scheitern hat einen Namen in der Forschungsliteratur. Maynez und Kollegen & # 39; Arbeit an Treue in abstrakter Zusammenfassung Trennt die extrinsische Halluzination, bei der eine Zusammenfassung etwas von der Quelle abgibt, von der intrinsischen Halluzination, wo sie Material, das vorhanden ist, in eine Aussage umkombiniert, die die Quelle nicht abgibt. Ihr Befund bei menschenannotierten Zusammenfassungen ist, dass die intrinsische Art sowohl häufiger als auch schwerer zu erkennen ist. Das ist genau die Form beider Fehler oben, und es ist der Grund, warum eine Zahlenprüfung falsche Vertrauensstellung gibt.
Was wird fallen gelassen und gibt es ein Muster?
Detail, das einen Anspruch unterstützt, anstatt die Behauptung zu sein, und nein, es gibt kein zuverlässiges Muster.
Aus derselben Quelle verschwanden diese vollständig: 1.412 Antworten der Konsultation, 63 Prozent Unterstützung, die beiden Werkstätten, eine Reparaturpflicht von 12 Millionen Pfund, eine Umfrage von 38 Unternehmen, die 71 Prozent mit dem Auto ankamen, das Shuttle-20-Minuten-Frequenz, die 4,3-Millionen-Pfund-Infrastrukturkosten und das Startdatum im März. Die Zusammenfassung hielt "die anfänglichen Kosten für Infrastrukturverbesserungen" ohne die Zahl, die es zu einem Argument machte.
Auf der kürzeren Passage war das Fallen ungleichmäßig, was jede Faustregel besiegt:
| Tatsache | Ein Satz | Kurzer Absatz | Stichpunkte | ausführlich |
|---|---|---|---|---|
| 340 Wohnungen | gepflegt | verloren | gepflegt | gepflegt |
| Mieten um 18% | verloren | verloren | verloren | gepflegt |
| 900 Plätze entfernt | verloren | verloren | gepflegt | verloren |
| beginnt im nächsten Frühjahr | gepflegt | verloren | gepflegt | gepflegt |
Eine längere Zusammenfassung ist keine Obermenge einer kürzeren. "Kurzabsatz" hat die Wohnungszahl verloren, die "ein Satz" gehalten wird. "Detailliert" hat die Parkfigur verloren, die "Geschosspunkte" gehalten haben. Wenn eine bestimmte Zahl für Sie von Bedeutung ist, ist die Einstellung, die sie beibehält, nicht vorhersehbar, und der einzig zuverlässige Ansatz ist die Überprüfung.
Diejenige, die einen Leser am meisten beunruhigen sollte, ist die Mieterhöhung: 18 Prozent in drei Jahren sind die am meisten zitierfähige Statistik im Stück, und drei der vier Einstellungen haben sie fallen gelassen.
Kann es ein PDF oder eine Webseite zusammenfassen?
Nicht direkt. Es wird Text eingefügt, der bedeutet, dass die Extraktion ein separater Schritt ist und einer, die es sich lohnt, absichtlich zu tun.
Ziehen Sie für ein PDF zuerst den Text heraus. pdf zu text im Browser und Der Leitfaden für die Umrechnung Es ist eine Minute Ihrer Zeit wert, denn eine PDF-Spalte kommt verschachtelt und eine Tabelle als Wertezeile heraus. Eine Zusammenfassung der verschlüsselten Spalten ist eine Zusammenfassung von Unsinn und wird perfekt fließend gelesen.
Kopieren Sie für eine Webseite den Artikeltext anstelle der Seite. Navigation, Cookie-Banner, Artikellisten und Kommentare werden alle eingegeben, und das Modell kann nicht wissen, dass es sich um Möbel handelt. Auf einer Seite mit einer langen Seitenleiste können sie den Artikel überwiegen.
Für ein gescanntes Dokument ist überhaupt kein Text zu extrahieren, und OCR steht an erster Stelle. Was tatsächlich OCR bricht Hat die gemessene Version davon, bei der eine drei Grad Neigung mehr als die Auflösung zählt.
Die allgemeine Regel: Was auch immer die Box erreicht, wird zusammengefasst, einschließlich alles, was zufällig passiert ist.
Warum nicht einfach den ersten Absatz lesen?
Oft sollten Sie und wissen, wann der Unterschied zwischen der Verwendung eines Zusammenfassers und der reflexiven Verwendung ist.
Das Schreiben von Nachrichten verwendet die umgekehrte Pyramide, in der der erste Absatz die ganze Geschichte und alles enthält, nachdem sie Details in absteigender Reihenfolge von Bedeutung hinzugefügt haben. Für einen Nachrichtenartikel ist der erste Absatz eine Zusammenfassung, die von einer Person geschrieben wurde, die das Ding gelesen hat, und es ist kostenlos und sofort.
Wo ein Zusammenfassender seine Minute verdient, ist das Material, das nicht so geschrieben ist:
| Quelle | Lesen Sie die Eröffnung | resümieren |
|---|---|---|
| Artikel | Ja, es ist bereits eine Zusammenfassung | es lohnt sich selten |
| Minuten, Transkripte, Fäden | Keine Struktur zu nutzen | ja |
| Arbeitszeitschrift | Abstract existiert bereits | Nur für einen Abschnitt |
| Bericht mit einer Zusammenfassung | Lesen Sie das | Nur die Abschnitte, die es überspringt |
| Rechts- oder Richtliniendokument | Eröffnung ist Definitionen | Ja, mit Überprüfung |
Der häufigste Fall, für den dieses Tool geeignet ist, ohne vom Autor geschriebene Zusammenfassung und ohne hilfreiche Bestellung: Ein E-Mail-Thread, eine Reihe von Besprechungsnotizen, ein Transkript, ein langes Chat-Protokoll. Diese haben die Informationen gleichmäßig verteilt, was genau beim Lesen des ersten Absatzes nichts sagt.
Welche Einstellung sollten Sie wählen?
Nach dem, was Sie mit der Zusammenfassung tun, und die Auswahl ist enger als vier Optionen.
| Einstellung | verwende es für | Vermeiden Sie, |
|---|---|---|
| Ein Satz | Eine Betreffzeile, eine Notiz für sich selbst, Triage | Sie benötigen überhaupt Details |
| Kurzer Absatz | Ein langes Dokument schnell lesen | Die Quelle ist unter 200 Wörter |
| Stichpunkte | Notizen, die Sie später erneut scannen | Die Quelle hat eher ein Argument als eine Liste |
| ausführlich | Ein langer Bericht, auf den Sie noch reagieren müssen | Die Quelle ist kurz, oder Sie benötigen jede Figur |
Aufzählungspunkte verdienen eine Einschränkung. Das Verwandeln von Prosa in Kugeln verwirft das Bindegewebe, in dem die Meinungsverschiedenheit lebt. Ein Artikel über eine umstrittene Planungsentscheidung wird zu einer Liste von Aussagen, in denen der Wettbewerb entfernt und die Aufzählungszeichen als feste Fakten gelesen werden.
Was sollten Sie in einer Zusammenfassung überprüfen?
Drei Dinge in dieser Reihenfolge, weil die ersten beiden schnell sind.
- Jede Zahl, gegen die Quelle. Nicht ob es plausibel ist, ob es da ist. Eine Minute für eine kurze Zusammenfassung.
- an welche Nummer ist jede Zahl angehängt. Hier waren die Fehler. Lesen Sie jeden Satz mit einer Figur und fragen Sie, welchen Anspruch er herstellt, und finden Sie dann diese Behauptung in der Quelle.
- Wer hat was gesagt. Die Zuordnung ist das andere, was umkehrt. Das obige Beispiel der Handelskammer ist eine Positionsumkehr, die ganz natürlich gelesen wird.
Was man im Vergleich nicht überprüfen kann, ist das, was fehlt, da eine fehlende Tatsache in der Ausgabe keine Spur hinterlässt. Das erfordert ein Lesen der Quelle, was Sie versuchen wollten. Die ehrliche Gestaltung ist, dass eine Zusammenfassung Ihnen sagt, worum es in einem Dokument geht, damit Sie entscheiden können, ob Sie es lesen möchten, und nicht, damit Sie es überspringen können.
Ist eine Zusammenfassung sicher zu weiterleiten?
Nicht als Ersatz für das, was es zusammenfasst, und die beiden oben genannten Fehler sind der Grund.
Beide waren fließend. Beide hielten echte Zahlen. Beide würden einen Überfliegen von jemandem überleben, der die Quelle nicht gelesen hatte, und der bezahlbare Wohnraum würde in einem Treffen von jemandem wiederholt, der dann nicht sagen konnte, woher es kam.
Wenn Sie eine Zusammenfassung weiterleiten, leiten Sie die Quelle damit weiter. Wenn Sie aus einer Zusammenfassung zitieren, gehen Sie zurück zur Quelle für das Angebot. Wenn Sie eine Zusammenfassung treffen, müssen Sie zuerst die Zahl überprüfen, für die Sie sich entscheiden.
Dies ist kein Argument gegen eine Zusammenfassung. Es ist üblich, von einem beliebigen Gebrauchtkonto aus zu arbeiten, und eine Zusammenfassung, die von einer Maschine erstellt wird, ist genau das.
Wie lange dauert es?
Zwischen dreißig Sekunden und anderthalb Minuten, die Ausgabe anstelle der Eingabe.
| leiten | Quelle | Einstellung | Zeit |
|---|---|---|---|
| 1 | 91 Wörter | Ein Satz | 32 s |
| 2 | 91 Wörter | ausführlich | 73 s |
| 3 | 327 Wörter | Kurzer Absatz | 66 s |
| 4 | 327 Wörter | ausführlich | 95 s |
Eine lange Quelle zu lesen ist vergleichsweise billig, das Schreiben einer langen Zusammenfassung ist nicht. "Detailliert" kostet ungefähr das Doppelte, was "ein Satz" bei demselben Eingang kostet.
Auch am Eingang ist eine Decke vorhanden. Sehr langer Text wird auf das verkürzt, was das Modell in einem Zug lesen kann, und auf der Seite heißt es, wenn dies geschieht, anstatt den ersten Teil still zu fassen. Fassen Sie es für einen langen Bericht in Abschnitten zusammen, der auch jeden Scheck klein genug hält, um richtig zu arbeiten.
Warum soll es vorhersehbar sein?
Denn zusammenfassend ist der einzige Job auf der Website, bei dem eine wiederholbare Antwort die richtige Antwort ist.
Jedes KI-Tool trägt hier eine Temperatur, die steuert, wie viel Variation das Modell zulässig ist. Die Namenstools laufen bei 1.0, da eine Liste von Namen, die sich nie ändert, nutzlos ist. Der Paraphraser sitzt bei 0,5. Der Zusammenfassende Wert ist bei 0,3, der niedrigsten der Schreibwerkzeuge.
Deshalb wurden keine Zahlen erfunden. Niedrigste Temperatur lässt das Modell nahe an der wahrscheinlichsten Fortsetzung des vor ihm liegenden Textes bleiben, was für eine Zusammenfassungsaufgabe den Text davor bedeutet. Die gleiche Einstellung ist der Grund, warum die Leistung flach und ein wenig mechanisch sein kann, was hier der richtige Handel ist.
Es bedeutet auch, dass ein erneutes Laufen nicht viel hilft. Wenn eine Zusammenfassung eine Figur, die Sie benötigen, durch eine erneute Ausführung fallen lässt, wird sie normalerweise wieder gelöscht, und die bessere Bewegung ist eine andere Längeneinstellung oder eine kürzere Eingabe.
Warum läuft dies auf dem eigenen Server der Website?
Weil die Dokumente zusammenfassen, die Menschen zusammenfassen, die sie nicht in einen öffentlichen Dienst einfügen können.
Board Papers, ein juristischer Brief, ein Vorfallbericht, ein Thread über einen Kollegen, ein Entwurf unter Embargo, eine medizinische Zusammenfassung. Die übliche Alternative sendet das gesamte Dokument an ein Unternehmen, dessen Bedingungen es beibehalten und möglicherweise geschult werden.
Hier geht es zu einem kleinen Modell auf der Website der eigenen Hardware und wird nur gespeichert, wenn Sie sich für ein Feedback entscheiden. Die Kosten sind in den obigen Zeiten und in der ehrlichen Obergrenze sichtbar: Ein kleines Modell fasst eine Seite gut zusammen und hundert Seiten überhaupt nicht.
