Ik schreef een raadsverhaal vol met cijfers, nam het door de samenvatting en controleerde vervolgens elk nummer in de output tegen de bron. Zelf de bron schrijven is het punt: het betekent dat ik precies weet wat elke zin beweert, wat de enige manier is om een samenvatting te vertellen die alleen maar korter is van een die ook waar is. Er is niemand uitgevonden. Negen nummers kwamen door en alle negen verschijnen in het origineel, wat een beter resultaat is dan de gebruikelijke waarschuwingen over AI die je zou doen verwachten. De samenvatting was nog steeds verkeerd, op twee plaatsen, en beide fouten hielden de cijfers intact. Een van hen leest "aangewezen betaalbare appartementen voor 80% van de markthuur, een niveau dat aanzienlijk onder Shelter wordt aanbevolen 30%", dat een huurniveau vergelijkt met een deel van de eenheden en tot een zin komt die in geen enkele rekenkunde waar kan zijn.
tl;dr: Het ding om in een samenvatting te controleren, is niet of de cijfers echt zijn, het is of ze nog steeds aan het juiste gehecht zijn. Gemeten op een bron van 327 woorden: nul uitgevonden getallen, correcte compressie op 0,28 en 0,59 van het origineel, en twee relaties verbroken, elk met behoud van de cijfers en verliezen wat ze verwezen. Ook de moeite waard om te weten voordat je plakt: de lengte-instellingen zijn absoluut, dus op een korte invoer "gedetailleerd" heeft een samenvatting 2,2 keer langer geproduceerd dan de tekst die het samenvatte. de samenvattender draait op de eigen server van de site.
Wat doen de vier lengte-instellingen?
Ze noemen een uitvoergrootte en ze raken het. Formaat naleving is hier het meest betrouwbare.
Gemeten op dezelfde passage van 91 woorden:
| Instelling | gevraagd | vervaardigt | Verhouding tot bron |
|---|---|---|---|
| Een zin | Een enkele zin | 1 zin, 47 woorden | 0,52 |
| korte alinea | 3 tot 4 zinnen | 4 zinnen, 82 woorden | 0,90 |
| opsommingstekens | 5 tot 7 kogels | 7 kogels, 95 woorden | 1.04 |
| breedvoerig | 2 tot 3 alinea's | 3 alinea's, 200 woorden | 2.20 |
Elk van deze komt overeen met de instructie. Eén zin is één zin. Bulletpoints gaven zeven, binnen de vijf tot zeven band. Gedetailleerd gaf drie alinea's.
Kijk naar de laatste kolom.
Waarom was de gedetailleerde samenvatting langer dan het artikel?
Omdat de lengtes absolute doelen zijn, geen proporties van de input.
"Gedetailleerd" vraagt om twee tot drie alinea's die elk hoofdpunt beslaan, en het levert twee tot drie alinea's op, of je het nu negentig of negenduizend geeft. Op een korte passage betekent dit dat het model connectief proza rond de feiten schrijft om de lengte te bereiken, en de output is langer dan wat het samenvatte.
Dezelfde passage bij 327 woorden gedraagt zich als je zou verwachten:
| Bronlengte | korte alinea | breedvoerig |
|---|---|---|
| 91 woorden | 0,90 bron | 2.20 van Bron |
| 327 woorden | 0,28 bron | 0.59 bron |
Dus de break-even zit ergens rond de twee tot driehonderd woorden. Kies daaronder één zin, of vat helemaal niet samen, want een passage van 91 woorden is al de lengte van een samenvatting.
De inflatie is ook zichtbaar in het proza. De gedetailleerde versie van de korte passage opent "de beslissing van de gemeenteraad met betrekking tot parkeergarages in de binnenstad" vertegenwoordigt een belangrijk stadsontwikkelingsproject dat gericht is op het aanpakken van de betaalbaarheid van huisvesting en het stimuleren van economische groei, wat drieëntwintig woorden zijn om te zeggen dat de gemeente een regeling heeft goedgekeurd.
Verzint het feiten?
In deze test, nee, en dat is het waard om net zo duidelijk te zeggen als de mislukkingen.
Ik telde elk nummer in de bron van 327 woorden en elk nummer in de gedetailleerde samenvatting ervan:
numbers in source 19
numbers in summary 9
in summary, not in source: none
Negen van de negentien figuren overleefden en er verscheen geen nieuwe figuur. Het model draait op een temperatuur van 0,3, de laagste band die wordt gebruikt door een schrijfgereedschap op de site, wat de instelling is die dit soort output conservatief maakt.
Dat is de kop die de meeste berichtgeving over AI-samenvatting zou stoppen, en het is de minder bruikbare helft van de foto.
Wat gaat er dan mis?
De relaties tussen de getallen, die overleven als cijfers en breken als betekenis.
de betaalbare woningclaim. De bron zegt dat 85 van de 340 appartementen betaalbaar zullen zijn met 80 procent van de markthuur, en dat dit aandeel onder de 30 procent schuilplaats aanbeveelt. De samenvatting zegt:
designated affordable apartments for 80% of market rent,
a level significantly below Shelter's recommended 30%
Beide cijfers zijn echt. De vergelijking is onzin: 80 procent van de markthuur is een prijs, 30 procent is een deel van de eenheden en de zin beweert dat de eerste onder de tweede ligt. Het cijfer dat de oorspronkelijke zin logisch maakte, 85 van de 340 eenheden, is degene die werd geschrapt.
Het parkeergeschil. De bron laat de gemeente citeren door 41 procent bezetting en de Kamer van Koophandel betwist het met een eigen onderzoek. De samenvatting zegt dat de kamer verklaarde: "De capaciteitscijfers die in hun onderzoek werden gebruikt, waren lager dan de bezettingsgraad van 41%", waarbij de kamer het tegenovergestelde van zijn eigen positie bepleit.
Geen van beide fouten zou worden opgevangen door de nummers tegen de bron te controleren. Beide vereisen het lezen van de zin en vragen wat het beweert.
Deze mislukking heeft een naam in de onderzoeksliteratuur. Maynez en collega's' Werk aan trouw in abstracte samenvatting Scheidt extrinsieke hallucinatie, waar een samenvatting iets afwezigs in de bron introduceert, van intrinsieke hallucinatie, waar het materiaal dat aanwezig is opnieuw samenvoegt tot een verklaring die de bron niet doet. Hun bevinding, op door mensen geannoteerde samenvattingen, is dat de intrinsieke soort zowel vaker als moeilijker te detecteren is. Dat is precies de vorm van beide bovenstaande fouten, en het is de reden waarom een getallencontrole een vals vertrouwen geeft.
Wat valt er weg en is er een patroon?
Detail dat een claim ondersteunt in plaats van de claim te zijn, en nee, er is geen betrouwbaar patroon.
Uit dezelfde bron verdwenen deze volledig: 1.412 consultatiereacties, 63 procent steun, de twee garages, bouwdatums, een reparatieaansprakelijkheid van 12 miljoen pond, een onderzoek onder 38 bedrijven die 71 procent vonden, arriveerden met de auto, de shuttle-frequentie van 20 minuten, de infrastructuurkosten van 4,3 miljoen pond en de startdatum van maart. De samenvatting hield "de initiële kosten van infrastructuurverbeteringen" bewaard zonder het cijfer dat het tot een argument maakte.
Op de kortere passage was het vallen ongelijk op een manier die elke vuistregel verslaat:
| werkelijkheid | Een zin | korte alinea | opsommingstekens | breedvoerig |
|---|---|---|---|---|
| 340 appartementen | gevangen | zoek | gevangen | gevangen |
| Huurt 18% | zoek | zoek | zoek | gevangen |
| 900 ruimtes verwijderd | zoek | zoek | gevangen | zoek |
| Begint volgend voorjaar | gevangen | zoek | gevangen | gevangen |
Een langere samenvatting is geen superset van een kortere. "korte paragraaf" Verloren de telling van het appartement die "één zin" bewaarde. "Gedetailleerd" verloren het parkeercijfer dat "kogelpunten" bewaard. Als een specifiek nummer voor u van belang is, is de instelling die het behoudt niet voorspelbaar, en de enige betrouwbare benadering is om te controleren.
Degene die een lezer het meest zorgen zou moeten maken, is de huurverhoging: 18 procent in drie jaar is de meest citeerbare statistiek in het stuk, en drie van de vier instellingen lieten het vallen.
Kan het een pdf of een webpagina samenvatten?
niet direct. Er is tekst voor nodig die je plakt, wat betekent dat de extractie een aparte stap is en een stap die het opzettelijk waard is om te doen.
Voor een pdf, haal de tekst eerst uit. pdf naar tekst doet het in de browser en De gids voor wat die conversie kost is eerst een minuut van je tijd waard, want de kolommen van een PDF komen uit elkaar en een tabel komt uit als een regel van waarden. Een samenvatting van gecodeerde kolommen is een samenvatting van onzin, en het zal perfect vloeiend lezen.
Kopieer voor een webpagina de artikeltekst in plaats van de pagina. Navigatie, cookiebanners, lijsten met gerelateerde artikelen en het aantal opmerkingen worden allemaal input en het model heeft geen manier om te weten dat het meubilair is. Op een pagina met een lange zijbalk kunnen ze opwegen tegen het artikel.
Voor een gescand document is er helemaal geen tekst om uit te halen, en OCR komt eerst. Wat breekt eigenlijk OCR heeft de gemeten versie daarvan, waarbij een helling van drie graden belangrijker is dan resolutie.
De algemene regel: wat de doos ook bereikt, is wat wordt samengevat, inclusief alles wat per ongeluk langskwam.
Waarom niet gewoon de eerste alinea lezen?
Vaak zou je dat moeten doen, en weten wanneer is het verschil tussen het goed gebruiken van een samenvattende en reflexmatige gebruik.
Nieuws schrijven maakt gebruik van de omgekeerde piramide, waar de eerste alinea het hele verhaal en alles draagt nadat het detail in aflopende volgorde van belangrijkheid toevoegt. Voor een nieuwsartikel is de eerste alinea een samenvatting geschreven door een persoon die het ding leest, en het is gratis en onmiddellijk.
Waar een samenvatting zijn minuut verdient, is het materiaal dat niet zo is geschreven:
| Bron | Lees de opening | samenvatten |
|---|---|---|
| nieuwsartikel | Ja, het is al een samenvatting | Zelden de moeite waard |
| Minuten, transcripties, threads | Geen structuur om te exploiteren | ja |
| academisch artikel | Samenvatting bestaat al | Alleen voor een sectie |
| Rapporteren met een samenvatting | Lees dat | Alleen de secties die het overslaat |
| Juridisch of beleidsdocument | Openen is definities | Ja, met checken |
Het algemene geval dat deze tool past, is degene zonder door de auteur geschreven samenvatting en geen nuttige bestelling: een e-mailthread, een reeks vergadernotities, een transcriptie, een lang chatlogboek. Die hebben de informatie gelijkmatig door hen verspreid, wat precies is wanneer het lezen van de eerste alinea je niets vertelt.
Welke instelling moet je kiezen?
Door wat je gaat doen met de samenvatting, en de keuze is smaller dan vier opties suggereren.
| Instelling | Gebruik het voor | Vermijd wanneer |
|---|---|---|
| Een zin | een onderwerpregel, een opmerking voor jezelf, triage | je hebt helemaal geen details nodig |
| korte alinea | Snel een lang document lezen | De bron is minder dan 200 woorden |
| opsommingstekens | notities die u later opnieuw zult scannen | de bron heeft een argument in plaats van een lijst |
| breedvoerig | een lang rapport waar je nog steeds naar moet handelen | de bron is kort, of je hebt elk figuur nodig |
Bulletpoints verdienen een waarschuwing. Door proza in kogels te veranderen, wordt het bindweefsel weggegooid, waar onenigheid leeft. Een stuk over een betwiste planningsbeslissing wordt een lijst met verklaringen waarbij de wedstrijd is verwijderd, en de kogels luiden als vaste feiten.
Wat moet je in een samenvatting controleren?
Drie dingen, in deze volgorde, omdat de eerste twee snel zijn.
- Elk nummer, tegen de bron. Niet of het aannemelijk is, of het er wel is. Een minuut voor een korte samenvatting.
- waaraan elk nummer is gekoppeld. Hier zaten de fouten. Lees elke zin met een figuur en vraag welke bewering het maakt, en zoek die bewering dan in de bron.
- Wie zei wat. Attributie is het andere dat inverteert. Het voorbeeld van de Kamer van Koophandel hierboven is een positieomkering die volledig op natuurlijke wijze leest.
Wat je niet kunt controleren, is wat ontbreekt, aangezien een afwezig feit geen spoor achterlaat in de output. Dat moet de bron lezen, wat je probeerde te vermijden. De eerlijke inlijsting is dat een samenvatting u vertelt waar een document over gaat, zodat u kunt beslissen of u het wilt lezen, niet zodat u het kunt overslaan.
Is een samenvatting veilig om door te sturen?
Niet als vervanging voor het ding dat het samenvat, en de twee mislukkingen hierboven zijn de reden.
Beiden waren vloeiend. Beiden hielden echte cijfers. Beiden zouden een skim overleven door iemand die de bron niet had gelezen, en de betaalbare huisvesting zou in een vergadering worden herhaald door iemand die toen niet kon zeggen waar het vandaan kwam.
Als u een samenvatting doorstuurt, stuurt u de bron mee. Als u een samenvatting citeert, ga dan terug naar de bron voor de offerte. Als u een beslissing neemt over een samenvatting, is het nummer dat u beslist als eerste het nummer dat u moet verifiëren.
Dit is geen argument tegen samenvatten. Het is de gewone praktijk om vanuit elk tweedehands account te werken, en een samenvatting die door een machine is geproduceerd, is precies dat.
Hoe lang gaat het duren?
tussen dertig seconden en anderhalve minuut, waarbij de uitgang wordt gevolgd in plaats van de ingang.
| melk schiften | Bron | Instelling | keer |
|---|---|---|---|
| 1 | 91 woorden | Een zin | 32 s |
| 2 | 91 woorden | breedvoerig | 73 s |
| 3 | 327 woorden | korte alinea | 66 s |
| 4 | 327 woorden | breedvoerig | 95 s |
Het lezen van een lange bron is relatief goedkoop; het schrijven van een lange samenvatting is dat niet. "Gedetailleerd" kost ongeveer twee keer wat "één zin" kost op dezelfde input.
Er is ook een plafond op de input. Zeer lange tekst wordt afgekort tot wat het model in één keer kan lezen, en de pagina zegt dat wanneer dat gebeurt in plaats van het eerste deel geruisloos samen te vatten. Voor een lang rapport, vat het samen in secties, die ook elke cheque klein genoeg houden om het goed te doen.
Waarom is het voorspelbaar?
Omdat samenvatten de enige baan op de site is waar een herhaalbaar antwoord het juiste antwoord is.
Elke AI-tool hier draagt een temperatuur die bepaalt hoeveel variatie het model is toegestaan. De naamgevingstools draaien op 1.0, omdat een lijst met namen die nooit verandert, nutteloos is. De parafraser staat op 0,5. De samenvattende som staat op 0,3, de laagste van de schrijfgereedschappen.
Daarom zijn er geen cijfers uitgevonden. Door de lage temperatuur blijft het model dicht bij de meest waarschijnlijke voortzetting van de tekst ervoor, wat voor een samenvatting taak de tekst ervoor betekent. Dezelfde instelling is de reden waarom de output plat en een beetje mechanisch kan zijn, wat hier de juiste handel is.
Het betekent ook dat opnieuw rennen niet veel zal helpen. Als een samenvatting een figuur laat vallen die je nodig hebt, laat het opnieuw draaien het meestal weer vallen, en de betere beweging is een andere lengte-instelling of een kortere invoer.
Waarom draait dit op de eigen server van de site?
Omdat de documenten die mensen samenvatten, degenen zijn die ze niet in een openbare dienst kunnen plakken.
Board Papers, een juridische brief, een incidentrapport, een draad over een collega, een concept onder embargo, een medische samenvatting. Het gebruikelijke alternatief stuurt het hele document naar een bedrijf waarvan de voorwaarden het mogelijk maken om het te behouden en mogelijk te trainen.
Hier gaat het naar een klein model op de eigen hardware van de site en wordt het niet opgeslagen tenzij u ervoor kiest om feedback te sturen. De kosten zijn zichtbaar in de timings hierboven, en in het eerlijke plafond: een klein model vat een pagina goed samen en honderd pagina's helemaal niet.
