Ho scritto una storia di pianificazione del consiglio piena di cifre, l'ho passata attraverso il riepilogo e poi ho controllato ogni numero nell'output rispetto alla fonte. Scrivere io stesso la fonte è il punto: significa che so esattamente cosa afferma ogni frase, che è l'unico modo per raccontare un riassunto che è semplicemente più breve da uno che è anche vero. Nessuno è stato inventato. Nove numeri sono arrivati e tutti e nove appaiono nell'originale, il che è un risultato migliore dei soliti avvertimenti sull'IA che ti farebbe aspettare. Il riassunto era ancora sbagliato, in due punti, ed entrambi gli errori hanno mantenuto intatte le cifre. Uno di loro recita "appartamenti a prezzi accessibili designati per l'80% dell'affitto di mercato, un livello significativamente al di sotto del 30%" raccomandato dal rifugio, che confronta un livello di affitto con una percentuale di unità e arriva a una frase che non può essere vera in nessuna aritmetica.
tl; dr: La cosa da controllare in un riassunto non è se i numeri sono reali, è se sono ancora attaccati alla cosa giusta. Misurato su una fonte di 327 parole: zero numeri inventati, compressione corretta a 0,28 e 0,59 dell'originale e due relazioni interrotte, ognuna delle quali mantenendo le cifre e perdendo ciò a cui si riferiva. Vale anche la pena sapere prima di incollare: le impostazioni di lunghezza sono assolute, quindi su un breve input "dettagliato" ha prodotto un riepilogo 2,2 volte più lungo del testo riassunto. la riassunto funziona sul server del sito.
Cosa fanno le quattro impostazioni di lunghezza?
Chiamano una dimensione di output e la colpiscono. La conformità al formato è la cosa più affidabile qui.
Misurato sullo stesso passaggio di 91 parole:
| Impostazione | richiesto | prodotto | Rapporto alla fonte |
|---|---|---|---|
| Una frase | Una sola frase | 1 frase, 47 parole | 0,52 |
| breve paragrafo | Da 3 a 4 frasi | 4 frasi, 82 parole | 0,90 |
| puntine | Da 5 a 7 proiettili | 7 proiettili, 95 parole | 1.04 |
| dettagliato | da 2 a 3 paragrafi | 3 paragrafi, 200 parole | 2.20 |
Ognuno di questi corrisponde all'istruzione. Una frase è una frase. I punti elenco hanno dato sette, all'interno della banda da cinque a sette. dettagliato ha dato tre paragrafi.
Guarda l'ultima colonna.
Perché il riassunto dettagliato era più lungo dell'articolo?
Poiché le lunghezze sono obiettivi assoluti, non proporzioni dell'input.
"Dettagliata" chiede da due a tre paragrafi che coprono ogni punto principale, e produce da due a tre paragrafi, sia che tu gli dia novanta parole o novemila. Su un breve passaggio che significa che il modello scrive una prosa connettiva attorno ai fatti per raggiungere la lunghezza e l'output è più lungo di quello che si riassume.
Lo stesso passaggio a 327 parole si comporta come ti aspetteresti:
| Lunghezza sorgente | breve paragrafo | dettagliato |
|---|---|---|
| 91 parole | 0,90 di fonte | 2.20 di fonte |
| 327 parole | 0,28 di fonte | 0,59 di fonte |
Quindi il pareggio si trova da qualche parte intorno alle due o trecento parole. Sotto, scegli una frase, o non riassumere affatto, perché un passaggio di 91 parole è già la lunghezza di un riassunto.
L'inflazione è visibile anche in prosa. La versione dettagliata del breve passaggio apre "la decisione del consiglio comunale in merito ai parcheggi del centro città rappresenta un significativo progetto di sviluppo urbano volto ad affrontare l'accessibilità degli alloggi e stimolare la crescita economica", che è di ventitré parole per dire che il consiglio ha approvato uno schema.
Inventa fatti?
In questo test, no, e vale la pena affermare chiaramente come i fallimenti.
Ho contato ogni numero nella fonte di 327 parole e ogni numero nel riepilogo dettagliato di esso:
numbers in source 19
numbers in summary 9
in summary, not in source: none
Nove delle diciannove figure sono sopravvissute e non è apparsa una nuova figura. Il modello funziona a una temperatura di 0,3, la banda più bassa utilizzata da qualsiasi strumento di scrittura sul sito, che è l'impostazione che rende questo tipo di output conservativo.
Questo è il titolo che la maggior parte della copertura dell'AI che il riepilogo si fermerebbe, ed è la metà meno utile dell'immagine.
Allora cosa va storto?
Le relazioni tra i numeri, che sopravvivono come cifre e si rompono come significato.
La rivendicazione di alloggi a prezzi accessibili. La fonte afferma che 85 dei 340 appartamenti saranno abbordabili con l'80% dell'affitto di mercato e che questa percentuale è inferiore al 30% di rifugio consigliato. Il riassunto dice:
designated affordable apartments for 80% of market rent,
a level significantly below Shelter's recommended 30%
Entrambi i numeri sono reali. Il confronto è senza senso: l'80 percento dell'affitto di mercato è un prezzo, il 30 percento è una quota di unità e la frase afferma che il primo è inferiore al secondo. La figura che ha dato senso alla frase originale, 85 unità su 340, è quella che è stata eliminata.
la disputa sul parcheggio. La fonte ha il consiglio che cita il 41% di occupazione e la Camera di Commercio che la contesta con un'indagine a sé stante. La sintesi afferma che la Camera ha affermato "i dati sulla capacità utilizzati nella loro indagine erano inferiori al tasso di occupazione del 41%, che ha la camera che sostiene l'opposto della propria posizione.
Nessuno dei due errori verrebbe rilevato controllando i numeri rispetto alla fonte. Entrambi richiedono di leggere la frase e chiedere cosa afferma.
Questo fallimento ha un nome nella letteratura di ricerca. Maynez e colleghi' Lavora sulla fedeltà nella sintesi astrattiva Separa l'allucinazione estrinseca, dove un riassunto introduce qualcosa di assente dalla fonte, dall'allucinazione intrinseca, dove ricombina materiale che è presente in un'affermazione che la fonte non fa. La loro scoperta, sui riepiloghi annotati dall'uomo, è che il tipo intrinseco è sia più comune che più difficile da rilevare automaticamente. Questa è esattamente la forma di entrambi gli errori sopra, ed è il motivo per cui un controllo numerico fornisce falsa confidenza.
Cosa viene caduto e c'è uno schema?
Dettaglio che supporta un'affermazione piuttosto che essere l'affermazione, e no, non esiste un modello affidabile.
Dalla stessa fonte, queste sono scomparse del tutto: 1.412 risposte di consultazione, 63% di supporto, le due date di costruzione dei due garage, una responsabilità di riparazione di 12 milioni di sterline, un sondaggio su 38 aziende che hanno trovato il 71% in auto, la frequenza di 20 minuti della navetta, il costo dell'infrastruttura di 4,3 milioni di sterline e la data di inizio di marzo. Il riassunto ha mantenuto "il costo iniziale dei miglioramenti dell'infrastruttura" senza la cifra che ne ha fatto un argomento.
Sul passaggio più breve la caduta era irregolare in un modo che sconfigge qualsiasi regola pratica:
| fatto | Una frase | breve paragrafo | puntine | dettagliato |
|---|---|---|---|---|
| 340 appartamenti | tenere | perso | tenere | tenere |
| affitta del 18% | perso | perso | perso | tenere |
| 900 spazi rimossi | perso | perso | tenere | perso |
| inizia la prossima primavera | tenere | perso | tenere | tenere |
Un riassunto più lungo non è un superset di uno più breve. "Paragrafo breve" perso il conteggio dell'appartamento che "una frase" è stata mantenuta. "Dettagliato" ha perso la cifra di parcheggio che "Punti proiettili" ha mantenuto. Se un numero specifico è importante per te, l'impostazione che lo conserva non è prevedibile e l'unico approccio affidabile è controllare.
Quello che dovrebbe preoccupare di più un lettore è l'aumento dell'affitto: il 18 percento in tre anni è la singola statistica più citabile nel pezzo e tre delle quattro impostazioni l'hanno abbandonata.
Può riassumere un PDF o una pagina web?
non direttamente. Ci vuole testo che incolla, il che significa che l'estrazione è un passaggio separato e vale la pena farlo deliberatamente.
Per un PDF, estrai prima il testo. PDF in testo lo fa nel browser e La guida a quanto costa quella conversione Vale la pena prima un minuto del tuo tempo, perché le colonne di un PDF escono intercalate e una tabella esce come una linea di valori. Un riassunto delle colonne criptate è un riassunto delle sciocchezze e leggerà perfettamente.
Per una pagina web, copia il testo dell'articolo anziché la pagina. Navigazione, banner per cookie, elenchi di articoli correlati e conteggi di commenti diventano tutti input e il modello non ha modo di sapere che sono mobili. In una pagina con una barra laterale lunga possono superare l'articolo.
Per un documento scansionato non c'è alcun testo da estrarre e OCR viene prima di tutto. Cosa in realtà rompe l'OCR ha la versione misurata di quello, in cui un'inclinazione di tre gradi conta più della risoluzione.
La regola generale: qualunque cosa arrivi alla scatola è ciò che viene riassunto, incluso tutto ciò che è arrivato per caso.
Perché non leggere solo il primo paragrafo?
Spesso dovresti, e sapere quando è la differenza tra l'uso di un riepilogo e l'uso in modo riflessivo.
La scrittura di notizie utilizza la piramide invertita, dove il primo paragrafo porta l'intera storia e tutto dopo averlo aggiunto in ordine decrescente di importanza. Per un articolo di notizie, il primo paragrafo è un riassunto scritto da una persona che legge la cosa, ed è gratuita e istantanea.
Dove un riepilogo guadagna il suo minuto è il materiale che non è scritto in questo modo:
| Fonte | Leggi l'apertura | ricapitolare |
|---|---|---|
| notiziario | Sì, è già un riassunto | raramente ne vale la pena |
| minuti, trascrizioni, thread | Nessuna struttura da sfruttare | certo |
| carta accademica | L'abstract esiste già | Solo per una sezione |
| Segnala con un riepilogo esecutivo | LEGGI QUELLO | Solo le sezioni che salta |
| Documento legale o politico | L'apertura è definizioni | Sì, con controllo |
Il caso comune a cui si adatta questo strumento è quello senza un riepilogo scritto dall'autore e nessun ordine utile: un thread e-mail, un insieme di note di riunione, una trascrizione, un lungo registro della chat. Quelli hanno le informazioni distribuite uniformemente attraverso di loro, che è proprio quando si legge il primo paragrafo non ti dice nulla.
Quale impostazione dovresti scegliere?
In base a ciò che hai intenzione di fare con il riepilogo e la scelta è più stretta di quanto suggeriscano quattro opzioni.
| Impostazione | Usalo per | Evita quando |
|---|---|---|
| Una frase | una riga dell'oggetto, una nota per te, triage | hai bisogno di qualsiasi dettaglio |
| breve paragrafo | Leggere rapidamente un lungo documento | La fonte è inferiore a 200 parole |
| puntine | note che eseguirai la scansione di nuovo più tardi | La fonte ha un argomento piuttosto che un elenco |
| dettagliato | un lungo rapporto su cui devi ancora agire | La fonte è breve o hai bisogno di ogni cifra |
Punti di punta merita un avvertimento. Trasformare la prosa in proiettili scarta il tessuto connettivo, che è dove vive il disaccordo. Un pezzo su una decisione di pianificazione contestata diventa un elenco di dichiarazioni con il concorso rimosso e i proiettili letti come fatti risolti.
Cosa dovresti controllare in un riassunto?
Tre cose, in questo ordine, perché le prime due sono veloci.
- Ogni numero, contro la fonte. Non se sia plausibile, se c'è. Un minuto per un breve riassunto.
- a cosa è allegato ogni numero. Ecco dove si trovavano gli errori. Leggi ogni frase contenente una figura e chiedi quale affermazione fa, quindi trova quell'affermazione nella fonte.
- Chi ha detto cosa. L'attribuzione è l'altra cosa che inverte. L'esempio della Camera di Commercio sopra è un'inversione di posizione che si legge in modo del tutto naturale.
Ciò che non puoi controllare in confronto è ciò che manca, poiché un fatto assente non lascia traccia nell'output. Ciò ha bisogno di una lettura della fonte, che è la cosa che stavi cercando di evitare. L'inquadratura onesta è che un riassunto ti dice di cosa tratta un documento in modo da poter decidere se leggerlo, non in modo da poterlo saltare.
Un riassunto è sicuro da inoltrare?
Non come sostituto della cosa che riassume, e i due fallimenti di cui sopra sono la ragione.
Entrambi parlavano fluentemente. Entrambi hanno mantenuto cifre reali. Entrambi sarebbero sopravvissuti a una scrematura da parte di qualcuno che non aveva letto la fonte, e l'alloggio a prezzi accessibili verrebbe ripetuto in una riunione da qualcuno che poi non poteva dire da dove provenisse.
Se stai inoltrando un riepilogo, inoltra la fonte con esso. Se stai citando un riepilogo, torna alla fonte per la citazione. Se stai prendendo una decisione su un riepilogo, il numero che stai decidendo è quello da verificare per primo.
Questo non è un argomento contro il riassunto. È la pratica ordinaria per lavorare da qualsiasi conto di seconda mano e un riepilogo prodotto da una macchina è esattamente questo.
Quanto tempo ci vuole?
Tra trenta secondi e un minuto e mezzo, tracciando l'uscita anziché l'input.
| far scorrere | Fonte | Impostazione | orario |
|---|---|---|---|
| 1 | 91 parole | Una frase | 32 s |
| 2 | 91 parole | dettagliato | 73 s |
| 3 | 327 parole | breve paragrafo | 66 s |
| 4 | 327 parole | dettagliato | 95 s |
Leggere una lunga fonte è relativamente economico; scrivere un riassunto lungo non lo è. "Dettagliato" costa circa il doppio di quanto "una frase" costa sullo stesso input.
C'è anche un tetto all'ingresso. Il testo molto lungo viene abbreviato in ciò che il modello può leggere in una volta sola, e la pagina lo dice quando ciò accade piuttosto che riassumere silenziosamente la prima parte. Per un lungo rapporto, riassumelo in sezioni, che mantiene anche ogni controllo abbastanza piccolo da poterlo fare correttamente.
Perché è impostato per essere prevedibile?
Perché riassumere è l'unico lavoro sul sito in cui una risposta ripetibile è la risposta giusta.
Ogni strumento di IA qui trasporta un controllo della temperatura che varia la variazione del modello. Gli strumenti di denominazione vengono eseguiti a 1.0, perché un elenco di nomi che non cambia mai è inutile. Il parafrasatore si trova a 0,5. Il riepilogo è a 0,3, il più basso degli strumenti di scrittura.
Ecco perché non sono stati inventati numeri. La bassa temperatura fa rimanere il modello vicino alla probabilita' continua del testo di fronte, che per un'attività di riepilogo indica il testo che si trova di fronte. La stessa impostazione è il motivo per cui l'output può essere piatto e un po' meccanico, che è il commercio giusto qui.
Significa anche che il re-running non aiuterà molto. Se un riepilogo rilascia una cifra di cui hai bisogno, eseguirla di nuovo di solito la rilascia di nuovo e la mossa migliore è un'impostazione di lunghezza diversa o un input più breve.
Perché viene eseguito sul server del sito?
Perché i documenti che le persone riassumono sono quelli che non possono incollare in un servizio pubblico.
Documenti del consiglio, una lettera legale, un rapporto sull'incidente, un thread su un collega, una bozza in embargo, un riepilogo medico. L'alternativa abituale invia l'intero documento a un'azienda i cui termini ne consentono il mantenimento e possibilmente la formazione.
Qui va a un piccolo modello sull'hardware del sito e non viene archiviato a meno che tu non scelga di inviare feedback. Il costo è visibile nei tempi sopra, e nel soffitto onesto: un piccolo modello riassume bene una pagina e cento pagine per niente.
