Escribí una historia de planificación del consejo llena de cifras, la pasé por el resumen y luego verifiqué cada número en la salida con la fuente. Escribir la fuente yo mismo es el punto: significa que sé exactamente lo que dice cada oración, que es la única forma de decir un resumen que es simplemente más corto de uno que también es cierto. No se inventó uno. Nueve números llegaron y los nueve aparecen en el original, lo cual es un mejor resultado que las advertencias habituales sobre la inventiva de IA que lo llevarían a esperar. El resumen seguía siendo erróneo, en dos lugares, y ambos errores mantuvieron intactos los dígitos. Uno de ellos lee "apartamentos asequibles designados para el 80% del alquiler del mercado, un nivel muy por debajo del 30% recomendado de Shelter, que compara un nivel de alquiler con una proporción de unidades y llega a una sentencia que no puede ser cierta en ninguna aritmética.
TL;Dr: Lo que hay que verificar en un resumen no es si los números son reales, sino si todavía están conectados a lo correcto. Medido en una fuente de 327 palabras: cero inventados números, compresión correcta a 0,28 y 0,59 del original, y dos relaciones rotas, cada una manteniendo las cifras y perdiendo lo que se referían. También vale la pena saberlo antes de pegar: la configuración de longitud es absoluta, por lo que en una breve entrada "Detalle" produjo un resumen 2,2 veces más largo que el texto que resumió. los resumen Se ejecuta en el propio servidor del sitio.
¿Qué hacen los cuatro ajustes de longitud?
Nombran un tamaño de salida y lo golpean. El cumplimiento de formato es lo más confiable aquí.
Medido en el mismo pasaje de 91 palabras:
| Configuración | solicitado | producido | Relación a fuente |
|---|---|---|---|
| una frase | Una sola frase | 1 oración, 47 palabras | 0.52 |
| párrafo corto | 3 a 4 oraciones | 4 oraciones, 82 palabras | 0.90 |
| viñetas | 5 a 7 balas | 7 balas, 95 palabras | 1.04 |
| detallado | 2 a 3 párrafos | 3 párrafos, 200 palabras | 2.20 |
Cada uno de ellos coincide con la instrucción. Una frase es una frase. Los puntos de bala le dieron siete, dentro de la banda de cinco a siete. Detallado dio tres párrafos.
Mira la última columna.
¿Por qué el resumen detallado fue más largo que el artículo?
Debido a que las longitudes son objetivos absolutos, no proporciones de la entrada.
"Detallado" pide dos o tres párrafos que cubren cada punto principal, y produce de dos a tres párrafos ya sea que le des noventa palabras o nueve mil. En un pasaje corto que significa que el modelo escribe prosa conectiva en torno a los hechos para alcanzar la longitud, y la salida es más larga de lo que resumió.
El mismo pasaje en 327 palabras se comporta como cabría esperar:
| Longitud de la | párrafo corto | detallado |
|---|---|---|
| 91 palabras | 0.90 de fuente | 2.20 de la fuente |
| 327 palabras | 0.28 de fuente | 0.59 de fuente |
Entonces el punto de equilibrio se encuentra en algún lugar alrededor de doscientas a trescientas palabras. Debajo de eso, elija una oración, o no resuma en absoluto, porque un pasaje de 91 palabras ya es la longitud de un resumen.
La inflación también es visible en la prosa. La versión detallada del pasaje corto abre "La decisión del Ayuntamiento sobre los garajes de estacionamiento en el centro representa un importante proyecto de desarrollo urbano destinado a abordar la asequibilidad de la vivienda y estimular el crecimiento económico, que es veintitrés palabras para decir que el consejo aprobó un esquema.
¿Inventa los hechos?
En esta prueba, no, y eso vale la pena expresarlo tan claramente como los fracasos.
Conté todos los números en la fuente de 327 palabras y cada número en el resumen detallado de la misma:
numbers in source 19
numbers in summary 9
in summary, not in source: none
Sobrevivieron nueve de diecinueve figuras y no apareció una figura nueva. El modelo funciona a una temperatura de 0,3, la banda más baja utilizada por cualquier herramienta de escritura en el sitio, que es el ajuste que hace que este tipo de salida sea conservadora.
Ese es el titular en el que se detendría la mayor parte de la cobertura de la IA, y es la mitad menos útil de la imagen.
Entonces, ¿qué sale mal?
Las relaciones entre los números, que sobreviven como dígitos y se rompen como significado.
El reclamo de vivienda asequible. La fuente dice que 85 de los 340 apartamentos serán asequibles al 80 por ciento del alquiler del mercado, y que esta proporción está por debajo del 30 por ciento que recomienda el refugio. El resumen dice:
designated affordable apartments for 80% of market rent,
a level significantly below Shelter's recommended 30%
Ambos números son reales. La comparación es una tontería: el 80 por ciento del alquiler del mercado es un precio, el 30 por ciento es una participación de unidades y la sentencia afirma que la primera está por debajo del segundo. La figura que hizo que la oración original tuviera sentido, 85 unidades de 340, es la que se eliminó.
La disputa de estacionamiento. La fuente tiene al Consejo citando el 41 por ciento de ocupación y la Cámara de Comercio lo disputa con una encuesta propia. El resumen dice que la Cámara declaró "las cifras de capacidad utilizadas en su encuesta fueron inferiores a la tasa de ocupación del 41%", que tiene la cámara argumentando la opuesta de su propia posición.
Ninguno de los errores se detectaría al comprobar los números con la fuente. Ambos requieren leer la oración y preguntar qué afirma.
Este fracaso tiene un nombre en la literatura de investigación. Maynez y colegas' Trabajar sobre la fidelidad en el resumen abstractivo Separa la alucinación extrínseca, donde un resumen introduce algo ausente de la fuente, de la alucinación intrínseca, donde recombina el material que está presente en una declaración que la fuente no hace. Su hallazgo, en los resúmenes anotados por humanos, es que el tipo intrínseco es más común y más difícil de detectar automáticamente. Esa es exactamente la forma de ambos errores anteriores, y es la razón por la que una verificación de números da falsa confianza.
¿Qué se deja caer y hay un patrón?
Detalle que respalda una afirmación en lugar de ser la afirmación, y no, no hay un patrón confiable.
De la misma fuente, estos desaparecieron por completo: 1.412 respuestas de consulta, 63 por ciento de apoyo, los dos garajes, fechas de construcción, una responsabilidad de reparación de 12 millones de libras, una encuesta de 38 empresas que encontraron 71 por ciento en automóvil, llegó en automóvil, el servicio de transporte de 20 minutos, el costo de infraestructura de 4.3 millones de libras y la fecha de inicio de marzo. El resumen mantuvo "el costo inicial de las mejoras de infraestructura" sin la cifra que lo convirtió en un argumento.
En el pasaje más corto, la caída fue desigual de una manera que derrota cualquier regla general:
| realidad | una frase | párrafo corto | viñetas | detallado |
|---|---|---|---|---|
| 340 apartamentos | impuesto | cesado | impuesto | impuesto |
| Renta sube 18% | cesado | cesado | cesado | impuesto |
| 900 espacios eliminados | cesado | cesado | impuesto | cesado |
| Comienza la próxima primavera | impuesto | cesado | impuesto | impuesto |
Un resumen más largo no es un superconjunto de uno más corto. "Parágrafo corto" perdió el conteo de apartamentos que "una frase". "Detallado" perdió la cifra de estacionamiento que "puntos de bala" guardaron. Si un número específico le importa, el ajuste que lo conserva no es predecible y el único enfoque confiable es verificar.
El que más debería preocupar a un lector es el aumento de alquiler: 18 por ciento en tres años es la estadística más cotizable de la pieza, y tres de los cuatro lo dejaron.
¿Puede resumir un PDF o una página web?
no directamente. Toma texto que pegas, lo que significa que la extracción es un paso separado y que vale la pena hacer deliberadamente.
Para un PDF, extraiga el texto primero. PDF a texto lo hace en el navegador y La guía de lo que cuesta esa conversión Primero vale un minuto de su tiempo, porque las columnas de un PDF salen entrelazadas y una tabla sale como una línea de valores. Un resumen de las columnas codificadas es un resumen de las tonterías y se leerá perfectamente con fluidez.
Para una página web, copie el texto del artículo en lugar de la página. La navegación, los banners de cookies, las listas de artículos relacionados y los recuentos de comentarios se convierten en entrada, y el modelo no tiene forma de saber que son muebles. En una página con una barra lateral larga pueden superar el artículo.
Para un documento escaneado no hay texto para extraer en absoluto, y OCR viene primero. Lo que realmente rompe OCR Tiene la versión medida de eso, donde una inclinación de tres grados importa más que la resolución.
La regla general: todo lo que llega a la caja es lo que se resume, incluyendo cualquier cosa que se presente por accidente.
¿Por qué no leer el primer párrafo?
A menudo debes saber cuándo es la diferencia entre usar un resumen y usarlo de manera reflexiva.
La redacción de noticias utiliza la pirámide invertida, donde el primer párrafo lleva toda la historia y todo después de agregar detalles en orden descendente de importancia. Para un artículo de noticias, el primer párrafo es un resumen escrito por una persona que lee la cosa, y es libre e instantáneo.
Donde un resumen gana su minuto es el material que no se escribe de esa manera:
| Fuente | Leer la apertura | resumir |
|---|---|---|
| noticia | Si, ya es un resumen | rara vez vale la pena |
| Minutos, transcripciones, hilos | Sin estructura que explotar | sí |
| trabajo académico | Resumen ya existe | Solo para una sección |
| Reporte con un resumen ejecutivo | LEE ESO | Solo las secciones que salta |
| Documento legal o de política | Apertura es definiciones | Sí, con cheque |
El caso común de esta herramienta es el que no tiene un resumen escrito por el autor y no hay un pedido útil: un hilo de correo electrónico, un conjunto de notas de la reunión, una transcripción, un largo registro de chat. Aquellos tienen la información distribuida de manera uniforme a través de ellos, que es precisamente cuando leer el primer párrafo no te dice nada.
¿Qué configuración debe elegir?
Por lo que va a hacer con el resumen, y la elección es más estrecha de lo que sugieren cuatro opciones.
| Configuración | Úsalo para | Evitar cuando |
|---|---|---|
| una frase | una línea de asunto, una nota para ti mismo, triaje | Necesitas cualquier detalle |
| párrafo corto | Leer un documento largo rápidamente | La fuente tiene menos de 200 palabras. |
| viñetas | Notas que volverás a escanear más tarde | La fuente tiene un argumento en lugar de una lista |
| detallado | un largo informe sobre el que todavía tienes que actuar | La fuente es corta, o necesitas todas las figuras |
Las viñetas merecen una advertencia. Convertir la prosa en balas descarta el tejido conectivo, que es donde vive el desacuerdo. Un artículo sobre una decisión de planificación impugnada se convierte en una lista de declaraciones con el concurso eliminado y las balas se leen como hechos establecidos.
¿Qué debes consultar en un resumen?
Tres cosas, en este orden, porque las dos primeras son rápidas.
- Cada número, contra la fuente. No si es plausible, si está ahí. Un minuto para un breve resumen.
- a qué se adjunta cada número. Aquí es donde estaban los errores. Lea cada oración que contiene una figura y pregunte qué afirmación hace, luego encuentre esa afirmación en la fuente.
- quien dijo que. La atribución es la otra cosa que invierte. El ejemplo de la Cámara de Comercio anterior es una inversión de posición que se lee de forma completamente natural.
Lo que no se puede comprobar en comparación es lo que falta, ya que un hecho ausente no deja rastro en la salida. Eso necesita una lectura de la fuente, que es lo que estabas tratando de evitar. El encuadre honesto es que un resumen le dice de qué se trata un documento para que pueda decidir si lo lee, no para que pueda omitirlo.
¿Es seguro reenviar un resumen?
No como sustituto de lo que resume, y los dos fracasos anteriores son la razón.
Ambos eran fluidos. Ambos mantuvieron figuras reales. Ambos sobrevivirían a un descafeinado por alguien que no había leído la fuente, y la vivienda asequible sería repetida en una reunión por alguien que entonces no podía decir de dónde venía.
Si va a reenviar un resumen, reenvíe la fuente con él. Si está citando un resumen, regrese a la fuente para la cotización. Si está tomando una decisión sobre un resumen, el número que está decidiendo es el que debe verificar primero.
Este no es un argumento en contra de resumir. Es la práctica ordinaria para trabajar desde cualquier cuenta de segunda mano, y un resumen producido por una máquina es exactamente eso.
¿Cuánto tiempo se hace?
Entre treinta segundos y un minuto y medio, rastreando la salida en lugar de la entrada.
| ejecutar | Fuente | Configuración | rato |
|---|---|---|---|
| 1 | 91 palabras | una frase | 32 años |
| 2 | 91 palabras | detallado | 73 s |
| 3 | 327 palabras | párrafo corto | 66 años |
| 4 | 327 palabras | detallado | 95 s |
Leer una fuente larga es comparativamente barata; no lo es escribir un resumen largo. "Detallado" cuesta aproximadamente el doble de lo que "una frase" cuesta con la misma entrada.
También hay un techo en la entrada. El texto muy largo se acorta a lo que el modelo puede leer de una sola vez, y la página lo dice cuando eso sucede en lugar de resumir en silencio la primera parte. Para un informe largo, resumalo en secciones, que también mantiene cada cheque lo suficientemente pequeño como para hacerlo correctamente.
¿Por qué está configurado para ser predecible?
Porque resumir es el único trabajo en el sitio donde una respuesta repetible es la respuesta correcta.
Cada herramienta de IA aquí lleva una temperatura que controla la cantidad de variación que se permite el modelo. Las herramientas de nomenclatura se ejecutan en 1.0, porque una lista de nombres que nunca cambia es inútil. El parafrastero se encuentra en 0,5. El resumen está en 0.3, el más bajo de las herramientas de escritura.
Por eso no se inventaron números. La baja temperatura hace que el modelo se apegue a la continuación más probable del texto frente a él, lo que para una tarea de resumen significa el texto que tiene delante. El mismo ajuste es por qué la salida puede ser plana y un poco mecánica, que es el comercio correcto aquí.
También significa que volver a ejecutar no ayudará mucho. Si un resumen deja caer una figura que necesita, volver a ejecutarla por lo general, y el mejor movimiento es una configuración de longitud diferente o una entrada más corta.
¿Por qué se ejecuta esto en el propio servidor del sitio?
Porque los documentos que las personas resumen son los que no pueden pegar en un servicio público.
Documentos de la junta, una carta legal, un informe de incidente, un hilo sobre un colega, un borrador bajo el embargo, un resumen médico. La alternativa habitual envía todo el documento a una empresa cuyos términos permiten conservarlo y posiblemente entrenado.
Aquí va a un modelo pequeño en el propio hardware del sitio y no se almacena a menos que elija enviar comentarios. El costo es visible en los tiempos anteriores, y en el techo honesto: un modelo pequeño resume una página bien y cien páginas en absoluto.
