Eu escrevi uma história de planejamento do conselho cheia de figuras, passei pelo resumidor e verifiquei todos os números na saída em relação à fonte. Escrever a fonte é o ponto: significa que eu sei exatamente o que cada frase afirma, que é a única maneira de dizer um resumo que é apenas mais curto do que também é verdade. Nenhum foi inventado. Nove números apareceram e todos os nove aparecem no original, o que é um resultado melhor do que os avisos usuais sobre a criação de IA que o levariam a esperar. O resumo ainda estava errado, em dois lugares, e ambos os erros mantiveram os dígitos intactos. Um deles diz que "apartamentos baratos designados por 80% do aluguel do mercado, um nível significativamente abaixo dos 30% recomendados", que compara o nível de aluguel com uma proporção de unidades e chega a uma frase que não pode ser verdadeira em nenhuma aritmética.
tl;dr: O que deve ser verificado em um resumo não é se os números são reais, é se eles ainda estão ligados à coisa certa. Medido em uma fonte de 327 palavras: números inventados, compressão correta em 0,28 e 0,59 do original, e dois relacionamentos quebrados, cada um mantendo os números e perdendo o que se referiu. Também vale a pena saber antes de colar: as configurações de comprimento são absolutas, então, em uma pequena entrada, "detalhado" produziu um resumo 2,2 vezes mais do que o texto que resumiu. o resumidor Executa no servidor do próprio site.
O que as configurações de quatro comprimentos fazem?
Eles nomeiam um tamanho de saída e o atingem. A conformidade com o formato é a coisa mais confiável aqui.
Medido na mesma passagem de 91 palavras:
| Configuração | pedir | produzido | razão para fonte |
|---|---|---|---|
| uma frase | uma única frase | 1 frase, 47 palavras | 0,52 |
| parágrafo curto | 3 a 4 frases | 4 frases, 82 palavras | 0,90 |
| Pontos de bala | 5 a 7 balas | 7 balas, 95 palavras | 1.04 |
| detalhado | 2 a 3 parágrafos | 3 parágrafos, 200 palavras | 2.20 |
Cada um desses corresponde às instruções. Uma frase é uma frase. Os pontos de bala deram sete, dentro da banda de cinco a sete. Detalhado deu três parágrafos.
Veja a última coluna.
Por que o resumo detalhado foi mais longo que o artigo?
Porque os comprimentos são alvos absolutos, não proporções da entrada.
"Detalhado" pede de dois a três parágrafos, abrangendo cada ponto principal, e produz de dois a três parágrafos, quer você dê noventa palavras ou nove mil. Em uma passagem curta, o modelo escreve uma prosa conectiva em torno dos fatos para atingir o comprimento, e a produção é mais longa do que resumiu.
A mesma passagem com 327 palavras se comporta como seria de esperar:
| Comprimento da fonte | parágrafo curto | detalhado |
|---|---|---|
| 91 palavras | 0,90 de fonte | 2.20 de fonte |
| 327 palavras | 0,28 de fonte | 0,59 de fonte |
Portanto, o ponto de equilíbrio fica em torno de duzentas palavras. Abaixo disso, escolha uma frase ou não resumir, porque uma passagem de 91 palavras já tem o comprimento de um resumo.
A inflação também é visível na prosa. A versão detalhada da passagem curta abre "A decisão do conselho da cidade sobre o centro de estacionamento representa um projeto significativo de desenvolvimento urbano que visa abordar a acessibilidade da habitação e estimular o crescimento econômico, que é vinte e três palavras para dizer que o conselho aprovou um esquema.
Ela inventa fatos?
Neste teste, não, e isso vale a pena afirmar tão claramente quanto as falhas.
Eu contei todos os números na fonte de 327 palavras e todos os números no resumo detalhado dela:
numbers in source 19
numbers in summary 9
in summary, not in source: none
Nove das dezenove figuras sobreviveram e nenhuma nova figura apareceu. O modelo está funcionando a uma temperatura de 0,3, a banda mais baixa usada por qualquer ferramenta de escrita no site, que é a configuração que torna esse tipo de saída conservadora.
Essa é a manchete que a maioria da cobertura do resumo da IA pararia, e é a metade menos útil da imagem.
Então o que dá errado?
As relações entre os números, que sobrevivem como dígitos e quebram como significado.
A reivindicação de moradia acessível. A fonte diz que 85 dos 340 apartamentos serão acessíveis a 80% do aluguel do mercado, e essa proporção está abaixo dos 30% recomendados pelo abrigo. O resumo diz:
designated affordable apartments for 80% of market rent,
a level significantly below Shelter's recommended 30%
Ambos os números são reais. A comparação é um absurdo: 80% do aluguel do mercado é um preço, 30% é uma parte das unidades e a frase afirma que o primeiro está abaixo do segundo. A figura que fez a frase original faz sentido, 85 unidades de 340, é a que foi descartada.
A disputa de estacionamento. A fonte tem o conselho citando 41% de ocupação e a Câmara de Comércio, contestando-o com uma pesquisa própria. O resumo afirma que a câmara afirmou: "Os números de capacidade usados em sua pesquisa foram inferiores à taxa de ocupação de 41%", que tem a câmara argumentando o oposto de sua própria posição.
Nenhum erro seria detectado verificando os números em relação à fonte. Ambos exigem a leitura da frase e perguntar o que ela afirma.
Essa falha tem um nome na literatura de pesquisa. Maynez e colegas' Trabalhe na fidelidade na sumarização abstrativa Separa alucinação extrínseca, onde um resumo introduz algo ausente da fonte, da alucinação intrínseca, onde recombina o material que está presente em uma afirmação que a fonte não faz. Sua descoberta, em resumos anotados por humanos, é que o tipo intrínseco é mais comum e mais difícil de detectar automaticamente. Essa é exatamente a forma de ambos os erros acima, e é a razão pela qual uma verificação de números fornece falsa confiança.
O que é descartado e existe um padrão?
Detalhe que suporta uma afirmação em vez de ser a afirmação, e não, não há um padrão confiável.
Da mesma fonte, elas desapareceram completamente: 1.412 respostas de consulta, 63% de suporte, as duas garagens, uma responsabilidade de reparo de 12 milhões de libras, uma pesquisa com 38 empresas que encontraram 71% de carro, a frequência de 20 minutos do ônibus espacial, o custo de infraestrutura de 4,3 milhões de libras e a data de início de março. O resumo manteve o "custo inicial de melhorias na infraestrutura", sem a figura que o fez argumentar.
Na passagem mais curta, o droping foi irregular de uma forma que anula qualquer regra de ouro:
| fato | uma frase | parágrafo curto | Pontos de bala | detalhado |
|---|---|---|---|---|
| 340 apartamentos | guardado | perdido | guardado | guardado |
| Aluguel de 18% | perdido | perdido | perdido | guardado |
| 900 espaços removidos | perdido | perdido | guardado | perdido |
| começa na próxima primavera | guardado | perdido | guardado | guardado |
Um resumo mais longo não é um superconjunto de um mais curto. "Parágrafo curto" perdeu a contagem de apartamentos que "uma frase" mantida. "Detalhados" Perdeu a figura de estacionamento que guardava "pontos de bala" Se um número específico for importante para você, a configuração que o preserva não é previsível, e a única abordagem confiável é verificar.
O que mais deve preocupar o leitor é o aumento do aluguel: 18% em três anos é a estatística mais cotável da peça, e três das quatro configurações a abandonaram.
Pode resumir um PDF ou uma página da web?
não diretamente. É preciso um texto que você cola, o que significa que a extração é uma etapa separada e que vale a pena fazer deliberadamente.
Para um PDF, puxe o texto primeiro. pdf para texto faz isso no navegador e O guia para o que essa conversão custa Vale um minuto primeiro do seu tempo, porque as colunas de um PDF são intercaladas e uma tabela sai como uma linha de valores. Um resumo das colunas mexidas é um resumo das bobagens e será lido perfeitamente.
Para uma página da Web, copie o texto do artigo em vez da página. Navegação, banners de biscoito, listas de artigos relacionados e contagens de comentários se tornam entradas, e o modelo não tem como saber que são móveis. Em uma página com uma barra lateral longa, eles podem superar o artigo.
Para um documento digitalizado, não há texto para extrair, e o OCR vem primeiro. O que realmente quebra o OCR Tem a versão medida disso, onde uma inclinação de três graus importa mais do que a resolução.
A regra geral: o que chegar à caixa é o que é resumido, incluindo qualquer coisa que apareça por acidente.
Por que não apenas ler o primeiro parágrafo?
Muitas vezes você deve, e saber quando é a diferença entre usar um bem resumido e usá-lo reflexivamente.
A escrita de notícias usa a pirâmide invertida, onde o primeiro parágrafo carrega toda a história e tudo depois adiciona detalhes em ordem decrescente de importância. Para um artigo de notícias, o primeiro parágrafo é um resumo escrito por uma pessoa que lê a coisa, e é gratuito e instantâneo.
Onde um resumidor ganha seu minuto, é o material que não é escrito dessa maneira:
| Fonte | Leia a abertura | resumir |
|---|---|---|
| artigo de notícias | Sim, já é um resumo | raramente vale a pena |
| Minutos, transcrições, tópicos | Nenhuma estrutura para explorar | sim |
| papel acadêmico | Resumo já existe | Apenas para uma seção |
| Relatório com um resumo executivo | leia isso | Apenas as seções que ele pula |
| Documento legal ou de política | A abertura é definições | Sim, com verificação |
O caso comum que essa ferramenta se adapte é aquele sem resumo escrito pelo autor e sem pedidos úteis: um tópico de e-mail, um conjunto de notas de reunião, uma transcrição, um longo log de bate-papo. Esses têm as informações distribuídas uniformemente por meio deles, o que é precisamente ao ler o primeiro parágrafo não lhe diz nada.
Qual configuração você deve escolher?
Pelo que você fará com o resumo, e a escolha é mais restrita do que quatro opções sugerem.
| Configuração | use-o para | Evite quando |
|---|---|---|
| uma frase | Uma linha de assunto, uma nota para si mesmo, triagem | Você precisa de qualquer detalhe |
| parágrafo curto | Lendo um documento longo rapidamente | A fonte tem menos de 200 palavras |
| Pontos de bala | Notas que você digitalizará novamente mais tarde | A fonte tem um argumento em vez de uma lista |
| detalhado | um longo relatório em que você ainda precisa agir | A fonte é curta ou você precisa de cada figura |
Bullet Points merece uma ressalva. Transformar a prosa em balas descarta o tecido conjuntivo, que é onde mora o desacordo. Um artigo sobre uma decisão de planejamento contestada torna-se uma lista de declarações com o concurso removido, e as balas lidas como fatos resolvidos.
O que você deve verificar em um resumo?
Três coisas, nesta ordem, porque as duas primeiras são rápidas.
- Cada número, contra a fonte. Não se é plausível, se está lá. Um minuto para um breve resumo.
- a que cada número está anexado. Foi aqui que estavam os erros. Leia cada frase contendo uma figura e pergunte que afirmação ela faz, então encontre essa afirmação na fonte.
- Quem disse o quê. Atribuição é a outra coisa que inverte. O exemplo da Câmara de Comércio acima é uma reversão de posição que lê totalmente naturalmente.
O que você não pode verificar por comparação é o que está faltando, pois um fato ausente não deixa nenhum rastro na saída. Isso precisa de uma leitura da fonte, que é o que você estava tentando evitar. O enquadramento honesto é que um resumo informa o que é um documento para que você possa decidir se o lê, não para que possa pular.
É seguro encaminhar um resumo?
Não como substituto do que resume, e as duas falhas acima são a razão.
Ambos eram fluentes. Ambos mantiveram números reais. Ambos sobreviveriam a uma descuidada de alguém que não leu a fonte, e a moradia acessível seria repetida em uma reunião por alguém que não poderia dizer de onde veio.
Se você estiver encaminhando um resumo, encaminhe a fonte com ele. Se você estiver citando um resumo, volte para a fonte para a cotação. Se você estiver tomando uma decisão em um resumo, o número que você está decidindo é o primeiro a ser verificado.
Este não é um argumento contra o resumo. É a prática comum para trabalhar em qualquer conta de segunda mão, e um resumo produzido por uma máquina é exatamente isso.
Quanto tempo demora?
Entre trinta segundos e um minuto e meio, rastreando a saída em vez da entrada.
| correr | Fonte | Configuração | tempo |
|---|---|---|---|
| 1 | 91 palavras | uma frase | 32 s |
| 2 | 91 palavras | detalhado | 73 s |
| 3 | 327 palavras | parágrafo curto | 66 s |
| 4 | 327 palavras | detalhado | 95 S |
Ler uma fonte longa é relativamente barato; escrever um resumo longo não é. "Detalhado" custa cerca de duas vezes o que "uma frase" custa a mesma entrada.
Há um teto na entrada também. O texto muito longo é reduzido para o que o modelo pode ler de uma só vez, e a página diz isso quando isso acontece em vez de resumir silenciosamente a primeira parte. Para um relatório longo, resumi-o em seções, que também mantém cada verificação pequena o suficiente para ser feita corretamente.
Por que está definido para ser previsível?
Porque resumir é o único trabalho no site onde uma resposta repetível é a resposta certa.
Cada ferramenta de IA aqui carrega uma temperatura que controla a variação permitida do modelo. As ferramentas de nomenclatura são executadas em 1.0, porque uma lista de nomes que nunca muda é inútil. O parafraseador fica em 0,5. O resumidor está em 0,3, o mais baixo das ferramentas de escrita.
É por isso que nenhum número foi inventado. A baixa temperatura faz com que o modelo fique próximo da continuação mais provável do texto à sua frente, o que para uma tarefa de resumo significa o texto à sua frente. A mesma configuração é por que a saída pode ser plana e um pouco mecânica, que é a troca certa aqui.
Isso também significa que a nova execução não ajudará muito. Se um resumo der uma figura necessária, executá-lo novamente geralmente o solta novamente, e o melhor movimento é uma configuração de comprimento diferente ou uma entrada mais curta.
Por que isso é executado no próprio servidor do site?
Porque os documentos que as pessoas resumirem são os que não podem colar em um serviço público.
Documentos do conselho, uma carta legal, um relatório de incidentes, um tópico sobre um colega, um rascunho embargo, um resumo médico. A alternativa usual envia todo o documento para uma empresa cujos termos permitem que ele seja mantido e possivelmente treinado.
Aqui ele vai para um pequeno modelo no hardware do próprio site e não é armazenado a menos que você opte por enviar feedback. O custo é visível nos horários acima e no teto honesto: um pequeno modelo resumiu bem uma página e cem páginas.
