Eu fiz uma pergunta ao redator deste site uma pergunta sobre ações - se a lição de casa fosse banida nas escolas primárias - e leia o resultado duas vezes. A estrutura era sólida: um título, uma tese no final da introdução, três parágrafos do corpo, cada um deles, um ponto, uma conclusão. Ele inventou estatísticas, nem citações e artigos de jornal falsos. Então cheguei ao fim, onde havia acrescentado uma seção de referências listando a American Psychological Association e Harvard além de títulos que não existem, cada um educadamente marcado como "citação hipotética - imagine um artigo real". Essa é a forma do problema em uma página: a coisa é um andaime competente com uma armadilha na parte inferior, e a armadilha parece dever de casa já feita.
tl;dr: Um modelo de linguagem pequena escreve um primeiro rascunho bem estruturado e nenhuma evidência utilizável. medido em duas execuções de este: As contagens de palavras chegaram a 8% da meta, zero de estatísticas ou cotações inventadas, mas quatro citações de espaços reservados nomeando instituições reais ao lado de títulos imaginários. Use o rascunho do esqueleto, substitua cada frase de seu conteúdo por sua própria e verifique a política da sua instituição antes que qualquer uma delas se aproxime de uma tarefa. Saiba também que os detectores de IA não são uma verificação confiável em nada disso, em qualquer direção.
O que ele realmente faz bem?
estrutura, e isso não é nada.
A parte difícil de um primeiro rascunho para a maioria das pessoas não são as frases, é a forma: onde a tese vai, quantos pontos o corpo precisa, para que serve um parágrafo. Um modelo treinado em uma grande prosa expositiva tem essa forma memorizada. Ambos os rascunhos que gerei colocam a tese como a frase final da introdução, deram a cada parágrafo do corpo uma única reivindicação e fecharam sem introduzir novo material. Esse é o padrão ensinado em todas as classes de composição, executado corretamente na primeira tentativa.
O controle de comprimento foi melhor do que eu esperava. Solicitadas por 500 palavras, as duas corridas produziram 538 e 526. Isso importa porque o preenchimento de uma contagem de palavras é outra coisa para a qual os alunos perdem horas e ver um rascunho de tamanho correto informa quanto espaço de três pontos leva.
O que está fazendo é a conclusão do padrão sobre o texto em forma de ensaio. Isso o torna bom nas partes de um ensaio que são convencionais e ruins exatamente nas partes que deveriam ser suas.
Ele faz as fontes?
Não é bem assim, e a distinção importa mais do que um sim ou não.
O prompt por trás dessa ferramenta instrui o modelo a não inventar cotações, estatísticas ou fontes, e descrever o tipo de fonte que você deve citar. Medido em ambas as corridas, que não eram percentuais, não mostram "estudos mostram", nenhum DOI fabricado, nenhum nome de autor inventado com anos plausíveis.
O que apareceu em vez disso foi uma seção de referências deste formulário:
2. ... Research Publication, [Year]. (Hypothetical citation - imagine a real article)
3. American Psychological Association, "Homework and Academic Achievement", [Year].
(Hypothetical Citation - imagine a real report)
Leia com atenção, isso é honesto. Está rotulado. Ele diz para você encontrar a coisa real. Mas ele nomeia uma organização real ao lado de um título que a organização nunca publicou e está em uma lista numerada sob um título, que é a forma visual exata de uma bibliografia finalizada. Um aluno cansado à 1 da manhã exclui as palavras entre parênteses e as envia. Esse não é um modo de falha hipotético, é óbvio, e vale a pena citar porque o próprio cuidado da ferramenta é o que a cria.
A regra que se segue: trate qualquer coisa que se assemelhe a uma citação em um rascunho de IA como uma nota para você sobre o que encontrar. Nunca como referência.
Por que pequenos modelos alucinam?
Porque eles não estão recuperando nada. Um modelo de linguagem prevê prováveis continuações, e uma citação de aparência plausível é uma provável continuação de uma frase que precisa de evidências. Não há pesquisa, banco de dados, nenhum momento em que o modelo verifica se a APA publicou esse relatório.
O tamanho torna isso pior. Esta ferramenta executa o Gemma 3 1B, um modelo de um bilhão de parâmetros, escolhido porque se encaixa em um servidor somente para CPU e pode ser oferecido gratuitamente. Modelos menores têm menos detalhes memorizados e se apoiam mais no padrão, por isso são mais propensos a uma invenção confiante do que os grandes comerciais. A competência estrutural sobrevive ao pequeno tamanho; a confiabilidade factual não.
É também por isso que não conhece nada recente. Não há uma etapa de navegação, portanto, tudo o que aconteceu após a montagem dos dados de treinamento não existe no que diz respeito ao rascunho.
O detector de IA de um professor o pegará?
Essa é a pergunta errada, e a resposta honesta é desconfortável em ambas as direções: os detectores pegam o trabalho que não foi escrito por IA e falta ao trabalho que foi.
OpenAI, que tinha todos os motivos comerciais para fazer funcionar a detecção, Retirou seu próprio classificador de texto de IA em 20 de julho de 2023 Por causa de sua baixa precisão. sua própria avaliação publicada antes disso: o classificador corretamente identificado 26% de texto escrito em AI, enquanto sinaliza 9% de texto escrito por humanos como escrito por AI. Uma ferramenta que pega um quarto do que procura e acusa falsamente que quase um em cada dez escritores inocentes não é uma ferramenta, e seus criadores o disseram ao retirá-la.
Os falsos positivos também não são distribuídos uniformemente. Liang e colegas de Stanford testaram sete detectores por escrito por falantes nativos e não nativos e descobriram que eles Escrita não nativa consistentemente classificada como gerada por IA, publicado em padrões em 2023. O mecanismo é perplexidade: o texto da bandeira dos detectores, cujas escolhas de palavras são previsíveis, e um escritor competente que trabalha em uma segunda língua produz exatamente isso. A própria recomendação dos autores é que esses detectores não sejam usados em ambientes avaliativos ou educacionais.
Portanto: não confie em um detector para vindicar e não assuma que um irá pegá-lo. Nenhum dos dois é motivo para enviar trabalhos de IA onde não é permitido. A razão para não fazer isso é que não é permitido, e as pessoas que marcam seu trabalho geralmente podem dizer por outros meios.
Qual é a maneira honesta de usar um rascunho como este?
Três usos que sobrevivem ao escrutínio e que não o fazem.
como forma de argumentar. Gere o rascunho, leia seus três pontos e observe com qual você discorda. O desacordo é o seu ensaio. Esta é a coisa mais útil que ele faz, porque reagir a uma posição é muito mais fácil do que inventar uma de uma página em branco.
Como um teste em sua própria estrutura. Escreva sua redação primeiro, depois gere um e compare os esqueletos. Se o modelo encontrou um ponto que você perdeu, vá e pesquise-o corretamente.
como vocabulário e amostra de registro. A configuração de nível acadêmico muda a forma como a prosa é formal. Ver a diferença entre as versões do ensino médio e de pós-graduação do mesmo argumento ensina algo sobre o registro que é difícil de explicar abstratamente.
Não como uma coisa a se submeter. Muitas instituições proíbem ou restringem o trabalho escrito por IA, e as políticas diferem por curso, não apenas pela universidade. Verifique o seu antes de usar qualquer um desses em uma tarefa. Quando é permitido, a divulgação geralmente faz parte da permissão.
O rascunho é lido como escrito por máquina?
Sim, e mensurável assim, de maneiras fáceis de aprender a detectar.
Eu executei os dois rascunhos através das mesmas verificações que este site se aplica à sua própria escrita. Em cerca de 530 palavras cada, a produção teve cinco traços e, da lista de palavras que marcaram a prosa, "Foster" três vezes mais "holística" e "crucial". Nenhum deles é um inglês errado. Todas são as palavras que um modelo consegue quando um humano escolheria algo mais claro: estimular em vez de nutrir, inteiro em vez de holístico, importante em vez de fundamental.
O outro diz são estruturais. Cada parágrafo tem aproximadamente o mesmo comprimento. Cada lista usa a mesma forma. A conclusão reafirma a introdução com as palavras trocadas. Um marcador que lê quarenta redações por semana observa esse padrão muito antes de eles buscarem um detector, que é a verdadeira razão pela qual a questão do detector não vem ao caso.
Se você está reescrevendo um rascunho em sua própria voz, essas são as coisas a serem atacadas primeiro: variar o comprimento do parágrafo, cortar o painel, substituir o substantivo pelo concreto e fazer a conclusão dizer algo que a introdução não fez.
Por que demora tanto?
Porque ele é executado em uma CPU compartilhada em vez de uma GPU, e essa negociação é o que a torna gratuita.
Medido no site ao vivo, um rascunho de 500 palavras foi 170 segundos Do pedido à palavra final. Essa é a opção mais curta. Um ensaio de 1.500 palavras leva proporcionalmente mais tempo. O texto é transmitido como está escrito, para que você possa ler a abertura enquanto o resto chega, o que torna a espera menos óbvia do que o número sugere.
O design alternativo seria uma API comercial, que responde em alguns segundos, custa dinheiro por solicitação e envia seu tópico a terceiros que podem retê-lo. Este envia seu tópico por HTTPS para um servidor que cria o prompt, executa o modelo, retorna o texto e não mantém nada: o tópico e o rascunho são usados para escrever a resposta e descartados, não registrados, não usados para treinamento, não passados para nenhuma empresa de IA. Para um tópico de ensaio que geralmente não é sensível. Para o rascunho de uma declaração pessoal, é importante.
O que você deve verificar antes de enviar qualquer coisa?
Uma lista curta, na ordem que mais pega.
- Política da sua instituição, antes de mais nada. As regras de nível de curso geralmente diferem das de nível universitário.
- Cada afirmação factual, contra uma fonte real que você abriu. O rascunho não terá inventado uma estatística, mas afirmará as coisas com confiança sem nenhuma evidência por trás deles.
- Cada citação, o que na prática significa substituir todos eles.
- a voz, que é onde a lista de palavras acima ganha seu retenção.
- o argumento, por último. Se você ainda concorda com todos os três pontos do modelo depois de pesquisá-los, você escreveu o ensaio do modelo e não o seu.
Para a própria reescrita, o ferramenta de paráfrase Altera o texto, mas não a substância e não corrigirá nenhuma das opções acima, e a execução de um rascunho por meio do humanizador de texto Aborda o TELLS, em vez do pensamento. Nenhum deles é um substituto para ter algo a dizer.
E a contagem de palavras e a formatação?
Ambos são melhor tratados posteriormente, por ferramentas que são certas do que probabilísticas.
Um modelo solicitado por 500 palavras produz aproximadamente 500 palavras, o que é bom até que um resumo diz "máximo de 500 palavras" e o rascunho chega a 538. Cole o texto final no contador palavras e saiba o número em vez de estimá-lo. O mesmo vale para o nível de leitura e o comprimento da frase, com os quais a maioria dos marcadores se preocupa mais do que admite.
A formatação é outra coisa que vale a pena separar. O rascunho chega como texto simples com títulos no estilo Markdown, o que é conveniente para edição e errado para envio na maioria dos cursos. Converta-o uma vez no final, quando as palavras pararem de mudar, em vez de lutar contra a formatação por meio de seis revisões.
Os sete tipos de ensaio mudam alguma coisa?
Mais do que o nível acadêmico, o que me surpreendeu.
A ferramenta oferece argumentativo, persuasivo, expositivo, narrativo, descritivo, comparado e contrastado, causa e efeito. Essas não são etiquetas cosméticas no mesmo rascunho: eles mudam o trabalho que os parágrafos do corpo estão fazendo. Um rascunho argumentativo assume uma posição e a defende contra uma objeção implícita. Um expositivo explica sem tomar um lado, então os parágrafos se tornam categorias e não reivindicações. Compare e contraste reorganiza tudo em torno de dois assuntos, o que força uma estrutura ponto a ponto ou de bloco, e o modelo escolhe um e o mantém.
A configuração do nível acadêmico faz menos. Ele ajusta o vocabulário e o quanto hedge aparece, então a versão de pós-graduação de um argumento diz "as evidências sugerem" onde a versão do ensino médio diz "isso mostra". O argumento subjacente geralmente é o mesmo três pontos. Vale a pena saber se você esperava que a configuração de pós-graduação produzisse um pensamento de pós-graduação: ele produz registro de pós-graduação em relação ao mesmo raciocínio.
A consequência prática é escolher o tipo com cuidado e o nível casualmente. Um rascunho persuasivo quando você precisava de expositivo é um ensaio estruturalmente errado; um rascunho do ensino médio quando você precisa de graduação em vinte minutos de reformulação.
É um grande modelo comercial para isso?
Na escrita, sim. Nas coisas que o colocam em apuros, não obviamente.
Um modelo grande escreve de forma mais fluente, mantém um argumento mais longo e é muito menos provável que produza o padrão de citação de espaços reservados descrito acima. Se o único critério for a qualidade da prosa, ele vence e não está próximo.
Três coisas que não resolve. Ele ainda não possui uma etapa de pesquisa, por isso ainda inventa com confiança - as falhas são mais raras e, portanto, mais difíceis de serem capturadas, o que não é o mesmo que mais seguro. Ele ainda produz o telestrutural, porque eles vêm da distribuição de treinamento e não do tamanho do modelo. E geralmente retém seu texto: a maioria dos assistentes comerciais mantém conversas por padrão, e alguns as usam para treinar, a menos que você desista, o que é uma proposta diferente quando o documento é uma declaração pessoal ou um capítulo de tese não publicado.
Esse é o comércio que essa ferramenta faz deliberadamente: um modelo menor e menos fluente que é executado em um servidor que não mantém nada, oferecido gratuitamente. Para uma questão de ensaio de estoque, use o que melhor escrever. Para qualquer coisa que você não cola em um fórum público, a pergunta de retenção é a única a ser feita. O mesmo raciocínio percorre Como escrevemos tudo aqui, onde as 100% são catalogadas com mais detalhes do que esta página tem espaço.
