Ho posto allo scrittore di saggi su questo sito una domanda sulle scorte - se i compiti dovessero essere vietati nelle scuole primarie - e ho letto il risultato due volte. La struttura era solida: un titolo, una tesi alla fine dell'introduzione, tre paragrafi del corpo ciascuno facendo un punto, una conclusione. Non ha inventato statistiche, citazioni e articoli di giornale falsi. Poi sono arrivato alla fine, dove aveva aggiunto una sezione di riferimenti che elencava l'American Psychological Association e Harvard oltre a titoli che non esistono, ogni educatamente contrassegnato "citazione ipotetica - immagina un vero articolo". Questa è la forma del problema in una pagina: la cosa è un'impalcatura competente con una trappola in basso e la trappola sembra i compiti già fatti.
tl; dr: Un piccolo modello linguistico scrive una prima bozza ben strutturata e nessuna prova utilizzabile. misurato su due esecuzioni di questo: Il conteggio delle parole è sbarcato entro l'8% delle statistiche o delle quotazioni target, zero inventate, ma quattro citazioni segnaposto che nominano istituzioni reali accanto a titoli immaginari. Usa la bozza per il suo scheletro, sostituisci ogni frase del suo contenuto con il tuo e controlla la politica del tuo istituto prima che si avvicini a un incarico. Sappi anche che i rilevatori di IA non sono un controllo affidabile su nulla di tutto ciò, in nessuna delle due direzioni.
Cosa fa davvero bene?
struttura, e questo non è niente.
La parte difficile di una prima bozza per la maggior parte delle persone non sono le frasi, è la forma: dove va la tesi, quanti punti ha bisogno il corpo, a cosa serve un paragrafo. Un modello addestrato su una grande quantità di prosa espositiva ha quella forma memorizzata. Entrambe le bozze che ho generato hanno messo la tesi come frase finale dell'introduzione, ha dato a ciascun paragrafo del corpo un'unica affermazione e chiusa senza introdurre nuovo materiale. Questo è lo standard insegnato in ogni classe di composizione, eseguito correttamente al primo tentativo.
Il controllo della lunghezza era migliore di quanto mi aspettassi. Richieste 500 parole, le due piste hanno prodotto 538 e 526. Questo è importante perché il padding per un conteggio delle parole è l'altra cosa per cui gli studenti perdono ore e vedere una bozza di dimensioni corrette ti dice quanto spazio impiegano tre punti.
Quello che sta facendo è il completamento del modello rispetto al testo a forma di saggio. Questo lo rende bravo nelle parti di un saggio che sono convenzionali e pessime esattamente nelle parti che dovrebbero essere tue.
Compone le fonti?
Non del tutto, e la distinzione conta più di un sì o un no.
Il prompt dietro questo strumento istruisce il modello a non inventare citazioni, statistiche o fonti e di descrivere il tipo di fonte che dovresti citare invece. Misurato in entrambe le esecuzioni, che si è tenuto: nessuna percentuale, nessuno "studio", nessun DOI fabbricato, nessun nome di autore inventato con anni plausibili.
Ciò che è apparso invece era una sezione di riferimenti di questo modulo:
2. ... Research Publication, [Year]. (Hypothetical citation - imagine a real article)
3. American Psychological Association, "Homework and Academic Achievement", [Year].
(Hypothetical Citation - imagine a real report)
Leggi attentamente, è onesto. è etichettato. Ti dice di trovare la cosa reale. Ma nomina una vera organizzazione accanto a un titolo che l'organizzazione non ha mai pubblicato, ed è in un elenco numerato sotto un titolo, che è l'esatta forma visiva di una bibliografia finita. Uno studente stanco all'una di notte cancella le parole tra parentesi e le invia. Questa non è una modalità di guasto ipotetica, è quella ovvia, e vale la pena nominare perché la cautela dello strumento è ciò che lo crea.
La regola che segue: trattare qualsiasi cosa che assomigli a una citazione in una bozza di IA come una nota per te stesso su cosa andare e trovare. Mai come riferimento.
Perché i modellini piccoli allucinano?
Perché non stanno recuperando nulla. Un modello linguistico prevede probabili continuazioni e una citazione dall'aspetto plausibile è una probabile continuazione di una frase che ha bisogno di prove. Non c'è ricerca, nessun database, nessun momento in cui il modello verifica se l'APA ha pubblicato quel rapporto.
La dimensione peggiora questo. Questo strumento esegue Gemma 3 1B, un modello da un miliardo di parametri, scelto perché si adatta a un server solo CPU e può essere offerto gratuitamente. I modelli più piccoli hanno dettagli meno memorizzati e si appoggiano più duramente al motivo, quindi sono più inclini a un'invenzione sicura rispetto a quelli commerciali di grandi dimensioni. La competenza strutturale sopravvive alle piccole dimensioni; l'affidabilità fattuale no.
Questo è anche il motivo per cui non sa nulla di recente. Non esiste un passaggio di navigazione, quindi tutto ciò che è accaduto dopo l'assemblaggio dei dati di addestramento non esiste per quanto riguarda la bozza.
L'AI rilevatore di IA di un insegnante lo prenderà?
Questa è la domanda sbagliata, e la risposta onesta è scomoda in entrambe le direzioni: i rilevatori catturano un lavoro che non è stato scritto dall'IA e manca il lavoro che era.
OpenAI, che aveva ogni motivo commerciale per far funzionare il rilevamento, Ritirato il proprio classificatore di testo AI il 20 luglio 2023 per la sua bassa precisione. prima di quella sua valutazione pubblicata: il classificatore correttamente identificato 26% di testo scritto AI, durante la segnalazione 9% di testo scritto dall'uomo come scritto dall'IA. Uno strumento che cattura un quarto di ciò che sta cercando e accusa falsamente quasi uno su dieci scrittori innocenti non è uno strumento, e i suoi creatori lo hanno affermato ritirandolo.
Anche i falsi positivi non sono distribuiti uniformemente. Liang e colleghi di Stanford hanno testato sette rivelatori sulla scrittura di madrelingua inglese e non madrelingua e li hanno trovati Scrittura non nativa costantemente classificata erroneamente come generata dall'IA, pubblicato in schermare nel 2023. Il meccanismo è perplessità: i rivelatori segnalano il testo le cui scelte di parole sono prevedibili e uno scrittore competente che lavora in una seconda lingua produce esattamente questo. La propria raccomandazione è che questi rivelatori non debbano essere utilizzati in contesti valutativi o educativi.
Quindi: non fare affidamento su un rilevatore per rivendicarti e non dare per scontato che uno ti catturi. Nessuno dei due è un motivo per inviare un lavoro di IA dove non è consentito. Il motivo per non farlo è che non è consentito e le persone che segnano il tuo lavoro di solito possono dirlo con altri mezzi.
Qual è il modo onesto di utilizzare una bozza come questa?
Tre usi che sopravvivono al controllo e uno che non lo fa.
come una forma con cui discutere. Genera la bozza, leggi i suoi tre punti e nota con quale non sei d'accordo. Il disaccordo è il tuo saggio. Questa è la cosa più utile che fa, perché reagire a una posizione è molto più facile che inventarne uno da una pagina vuota.
come controllo sulla tua struttura. Scrivi prima il tuo saggio, quindi generane uno e confronta gli scheletri. Se il modello ha trovato un punto che ti sei perso, vai a ricercarlo correttamente.
come vocabolario e campione di registro. L'impostazione a livello accademico cambia quanto sia formale la prosa. Vedere la differenza tra le versioni del liceo e dei diplomati dello stesso argomento insegna qualcosa su Register che è difficile da spiegare in modo astratto.
non come una cosa da presentare. Molte istituzioni vietano o limitano il lavoro scritto dall'IA e le politiche differiscono in base al corso, non solo all'università. Controlla il tuo prima di usare tutto questo in un compito. Laddove è consentito, la divulgazione fa solitamente parte dell'autorizzazione.
La bozza viene letta come scritta in macchina?
Sì, e misurabilmente, in modi facili da imparare a individuare.
Ho eseguito entrambe le bozze attraverso gli stessi assegni che questo sito si applica alla sua stessa scrittura. In circa 530 parole ciascuna, l'output ha portato cinque trattini e, dall'elenco delle parole che segnano tre volte, "foster" tre volte, più "olistico" e "cruciale". Nessuno di questi è un inglese sbagliato. Sono tutte le parole che un modello cerca quando un essere umano sceglierebbe qualcosa di più chiaro: favorire anziché adottivo, completo anziché olistico, importante anziché decisivo.
Gli altri raccontano sono strutturali. Ogni paragrafo ha all'incirca la stessa lunghezza. Ogni elenco utilizza la stessa forma. La conclusione riafferma l'introduzione con le parole scambiate. Un indicatore che legge quaranta saggi a settimana nota questo schema molto prima di raggiungere un rilevatore, che è il vero motivo per cui la domanda del rivelatore è fuori luogo.
Se stai riscrivendo una bozza nella tua stessa voce, queste sono le cose da attaccare prima: varia le lunghezze del paragrafo, taglia il trattino, sostituisci il sostantivo astratto con quello concreto e fai la conclusione dì qualcosa che l'introduzione non ha fatto.
Perché ci vuole così tanto tempo?
Perché funziona su una CPU condivisa anziché su una GPU, e questo scambio è ciò che lo rende gratuito.
Misurato sul sito live, è stata effettuata una bozza di 500 parole 170 secondi Dalla richiesta all'ultima parola. questa è l'opzione più breve. Un saggio di 1.500 parole richiede proporzionalmente più tempo. Il testo scorre come è scritto, in modo da poter leggere l'apertura mentre arriva il resto, il che rende l'attesa meno ovvia di quanto suggerisce il numero.
Il design alternativo sarebbe un'API commerciale, che risponde in pochi secondi, costa denaro per richiesta e invia il tuo argomento a una terza parte che potrebbe conservarlo. Questo invia il tuo argomento su HTTPS a un server che crea il prompt, esegue il modello, restituisce il testo e non conserva nulla: l'argomento e la bozza vengono utilizzati per scrivere la risposta e quindi scartati, non registrati, non utilizzati per la formazione, non passati a nessuna società di IA. per un argomento di saggio che di solito non è sensibile. Per la bozza di una dichiarazione personale, è importante.
Cosa dovresti controllare prima di inviare qualcosa?
Una breve lista, nell'ordine che cattura di più.
- Politica del tuo istituto, prima di ogni altra cosa. Le regole a livello di corso spesso differiscono da quelle a livello universitario.
- Ogni affermazione fattuale, contro una vera fonte che hai aperto. La bozza non avrà inventato una statistica, ma avrà affermato le cose con sicurezza senza prove dietro di loro.
- Ogni citazione, che in pratica significa sostituirli tutti.
- LA VOCE, che è dove la parola elenco sopra guadagna la sua mastio.
- l'argomento, ultimo. Se sei ancora d'accordo con tutti e tre i punti del modello dopo averli ricercati, hai scritto il saggio del modello piuttosto che il tuo.
Per la riscrittura stessa, il strumento di parafrasi modifica la dicitura ma non la sostanza e non risolverà nessuna delle precedenti e eseguendo una bozza attraverso il Umanizzatore di testo affronta i racconti piuttosto che il pensiero. Nessuno dei due è un sostituto per avere qualcosa da dire.
E il conteggio delle parole e la formattazione?
Entrambi vengono gestiti meglio in seguito, da strumenti che sono certi piuttosto che probabilistici.
Un modello richiesto per 500 parole produce circa 500 parole, il che va bene fino a quando un breve dice "500 parole al massimo" e il progetto di terra a 538. Incolla il testo finale nel contatore parole e conoscere il numero piuttosto che stimarlo. Lo stesso vale per il livello di lettura e la lunghezza della frase, che la maggior parte dei marcatori si preoccupa più di quanto ammettono.
La formattazione è l'altra cosa che vale la pena separare. La bozza arriva in testo normale con intestazioni in stile Markdown, che è conveniente per la modifica e l'invio errato nella maggior parte dei corsi. Convertilo una volta alla fine, quando le parole hanno smesso di cambiare, piuttosto che combattere la formattazione attraverso sei revisioni.
I sette tipi di saggi cambiano qualcosa?
Più del livello accademico, il che mi ha sorpreso.
Lo strumento offre argomentativo, persuasivo, espositivo, narrativo, descrittivo, confronto e contrasto e causa ed effetto. Quelle non sono etichette cosmetiche sulla stessa bozza: cambiano il lavoro che i paragrafi del corpo stanno facendo. Una bozza argomentativa prende posizione e la difende contro un'obiezione implicita. Uno espositivo spiega senza schierarsi, quindi i paragrafi diventano categorie piuttosto che affermazioni. Confronta e contrasto riorganizza tutto attorno a due soggetti, che forza una struttura punto per punto o una struttura a blocchi, e il modello ne sceglie uno e lo tiene.
L'impostazione del livello accademico fa di meno. Regola il vocabolario e quanto appare la copertura, quindi la versione laureata di un argomento dice "l'evidenza suggerisce" dove la versione del liceo dice "questo mostra". L'argomento sottostante è solitamente gli stessi tre punti. Vale la pena sapere se speravi che l'ambiente laureato produca un pensiero a livello di laurea: produce un registro di livello universitario sullo stesso ragionamento.
La conseguenza pratica è scegliere con cura il tipo e il livello casualmente. Una bozza persuasiva quando hai bisogno di espositore è un saggio strutturalmente sbagliato; una bozza di scuola superiore quando hai bisogno di undergraduate è di venti minuti di riformulazione.
Un grande modello commerciale è migliore per questo?
Alla scrittura, sì. Alle cose che ti mettono nei guai, non ovviamente.
Un modello di grandi dimensioni scrive in modo più fluente, tiene insieme un argomento più lungo ed è molto meno probabile che produca il modello di citazione segnaposto sopra descritto. Se l'unico criterio è la qualità della prosa, vince e non è vicino.
Tre cose che non risolve. Non ha ancora alcun passaggio di ricerca, quindi inventa ancora con sicurezza: i fallimenti sono più rari e quindi più difficili da catturare, il che non è lo stesso che più sicuro. Produce ancora i racconti strutturali, perché quelli provengono dalla distribuzione dell'addestramento piuttosto che dalla dimensione del modello. E di solito mantiene il tuo testo: la maggior parte degli assistenti commerciali mantiene le conversazioni per impostazione predefinita e alcuni li usano per l'allenamento a meno che non si rinuncia, che è una proposta diversa quando il documento è una dichiarazione personale o un capitolo di tesi non pubblicato.
Questo è lo scambio che questo strumento rende deliberatamente: un modello più piccolo e meno fluente che funziona su un server che non mantiene nulla, offerto gratuitamente. Per una domanda di saggio di borsa, usa quello che scrive meglio. Per qualsiasi cosa non incolleresti in un forum pubblico, la domanda di conservazione è quella da porre per prima. Lo stesso ragionamento passa Come scriviamo tutto qui, dove i tell sono catalogati in modo più dettagliato di quanto questa pagina abbia spazio.
