Un insegnante incolla un saggio in un rilevatore e ottiene & quot;87% AI-generated" Un editore esegue un freelancer's articolo attraverso un altro e ottiene & quot; probabile human" A un candidato al lavoro viene detto che la sua lettera di presentazione è stata contrassegnata In ogni caso viene chiesto a un singolo numero di rispondere a una domanda su una persona: hanno scritto questo? quel numero non può portare il peso, e le ragioni sono ben documentate.
Ciò che può essere misurato onestamente è il testo stesso Lunghezza della frase, vocabolario, copertura e punteggiatura sono fatti sulla scrittura, e sono gli stessi fatti che fanno sembrare una bozza stereotipata per un lettore Questa guida spiega perché il rilevamento della paternità fallisce, cosa significa ogni segnale misurabile, come vengono calcolati i numeri e come usarli per migliorare una bozza piuttosto che per accusare qualcuno Gli esempi usano il Controllo scrittura AI, uno dei Strumenti di scrittura AI su Toolz, che riporta sei segnali e deliberatamente non dà alcuna probabilità di paternità AI.
tl; dr: Nessuno strumento può dire in modo affidabile se l'IA ha scritto un testo OpenAI ha ritirato il proprio classificatore nel 2023 per una bassa precisione e la ricerca mostra che i rilevatori spesso segnalano gli scrittori inglesi non nativi come AI. Ciò che un controllore può misurare onestamente è la scrittura: variazione della lunghezza della frase (irruzione), lunghezza media della frase, vocabolario abusato per 1.000 parole, frasi di siepe, densità del trattino em e aperture connettive. Il Controllo scrittura AI segnala quei sei segnali con le prove dietro ciascuno, funziona lato client ed è gratuito, senza registrazione.
Un rilevatore di IA può dire chi ha scritto un testo?
No. Un rilevatore di intelligenza artificiale è un classificatore statistico che indovina la paternità dalle caratteristiche superficiali del testo, e tali ipotesi sono abbastanza sbagliate da non essere sicure.
Le prove più chiare provengono dalle aziende che li hanno costruiti OpenAI ha rilasciato un classificatore di testo AI nel gennaio 2023 e lo ha ritirato nel luglio 2023 L'aggiornamento su la sua pagina di annuncio dice che il classificatore non era più disponibile & quot; a causa del suo basso tasso di accuratezza" Quando l'organizzazione che ha addestrato il modello non può costruire un rilevatore affidabile per il suo output, un punteggio di terze parti merita poca fiducia.
Anche i fallimenti non sono casuali. Uno studio del 2023 condotto da ricercatori di Stanford, I rilevatori GPT sono prevenuti nei confronti degli scrittori inglesi non nativi (Liang et al.), hanno eseguito sette rilevatori ampiamente utilizzati su saggi TOEFL scritti da non madrelingua inglesi Più della metà di quei saggi scritti dall'uomo sono stati classificati in media come generati dall'intelligenza artificiale, mentre i saggi degli studenti di terza media statunitensi sono stati classificati in modo molto più accurato Il meccanismo è semplice: le persone che scrivono in una seconda lingua tendono a utilizzare un vocabolario più ristretto e una struttura delle frasi più regolare, e la regolarità è esattamente ciò che i rilevatori leggono come simile a una macchina.
Altri due problemi rendono fragili i punteggi La modifica leggera di una bozza generata può spostare un punteggio da & quot; AI" a & quot; human" E la modifica pesante di una bozza umana con un software di grammatica può spostarla dall'altra parte Una misurazione che si capovolge sotto la modifica ordinaria non misura la paternità.
Cosa può misurare onestamente un correttore di scrittura?
Può misurare proprietà del testo che sono vere indipendentemente da chi lo ha prodotto Il correttore Toolz riporta sei:
| Segnale | Cosa misura | Come viene riportato | Fine simile a quella umana | Fine formulaica |
|---|---|---|---|---|
| Variazione lunghezza frase | Quanta lunghezza della frase differisce (burstiness) | Coefficiente di variazione, in percentuale | 70% o più | 15% o meno |
| Lunghezza media della frase | Parole medie per frase | parole | 14 o meno | 30 o più |
| Vocabolario abusato | Circa 40 modelli di parole abusano | Conteggio e tariffa per 1.000 parole | 0 per 1.000 | 20 o più ogni 1.000 |
| Frasi di siepe | Frasi come & quot; vale la pena notare& quot; | conte | 0 | 5 o più |
| Densità del trattino EM | Em e i trattini | Conteggio e tariffa per 1.000 parole | 0 per 1.000 | 10 o più ogni 1.000 |
| Apritori connettivi | Sentenze che iniziano Inoltre, Inoltre, Tuttavia | Quota di frasi | 0% | 30% o più |
Ogni segnale è posto su una scala da 0 a 1 tra questi due ancoraggi e colorato come simile a un essere umano (sotto 0,34), misto (da 0,34 a 0,67) o stereotipato (sopra 0,67). Gli ancoraggi sono soglie di modifica, non limiti statistici per la paternità. Segnano dove un lettore inizia a notare lo schema.
Ogni segnale elenca anche le sue prove: le lunghezze effettive delle frasi, le parole abbinate, le siepi trovate, le frasi che si aprivano con un connettivo Se un numero sembra sbagliato, le prove mostrano il perché.
Cos'è la prorompenza e perché è il segnale più forte?
La burstiness è quanto varia la lunghezza della frase in un testo La scrittura umana mescola frasi brevi e lunghe Una frase di tre parole ottiene un punto Una frase di trenta parole attraversa una qualifica con le sue clausole Le bozze generate tendono a stabilirsi in una lunghezza media uniforme, frase dopo frase da quindici a ventidue parole.
La pedina riporta la prorompenza come coefficiente di variazione: la deviazione standard delle lunghezze delle frasi divise per la media Dividendo per la media si rende la figura indipendente da quanto sono lunghe le frasi nel complesso, quindi un testo di frasi brevi e un testo di frasi lunghe possono essere confrontati equamente.
Ecco il calcolo per quattro frasi con lunghezze di 4, 17, 2 e 11 parole:
mean = (4 + 17 + 2 + 11) / 4 = 8.5
squares = 4.5² + 8.5² + 6.5² + 2.5² = 20.25 + 72.25 + 42.25 + 6.25 = 141
variance = 141 / 4 = 35.25
std dev = √35.25 ≈ 5.94
CV = 5.94 / 8.5 ≈ 0.70 → "70% variation"
Al 70% il testo si trova all'estremità simile a quella umana. Cambiare quelle lunghezze in 15, 17, 16 e 18 e la deviazione standard scende a circa 1,12 con una media di 16,5, una variazione di circa il 7%, che è l'estremità stereotipata.
La burstiness è il segnale singolo più forte perché è difficile da falsificare senza riscrivere e facile da risolvere quando lo fai: dividi una frase lunga, unisci due brevi e aggiungi una frase molto breve in cui un punto merita enfasi.
Come vengono conteggiati vocabolario, copertura, trattini e aperture?
Vocabolario abusato. Il correttore conta le corrispondenze di parole intere da un elenco di circa 40 parole che appaiono molto più spesso nel testo generato che nella scrittura umana, incluso leverage, robust, crucial, comprehensive, holistic, meticulous, transformative e navigating. Il conteggio viene convertito in una velocità per 1.000 parole in modo da confrontare testi brevi e lunghi.
Frasi di siepe. Vengono conteggiati dieci modelli, incluso & quot; è importante notare& quotare;, & quot; vale la pena notare& quot;, & quot; dovrebbe essere notato& quot;, & quot; quando si tratta di & quot;, & quot; alla fine del giorno& quot;, & quot; inutile dire& quot; e & quot;in today's frenetico mondo"e;.
Densità del trattino EM. Ogni trattino em e it dash vengono contati e convertiti in una velocità per 1.000 parole. Le persone che digitano su una tastiera raramente producono il carattere; i modelli lo producono costantemente.
Apritori connettivi. La pedina conta le frasi che iniziano con Inoltre, Inoltre, in particolare, importante, di conseguenza o comunque, come una quota di tutte le frasi.
Lunghezza media della frase. Il conteggio medio delle parole per frase Circa 15 a 20 parole legge comodamente; passato 25 il lettore inizia a lavorare.
Le frasi vengono divise dopo un punto, punto interrogativo o punto esclamativo seguito da spazi bianchi e le parole sono sequenze di lettere e apostrofi Abbreviazioni come & quot; ad esempio & quot; può quindi dividere una frase in anticipo, che modifica leggermente le cifre di lunghezza L'elenco delle prove mostra le lunghezze in modo da poterla individuare.
Un esempio funzionante con ogni numero
Incolla questo breve testo:
The report is ready. It covers three regions and explains why sales in the north fell by a fifth last spring. Read it. Moreover, it is important to note that the landscape is changing.
La dama riporta 34 parole e 4 frasi, con questi segnali
| Segnale | valore | verdetto |
|---|---|---|
| Variazione lunghezza frase | Variazione del 70% (lunghezze 4, 17, 2, 11) | Umano-simile |
| Lunghezza media della frase | 8,5 parole | Umano-simile |
| Vocabolario abusato | 1 istanza (29,4 per 1.000 parole): paesaggio | Formulaico |
| Frasi di siepe | 1 trovato: & quot; è importante notare& quotare; | Umano-simile |
| Densità del trattino EM | 0 trattini (0,0 per 1.000 parole) | Umano-simile |
| Apritori connettivi | 1 di 4 frasi | Formulaico |
Ne escono due lezioni Primo, le tariffe su testi molto brevi oscillano forte: una parola su 34 è una tariffa di 29,4 per 1.000, fuori scala Incolla almeno qualche centinaio di parole prima di leggere molto nel vocabolario e nelle velocità di trattino Secondo, i segnali puntano a una frase specifica L'ultimo porta un apritore, una siepe e una parola elencata, e riscrivendolo in & quot; Il mercato sta cambiando.& quot; cancella tutti e tre.
L'etichetta complessiva per questo testo è & quot;Legge naturalmente", perché la media dei sei punteggi atterra appena sotto la soglia mista Quel risultato borderline è una buona illustrazione del perché l'etichetta complessiva è un riassunto dei segnali e non un voto.
Come dovresti usare un correttore per scrivere e come non dovresti?
Usalo sulle tue bozze, per trovare quali paragrafi leggono come stereotipati e per sapere come appaiono i modelli Usalo quando modifichi il lavoro contribuito, come puntatore a dove aiuterebbe una modifica leggera.
Non usarlo per decidere se uno studente ha imbrogliato, se un libero professionista ha usato un modello o se un richiedente ha scritto la propria lettera La pagina dice questo in una casella di avviso sopra i risultati, e il motivo vale la pena ripetere: nessun rilevatore può stabilire la paternità, i falsi positivi cadono più duramente sugli scrittori di seconda lingua e un'accusa costruita su un punteggio può fare un danno reale a qualcuno che non ha fatto nulla di sbagliato Se la paternità conta davvero, parla con lo scrittore, guarda le bozze e la storia delle revisioni o chiedi loro di spiegare il loro ragionamento.
Non c'è inoltre nessun punteggio a cui puntare Se la variazione è bassa, varia le tue frasi Se la copertura è alta, taglia le siepi Entrambi migliorano la scrittura chi l'ha scritta.
Come si sistema ciò che trova la dama?
Ogni segnale ha una correzione diretta.
| Trovare | Fix |
|---|---|
| Variazione della lunghezza della frase bassa | Dividere una frase lunga; unire due brevi; aggiungere una frase molto breve per enfatizzare |
| Lunghezza media della frase alta | Rompi frasi in & quot; e& quot;, & quot; quale& quot; e & quot;perché& quot; dove le clausole sono autonome |
| Alto tasso di vocabolario | Scambia ogni parola elencata con una semplice: usa, forte, chiave, completa |
| Frasi di siepe | Eliminare la frase; la frase significa la stessa cosa |
| Alta percentuale di dash di em | Sostituisci i trattini con punti, virgole o parentesi, a seconda di quale frase desideri |
| Apritori connettivi | Elimina l'apripista; l'ordine delle frasi mostra già la connessione |
Diversi di questi possono essere applicati automaticamente Il AI Text Humanizer rimuove le siepi e gli apri, scambia parole abusate e sostituisce i trattini ed elenca ogni modifica in modo da poter rifiutare quelle che non si adattano Non cambia la lunghezza della frase, quindi la burstiness è ancora una modifica manuale Un ciclo pratico è: controllare, umanizzare, modificare il ritmo della frase a mano, quindi controllare di nuovo.
Se vuoi vedere quanto sono cambiate le tue modifiche, incolla il prima e il dopo in a verificatore di diff testuale. Per gli obiettivi di lunghezza su una piattaforma specifica, la guida a conteggio delle parole e tempo di lettura copre il modo in cui vengono calcolati i conteggi delle parole e perché gli strumenti non sono d'accordo.
Controllo del modello rispetto al rilevatore AI rispetto al punteggio di leggibilità
Questi tre strumenti rispondono a domande diverse e sono spesso confusi.
| Tipo utensile | Metti in dubbio le risposte | uscita | Affidabile per |
|---|---|---|---|
| Rivelatore AI | Una modella ha scritto questo? | Una probabilità o un verdetto | Niente di consequenziale; la precisione è troppo bassa |
| Controllore di modelli | Quali abitudini stereotipate ha questo testo? | Segnali misurati con prove | Montaggio e auto-revisione |
| Punteggio di leggibilità (Flesch e simili) | Quanto è difficile leggerlo? | Un livello di grado o un punteggio di facilità | Abbinamento del testo a un pubblico |
Una formula di leggibilità e un controllo di pattern si sovrappongono sulla lunghezza della frase ma guardano cose diverse al di là di essa Il punteggio di Flesch conta le sillabe per parola; il controllo di pattern conta parole e costruzioni specifiche Usati insieme, ti dicono se una bozza è difficile da leggere e se si legge come modellata.
Il testo viene caricato o memorizzato?
No. Ogni misurazione viene eseguita in JavaScript nel browser Il testo non viene trasmesso, registrato o memorizzato e la pagina funziona offline una volta caricata Quando la casella di testo perde il focus, la pagina registra un evento di utilizzo contenente solo il conteggio delle parole, mai il testo.
Ciò è importante per i documenti esatti che le persone desiderano controllare di più: bozze inedite, lavoro degli studenti, manoscritti e risultati finali dei clienti. Gli elenchi di parole e le soglie sono fissi nella pagina, quindi lo stesso testo produce sempre gli stessi numeri, il che rende i risultati riproducibili se due redattori confrontano le note.
Per controllare una bozza adesso, incollalo nel correttore del modello di scrittura, leggi le prove sotto ogni segnale e fissa le due o tre che contano di più.
