Een leraar plakt een essay in een detector en krijgt "87% AI-gegenereerd" Een redacteur voert een freelancer's-artikel uit via een ander artikel en krijgt " waarschijnlijk mens" Een sollicitant krijgt te horen dat zijn sollicitatiebrief is gemarkeerd. In elk geval wordt één enkel nummer gevraagd een vraag over een persoon te beantwoorden: hebben ze dit geschreven? Dat nummer kan het gewicht niet dragen en de redenen zijn goed gedocumenteerd.
Wat eerlijk gemeten kan worden is de tekst zelf Zinlengte, woordenschat, hedging en interpunctie zijn feiten over schrijven, en het zijn dezelfde feiten die een concept formeel doen aanvoelen voor een lezer Deze gids legt uit waarom auteurschapsdetectie mislukt, wat elk meetbaar signaal betekent, hoe de getallen berekend worden, en hoe ze gebruikt kunnen worden om een concept te verbeteren in plaats van iemand te beschuldigen De voorbeelden gebruiken de AI Writing Checker, een van de Hulpmiddelen voor het schrijven van AI op Toolz, dat zes signalen rapporteert en opzettelijk geen kans op AI-auteurschap geeft.
tl;dr: Geen enkel hulpmiddel kan betrouwbaar zeggen of AI een tekst heeft geschreven OpenAI heeft in 2023 zijn eigen classificator ingetrokken voor lage nauwkeurigheid, en uit onderzoek blijkt dat detectoren niet-moedertaal Engelse schrijvers vaak als AI bestempelen Wat een controleur eerlijk kan meten is het schrijven: variatie in zinslengte (lastigheid), gemiddelde zinslengte, overmatig gebruikte woordenschat per 1.000 woorden, hedge frases, em dash density en verbindingsopeners De AI Writing Checker rapporteert deze zes signalen met het bewijsmateriaal achter elk signaal, draait aan de clientzijde en is gratis, geen aanmelding.
Kan een AI-detector vertellen wie een tekst heeft geschreven?
Nee. Een AI-detector is een statistische classificator die het auteurschap raadt op basis van oppervlaktekenmerken van de tekst, en die gissingen zijn vaak genoeg verkeerd dat het onveilig is om erop in te werken.
Het duidelijkste bewijs komt van de bedrijven die ze hebben gebouwd OpenAI heeft in januari 2023 een AI tekst classifier uitgebracht en in juli 2023 ingetrokken De update op de aankondigingspagina zegt dat de classificator niet langer beschikbaar was & quot; vanwege de lage nauwkeurigheid en quot; Wanneer de organisatie die het model heeft getraind geen betrouwbare detector voor de uitvoer kan bouwen, verdient een score van derden weinig vertrouwen.
De mislukkingen zijn ook niet willekeurig. Een onderzoek uit 2023 van Stanford-onderzoekers GPT-detectoren zijn bevooroordeeld ten opzichte van niet-moedertaal Engelse schrijvers (Liang et al.), voerde zeven veelgebruikte detectoren uit over TOEFL-essays geschreven door niet-moedertaalsprekers van het Engels Meer dan de helft van die door mensen geschreven essays werd gemiddeld geclassificeerd als AI-gegenereerd, terwijl essays van Amerikaanse achtsteklassers veel nauwkeuriger werden geclassificeerd. Het mechanisme is eenvoudig: mensen die in een tweede taal schrijven, hebben de neiging een smaller vocabulaire en een meer regelmatige zinsstructuur te gebruiken, en regelmaat is precies wat detectoren als machine-achtig lezen.
Nog twee problemen maken scores kwetsbaar Lichte bewerking van een gegenereerde concept kan een score verplaatsen van & quot; AI" naar & quot;human" En zware bewerking van een menselijke concept met grammaticasoftware kan het de andere kant op verplaatsen Een meting die onder gewone bewerking omslaat, is niet het meten van auteurschap.
Wat kan een schrijfcontrole eerlijk meten?
Het kan eigenschappen van de tekst meten die waar zijn, ongeacht wie deze heeft geproduceerd. De Toolz-checker rapporteert zes:
| Signal | Wat het meet | Hoe het wordt gerapporteerd | Mensachtig einde | Formulaic end |
|---|---|---|---|---|
| Zinlengtevariatie | Hoeveel zinslengtes verschillen (burstiness) | Variatiecoëfficiënt, als percentage | 70% of meer | 15% of minder |
| Gemiddelde zinslengte | Gemiddelde woorden per zin | tekst | 14 of minder | 30 of meer |
| Overmatig gebruikte woordenschat | Ongeveer 40 woorden modellen overmatig gebruik | Tel en beoordeel per 1.000 woorden | 0 per 1.000 | 20 of meer per 1.000 |
| Heggenzinnen | Zinnen als " het is vermeldenswaard" | staat maken op | 0 | 5 of meer |
| Em dash dichtheid | Em en en streepjes | Tel en beoordeel per 1.000 woorden | 0 per 1.000 | 10 of meer per 1.000 |
| Connective openers | Zinnen die beginnen Bovendien, maar bovendien | Aandeel zinnen | 0% | 30% of meer |
Elk signaal wordt op een schaal van 0 tot 1 tussen die twee ankers geplaatst, en gekleurd als mensachtig (onder 0,34), gemengd (0,34 tot 0,67) of formule-isch (boven 0,67).De ankers zijn bewerkingsdrempels, geen statistische grenswaarden voor auteurschap. Ze markeren waar een lezer het patroon begint op te merken.
Elk signaal vermeldt ook zijn bewijs: de werkelijke zinslengtes, de woorden die overeenkomen, de gevonden heggen, de zinnen die met een connectief zijn geopend Als een getal er verkeerd uitziet, laat het bewijs zien waarom.
Wat is burstiness, en waarom is het het sterkste signaal?
Lastigheid is hoeveel zinslengte varieert over een tekst Menselijk schrijven mengt korte en lange zinnen Een zin van drie woorden levert een punt op Een zin van dertig woorden loopt door een kwalificatie met zijn clausules Gegenereerde concepten hebben de neiging om zich te vestigen in een uniforme middelste lengte, zin na zin van vijftien tot tweeëntwintig woorden.
De schijf rapporteert burstiness als variatiecoëfficiënt: de standaardafwijking van zinslengtes gedeeld door het gemiddelde Door te delen door het gemiddelde wordt het cijfer onafhankelijk van hoe lang de zinnen in het algemeen zijn, dus een tekst van korte zinnen en een tekst van lange zinnen kunnen eerlijk worden vergeleken.
Hier is de berekening voor vier zinnen met lengtes van 4, 17, 2 en 11 woorden:
mean = (4 + 17 + 2 + 11) / 4 = 8.5
squares = 4.5² + 8.5² + 6.5² + 2.5² = 20.25 + 72.25 + 42.25 + 6.25 = 141
variance = 141 / 4 = 35.25
std dev = √35.25 ≈ 5.94
CV = 5.94 / 8.5 ≈ 0.70 → "70% variation"
Bij 70% zit de tekst aan het mensachtige uiteinde Verander die lengtes naar 15, 17, 16 en 18 en de standaarddeviatie daalt naar ongeveer 1,12 op een gemiddelde van 16,5, een variatie van ongeveer 7%, wat het formule-uiteinde is.
Onrust is het sterkste signaal, omdat het moeilijk te vervalsen is zonder te herschrijven en gemakkelijk te repareren als je dat doet: deel één lange zin, voeg twee korte samen en voeg een heel korte zin toe waarin een punt de nadruk verdient.
Hoe worden woordenschat, hedging, streepjes en openers geteld?
Overmatig gebruikte woordenschat. De schijf telt overeenkomsten van hele woorden uit een lijst van ongeveer 40 woorden die veel vaker voorkomen in gegenereerde tekst dan in menselijk schrift, inclusief leverage, robust, crucial, comprehensive, holistic, meticulous, transformative en navigating. De telling wordt omgezet in een tarief per 1.000 woorden, dus korte en lange teksten zijn vergelijkbaar.
Heggenzinnen. Er worden tien patronen geteld, waaronder " het is belangrijk om op te merken", " het is vermeldenswaard", " het moet worden genoteerd", "wanneer het gaat om", " aan het einde van de dag", "needless to say" en "in vandaag's snelle wereld".
Em dash dichtheid. Elk em dash en en dash wordt geteld en omgezet naar een snelheid per 1.000 woorden Mensen die op een toetsenbord typen, produceren het personage zelden; modellen produceren het constant.
Connective openers. De schijf telt zinnen die beginnen met Bovendien, Bovendien, Bovendien, Opvallend, Belangrijk, Bijgevolg of Echter, als een deel van alle zinnen.
Gemiddelde zinslengte. Het gemiddelde aantal woorden per zin Rond de 15 tot 20 woorden leest comfortabel; na 25 begint de lezer te werken.
Zinnen worden gesplitst na een punt, vraagteken of uitroepteken gevolgd door witruimte, en woorden zijn loopjes met letters en apostrofs Afkortingen zoals " bijv." kunnen dus een zin vroegtijdig splitsen, waardoor de lengtecijfers enigszins veranderen De bewijslijst toont de lengtes zodat je deze kunt spotten.
Een uitgewerkt voorbeeld met elk getal
Plak deze korte tekst:
The report is ready. It covers three regions and explains why sales in the north fell by a fifth last spring. Read it. Moreover, it is important to note that the landscape is changing.
De controleur rapporteert 34 woorden en 4 zinnen, met deze signalen
| Signal | waarde | senseren |
|---|---|---|
| Zinlengtevariatie | 70% variatie (lengtes 4, 17, 2, 11) | Menselijk |
| Gemiddelde zinslengte | 8,5 woorden | Menselijk |
| Overmatig gebruikte woordenschat | 1 exemplaar (29,4 per 1.000 woorden): landschap | Formulaic |
| Heggenzinnen | 1 gevonden: " het is belangrijk om op te merken" | Menselijk |
| Em dash dichtheid | 0 streepjes (0,0 per 1.000 woorden) | Menselijk |
| Connective openers | 1 van 4 zinnen | Formulaic |
Hieruit komen twee lessen ten eerste slingeren de tarieven op zeer korte teksten hard: één woord op 34 is een tarief van 29,4 per 1.000, buiten de schaal Plak minstens een paar honderd woorden voordat je veel in de woordenschat en streepjesfrequentie leest Ten tweede wijzen de signalen op een specifieke zin. De laatste heeft een opener, een hedge en een vermeld woord, en herschrijft deze naar & quot; De markt verandert." wist ze alle drie.
Het algemene label voor deze tekst is "Leest natuurlijk", omdat het gemiddelde van de zes scores net onder de gemengde drempel komt Dat borderline resultaat is een goede illustratie van waarom het totale label een samenvatting van de signalen is en geen cijfer.
Hoe moet je een schrijfcontrole gebruiken, en hoe moet je dat niet doen?
Gebruik het op je eigen concepten, om te vinden welke alinea's als formeel gelezen worden, en om te leren hoe de patronen eruit zien Gebruik het bij het bewerken van bijgedragen werk, als een verwijzing naar waar een lichtbewerking zou helpen.
Gebruik het niet om te beslissen of een student vals speelde, of een freelancer een model gebruikte, of dat een sollicitant zijn eigen brief schreef De pagina zegt dit in een waarschuwingsvak boven de resultaten, en de reden is te herhalen: geen enkele detector kan auteurschap vaststellen, valse positieven vallen het hardst op tweedetaalschrijvers, en een beschuldiging die op een partituur is gebaseerd kan iemand die niets verkeerd heeft gedaan echt kwaad doen Als auteurschap er echt toe doet, praat dan met de schrijver, kijk naar concepten en revisiegeschiedenis, of vraag hen om hun redenering uit te leggen.
Er is ook geen score om naar te streven Als de variatie laag is, varieer dan je zinnen Als de hedging hoog is, knip heggen.Beide verbeteren het schrijven wie het ook heeft geschreven.
Hoe repareer je wat de controleur vindt?
Elk signaal heeft een directe fix.
| Vinden | Fix |
|---|---|
| Lage zinslengtevariatie | Eén lange zin splitsen; twee korte samenvoegen; een zeer korte zin toevoegen voor nadruk |
| Hoge gemiddelde zinslengte | Zinnen breken bij "and", "which" en "omdat" waar de clausules op zichzelf staan |
| Hoge woordenschat | Wissel elk vermeld woord voor een gewoon woord: gebruik, sterk, sleutel, compleet |
| Heggenzinnen | Verwijder de zin; de zin betekent hetzelfde |
| Hoge em dash rate | Vervang streepjes door puntjes, komma's of haakjes, afhankelijk van wat de zin wil |
| Connective openers | Verwijder de opener; de volgorde van de zinnen toont al het verband |
Verschillende hiervan kunnen automatisch worden toegepast De AI Text Humanizer verwijdert heggen en openers, verwisselt overmatig gebruikte woorden en vervangt streepjes, en geeft een lijst van elke wijziging, zodat u degene die niet passen kunt weigeren Het verandert de zinslengte niet, dus burstiness is nog steeds een handmatige bewerking Een praktische lus is: controleren, humaniseren, zinsritme met de hand bewerken, en dan opnieuw controleren.
Als u wilt zien hoeveel uw bewerkingen zijn gewijzigd, plak dan de voor- en nabewerkingen in een tekst diff checker. Voor lengtedoelen op een specifiek platform, de gids voor woorden tellen en leestijd behandelt hoe het aantal woorden wordt berekend en waarom tools het daar niet mee eens zijn.
Patrooncontrole versus AI-detector versus leesbaarheidsscore
Deze drie tools beantwoorden verschillende vragen en worden vaak verward.
| Gereedschapstype | Vraag die het beantwoordt | prestatie | Betrouwbaar voor |
|---|---|---|---|
| AI-detector | Heeft een model dit geschreven? | Een waarschijnlijkheid of vonnis | Niets consequenties; nauwkeurigheid is te laag |
| Patrooncontrole | Welke formule-gewoonten heeft deze tekst? | Gemeten signalen met bewijs | Bewerking en zelfbeoordeling |
| Leesbaarheidsscore (Flesch en vergelijkbaar) | Hoe moeilijk is dit om te lezen? | Een cijferniveau of easesscore | Tekst matchen met een publiek |
Een leesbaarheidsformule en een patrooncontrole overlappen elkaar op zinslengte maar kijk naar verschillende dingen daarbuiten Flesch-score telt lettergrepen per woord; de patrooncontrole telt specifieke woorden en constructies Bij elkaar gebruikt vertellen ze je of een concept moeilijk leesbaar is en of het leest zoals het is gesjablooneerd.
Wordt de tekst geüpload of opgeslagen?
Nee Elke meting wordt uitgevoerd in JavaScript in uw browser De tekst wordt niet verzonden, gelogd of opgeslagen, en de pagina werkt offline zodra deze is geladen Wanneer het tekstvak focus verliest, registreert de pagina een gebruiksgebeurtenis die alleen het aantal woorden bevat, nooit de tekst.
Dat is van belang voor de exacte documenten die mensen het liefst willen controleren: ongepubliceerde concepten, studentenwerk, manuscripten en klantresultaten De woordenlijsten en drempels staan vast op de pagina, dus dezelfde tekst levert altijd dezelfde cijfers op, waardoor resultaten reproduceerbaar zijn als twee redacteuren aantekeningen vergelijken.
Om nu een concept te controleren, plak het in de schrijfpatrooncontrole, lees het bewijsmateriaal onder elk signaal en repareer de twee of drie die er het meest toe doen.
