교사는 탐지기에 에세이를 붙여 넣기하고 & quot;87% AI-generated". 편집자는 다른 하나를 통해 freelancer's 기사를 실행하고 & quot;likely human". 구직자는 자신의 표지 편지에 플래그가 지정되었다고합니다. 각각의 경우에 단일 번호는 사람에 대한 질문에 대답하도록 요청 받고있다: 그들은 이것을 썼습니까? 그 숫자는 무게를 지닐 수 없으며 그 이유는 잘 문서화되어 있습니다.
정직하게 측정할 수 있는 것은 텍스트 그 자체입니다. 문장 길이,어휘, 헤징 및 구두점은 글쓰기에 관한 사실이며,초안이 독자에게 공식적이라고 느끼게 하는 동일한 사실입니다. 이 안내서는 저자 탐지가 실패하는 이유,각 측정 가능한 신호의 의미,숫자가 계산되는 방식,누군가를 비난하기보다는 초안을 개선하는 데 사용하는 방법을 설명합니다. 예제는 다음을 사용합니다 AI 쓰기 검사기, 중 하나 AI 쓰기 도구 6개의 신호를 보고하고 의도적으로 AI 저작 확률을 제공하지 않는 Toolz에서.
TL;DR: AI 가 텍스트를 작성했는지 여부를 확실하게 알 수있는 도구는 없습니다. OpenAI 는 낮은 정확도를 위해 2023 년에 자체 분류기를 철회했으며 연구에 따르면 탐지기는 종종 영어가 모국어가 아닌 작가를 AI 로 표시합니다. 체커가 정직하게 측정 할 수있는 것은 글쓰기입니다: 문장 길이 변형 (폭발), 평균 문장 길이,1,000 단어 당 과도하게 사용되는 어휘,헤지 구문,em 대시 밀도 및 연결 오프너. The AI 쓰기 검사기 각 신호 뒤에 증거가 있는 6개의 신호를 보고하고 클라이언트 측에서 실행되며 가입이 없고 무료입니다.
AI 탐지기가 누가 문자를 썼는지 알 수 있나요?
아니요. AI 탐지기는 텍스트의 표면 특징을 통해 저자를 추측하는 통계 분류기이며, 이러한 추측은 종종 잘못되어 해당 추측에 작용하는 것이 안전하지 않습니다.
가장 명확한 증거는 이를 구축한 회사에서 나옵니다. OpenAI는 2023년 1월에 AI 텍스트 분류기를 출시하고 2023년 7월에 철회했습니다. 업데이트 발표 페이지입니다 분류기가 더 이상 사용할 수 없다고 말합니다 "due to its low rate of accuracy". 모델을 훈련시킨 조직이 출력에 대한 신뢰할 수 있는 검출기를 구축할 수 없을 때 제 3 자 점수는 거의 신뢰받을 가치가 없습니다.
실패도 무작위가 아닙니다. 스탠포드 연구진의 2023년 연구, GPT 탐지기는 영어가 모국어가 아닌 작가에게 편향되어 있습니다 (Liang et al.), 영어가 모국어가 아닌 사람들이 쓴 TOEFL 에세이를 통해 널리 사용되는 7 개의 탐지기를 실행했습니다. 인간이 쓴 에세이 중 절반 이상이 평균적으로 AI 생성으로 분류 된 반면,미국 8 학년 학생들의 에세이는 훨씬 더 정확하게 분류되었습니다. 메커니즘은 간단합니다: 제 2 언어로 글을 쓰는 사람들은 더 좁은 어휘와 더 규칙적인 문장 구조를 사용하는 경향이 있으며 규칙성은 탐지기가 기계와 같이 읽는 것과 정확히 같습니다.
두 가지 문제가 더 있으면 점수가 깨지기 쉽습니다. 생성된 초안의 가벼운 편집은 "AI"에서 "human"로 점수를 이동할 수 있습니다. 그리고 문법 소프트웨어로 인간 초안을 무겁게 편집하면 다른 방향으로 이동할 수 있습니다. 일반적인 편집에서 뒤집히는 측정은 저자임을 측정하는 것이 아닙니다.
글쓰기 검사기는 정직하게 무엇을 측정할 수 있나요?
누가 제작했는지에 관계없이 참인 텍스트의 속성을 측정할 수 있습니다. Toolz 검사기는 여섯 가지를 보고합니다:
| 신호 | 측정하는 것 | 어떻게 보고되는지 | 인간같은 끝 | 공식적인 끝 |
|---|---|---|---|---|
| 문장 길이 변형 | 얼마나 많은 문장 길이가 다른지 (폭발) | 백분율로 나타낸 변동 계수입니다 | 70% 이상 | 15% 이하 |
| 평균 문장 길이 | 문장당 평균 단어입니다 | 단어 | 14 이하 | 30 이상 |
| 과도하게 사용되는 어휘 | 약 40 단어 모델이 남용됩니다 | 1,000 단어당 계산 및 평가 | 1,000명당 0입니다 | 1,000명당 20명 이상 |
| 헤지 문구 | 같은 문구 "it is worth noting" | 백작 | 0 | 5 개 이상 |
| Em 대시 밀도 | Em 및 en 대시 | 1,000 단어당 계산 및 평가 | 1,000명당 0입니다 | 1,000명당 10명 이상 |
| 연결식 오프너 | 문장이 시작됩니다. 게다가, 그러나 | 문장들의 몫 | 0% | 30% 이상 |
각 신호는 그 두 앵커 사이에 0 에서 1 의 스케일로 배치되며,인간과 같은 색으로 (0,34 이하), 혼합 (0,34 에서 0,67 이상) 또는 공식 (0,67 이상) 으로 채색됩니다. 앵커는 편집 임계 값이지 저자에 대한 통계적 컷오프 패턴이 독자가 알아 채기 시작하는 위치를 표시합니다.
모든 신호는 또한 그 증거를 나열합니다: 실제 문장 길이, 일치하는 단어, 발견 된 울타리, 연결사로 열린 문장 숫자가 잘못 보이면 증거는 그 이유를 보여줍니다.
버스트 성이란 무엇이며, 왜 가장 강한 신호입니까?
파열은 얼마나 문장의 길이가 텍스트에 따라 다릅니다. 인간의 쓰기는 짧은 문장과 긴 문장을 혼합합니다. 세 단어 문장은 포인트를 착륙. 서른 단어 문장은 그 절과 함께 자격을 통해 산책. 생성 된 초안은 균일 한 중간 길이,열다섯 스물두 단어의 문장 후 문장으로 정착하는 경향이있다.
체커는 파열성을 변동 계수로 보고합니다: 평균으로 나눈 문장 길이의 표준 편차 평균으로 나누면 문장이 전체적으로 얼마나 긴지에 관계없이 그림이 독립적이므로 짧은 문장의 텍스트와 긴 문장의 텍스트를 공정하게 비교할 수 있습니다.
다음은 길이가 4, 17, 2, 11단어인 4개의 문장에 대한 계산입니다:
mean = (4 + 17 + 2 + 11) / 4 = 8.5
squares = 4.5² + 8.5² + 6.5² + 2.5² = 20.25 + 72.25 + 42.25 + 6.25 = 141
variance = 141 / 4 = 35.25
std dev = √35.25 ≈ 5.94
CV = 5.94 / 8.5 ≈ 0.70 → "70% variation"
70%에서 텍스트는 인간과 같은 끝에 위치합니다. 그 길이를 15, 17, 16 및 18 로 변경하고 표준 편차는 약 1.12 로 떨어지며 평균 16.5, 대략 7%의 변형으로 공식 끝입니다.
버스티니스는 가장 강력한 단일 신호인데, 왜냐하면 다시 쓰지 않고 가짜로 만들기가 어렵고, 그렇게 할 때 쉽게 고칠 수 있기 때문입니다: 하나의 긴 문장을 나누고, 두 개의 짧은 문장을 병합하고, 한 점이 강조할 가치가 있는 매우 짧은 문장을 추가하십시오.
어휘, 헤징, 대시 및 오프너는 어떻게 계산됩니까?
지나치게 사용되는 어휘. 검사기는 다음을 포함하여 사람이 쓴 글보다 생성된 텍스트에 훨씬 더 자주 나타나는 약 40개의 단어 목록에서 전체 단어 일치를 계산합니다 leverage, robust, crucial, comprehensive, holistic, meticulous, transformative 그리고 navigating. 개수는 1,000단어당 비율로 변환되므로 짧은 텍스트와 긴 텍스트를 비교합니다.
헤지 문구. "를 포함하여 10 개의 본은 세어집니다,note", "그것은 noting", "it 가치가 있습니다 noted", "그것은 noted", "when it comes to", "하루의 끝에", "말할 필요없이" 및 "in today's fast-paced world".
Em 대시 밀도. 모든 em 대시와 en 대시는 계산되고 1,000 단어 당 비율로 변환됩니다. 키보드로 입력하는 사람들은 거의 문자를 생성하지 않습니다; 모델은 끊임없이 그것을 생성합니다.
연결식 오프너. 검사기는 또한, 게다가, 추가적으로, 특히, 중요하게도, 결과적으로 또는 그러나로 시작하는 문장을 모든 문장의 일부로 계산합니다.
평균 문장 길이. 문장당 평균 단어 수입니다. 약 15~20개의 단어가 편안하게 읽혀집니다; 25년이 지나면 독자는 작업을 시작합니다.
문장은 마침표,물음표 또는 느낌표 뒤에 공백이 붙은 후 분할되며 단어는 문자와 아포스트로피의 실행입니다. "e.g."와 같은 약어는 따라서 문장을 일찍 분할할 수 있으며,이로 인해 길이 수치가 약간 변경됩니다. 증거 목록에는 길이를 표시하므로 이를 발견할 수 있습니다.
모든 숫자로 작업된 예입니다
이 짧은 텍스트를 붙여넣으세요:
The report is ready. It covers three regions and explains why sales in the north fell by a fifth last spring. Read it. Moreover, it is important to note that the landscape is changing.
검사기는 34 단어와 4 문장을보고하며, 이러한 신호와 함께:
| 신호 | 값 | 평결 |
|---|---|---|
| 문장 길이 변형 | 70% 변동(길이 4, 17, 2, 11) | 인간 같은 |
| 평균 문장 길이 | 8.5 단어 | 인간 같은 |
| 과도하게 사용되는 어휘 | 1개 인스턴스(1,000단어당 29.4): 풍경 | 공식 |
| 헤지 문구 | 1 발견: "note"에 중요합니다 | 인간 같은 |
| Em 대시 밀도 | 대시 0 개 (1,000 단어당 0.0) | 인간 같은 |
| 연결식 오프너 | 4 문장 중 1 | 공식 |
이로부터 두 가지 교훈이 나옵니다. 첫째,매우 짧은 텍스트의 비율은 열심히 스윙합니다: 34 의 한 단어는 1,000 당 29,4 의 비율로,규모에서 벗어납니다. 어휘와 대시 속도로 많이 읽기 전에 적어도 몇 백 단어를 붙여 넣습니다. 둘째,신호는 특정 문장을 가리킵니다. 마지막 하나는 오프너,헤지 및 나열된 단어를 운반하고 "The market is changing." 세 가지를 모두 지웁니다.
이 텍스트의 전체 레이블은 "Reads naturally", 6 개의 점수의 평균이 혼합 임계값 바로 아래에 떨어지기 때문입니다. 그 경계선 결과는 전체 레이블이 등급이 아닌 신호의 요약인 이유를 잘 보여줍니다.
글쓰기 검사기를 어떻게 사용해야 하며, 어떻게 사용하지 말아야 합니까?
자신의 초안에 사용하고, 어떤 단락이 공식으로 읽혀지는지 찾고, 패턴이 어떻게 보이는지 알아보십시오. 기여 작업을 편집할 때 가벼운 편집이 도움이 될 위치에 대한 포인터로 사용하십시오.
학생이 부정행위를 했는지,프리랜서가 모델을 사용했는지,지원자가 직접 편지를 썼는지 여부를 결정하는 데 사용하지 마십시오. 페이지에는 결과 위의 경고 상자에 이렇게 적혀 있으며 그 이유는 반복됩니다: 어떤 탐지기도 저자를 입증할 수 없으며,위양성은 제 2 언어 작가에게 가장 힘들며,점수에 기반한 비난은 잘못이 없는 사람에게 실질적인 해를 끼칠 수 있습니다. 저자가 진정으로 중요하다면,작가와 대화하고,초안 및 개정 기록을 살펴보거나,그들의 추론을 설명하도록 요청하십시오.
또한 목표로 삼을 점수도 없습니다. 변동이 낮으면 문장을 다양하게 하고,헤징이 높으면 헤지를 잘라냅니다. 둘 다 누가 썼든 글쓰기를 향상시킵니다.
체커가 찾은 것을 어떻게 고치나요?
각 신호에는 직접 수정이 있습니다.
| 찾기 | 고치다 |
|---|---|
| 낮은 문장 길이 변형 | 하나의 긴 문장을 분할; 두 개의 짧은 것을 병합; 강조를 위해 매우 짧은 문장을 추가합니다 |
| 높은 평균 문장 길이 | "and", "which" 및 "because" 절이 단독으로 존재하는 경우 |
| 높은 어휘력 | 나열된 각 단어를 일반 단어로 바꿉니다: 사용, 강력, 키, 완료 |
| 헤지 문구 | 문구 삭제; 문장은 같은 것을 의미합니다 |
| 높은 em 대시 비율 | 대시를 문장이 원하는 대로 마침표, 쉼표 또는 괄호로 바꿉니다 |
| 연결식 오프너 | 오프너를 삭제하세요; 문장의 순서는 이미 연결을 보여줍니다 |
이 중 몇 가지는 자동으로 적용될 수 있습니다. The AI 텍스트 휴머나이저 헤지와 오프너를 제거하고,과용된 단어를 교환하고 대시를 대체하며,각 변경 사항을 나열하여 맞지 않는 변경 사항을 거부할 수 있습니다. 문장 길이를 변경하지 않으므로 버스트는 여전히 수동 편집입니다. 실용적인 루프는: 확인,인간화, 문장의 리듬을 손으로 편집한 다음 다시 확인합니다.
편집 내용이 얼마나 변경되었는지 확인하려면 이전과 이후를 a에 붙여넣으세요 텍스트 차이 검사기. 특정 플랫폼의 길이 대상에 대한 가이드는 다음과 같습니다 단어 세기와 독서 시간 단어 수를 계산하는 방법과 도구가 동의하지 않는 이유를 다룹니다.
패턴 검사기 vs AI 감지기 vs 가독성 점수
이 세 가지 도구는 서로 다른 질문에 답하며 종종 혼란 스럽습니다.
| 공구 유형 | 질문 그것은 대답 | 출력 | 신뢰할 수 있는 |
|---|---|---|---|
| AI 감지기 | 모델이 이걸 썼나요? | 확률이나 평결 | 결과적인 것은 없습니다; 정확도가 너무 낮습니다 |
| 패턴 검사기 | 이 텍스트에는 어떤 공식적인 습관이 있습니까? | 증거로 측정된 신호 | 편집 및 자기 검토 |
| 가독성 점수(Flesch 및 유사) | 이거 얼마나 읽기 힘들어? | 등급 수준 또는 용이성 점수 | 청중에게 텍스트를 일치시킵니다 |
가독성 공식과 패턴 검사기는 문장 길이에 겹치지만 그 너머에 있는 다른 것들을 살펴봅니다. Flesch scoring counts syllables per word; 패턴 검사기는 특정 단어와 구성을 계산합니다. 함께 사용하면 초안을 읽기 어려운지,템플릿으로 읽히는지 알려줍니다.
텍스트가 업로드되거나 저장됩니까?
아니요. 모든 측정은 브라우저의 JavaScript 에서 실행됩니다. 텍스트가 전송되거나 기록되거나 저장되지 않으며 페이지가 로드된 후 오프라인으로 작동합니다. 텍스트 상자의 초점이 떨어지면 페이지는 단어 수만 포함하는 사용 이벤트를 기록하지 않고 텍스트는 기록하지 않습니다.
사람들이 가장 확인하고 싶어하는 정확한 문서에 중요합니다: 미발표 초안,학생 작업,원고 및 클라이언트 결과물. 단어 목록과 임계값은 페이지에 고정되어 있으므로 동일한 텍스트가 항상 동일한 숫자를 생성하므로 두 편집자가 메모를 비교하면 결과를 재현 할 수 있습니다.
지금 초안을 확인하려면, 쓰기 패턴 검사기에 붙여 넣습니다을 읽고, 각 신호 아래의 증거를 읽고, 가장 중요한 두 개 또는 세 가지를 수정합니다.
