自分で書いたのにAIチェッカーでAI判定される理由

誤判定（偽陽性）：AI判定が実際に測っているもの

自分で書いたのにAIチェッカーに引っかかった。一語残らず自分の言葉なのに、なぜAIと判定されるのか。そう思ったら、まずAIチェッカーが実際に何を見たのかを考えてみましょう。AIチェッカーは、あなたが書いているところを見ていません。見たのは完成した文章だけで、それが言語モデルの残すパターン、つまり予測しやすい語の選び方、均一な文のリズム、決まり文句にどれだけ近いかを推定したのです。

つまりAI判定は文体についての推測であって、実際に何があったかの記録ではありません。丁寧で型どおりの人間の文章はそうしたパターンに当てはまりやすく、だから誤判定が起きます。LumenWriteのように文ごとに色分けする無料AIチェッカーなら、数字を1つ渡されるだけで終わらず、少なくともどの行がスコアを傾けたかがわかります。判定の仕組みはAIチェッカーの仕組みで説明しています。

自分で書いたのにAIチェッカーに引っかかる6つの原因

人間の文章がAIチェッカーにとって予測しやすく見える原因は、主に6つあります。少なくとも1つは思い当たるはずです。

1. 硬く型にはまった文体

学校や仕事の文章では、無難な言い回しが評価されます。「furthermore（さらに）」や「plays a significant role（重要な役割を果たす）」、課題文を言い直しただけのトピックセンテンス。言語モデルはまさにそうした文章を大量に学習しているので、同じ言い回しを選びます。求められる文体で書けば、文は予測しやすくなります。そして予測しやすい文こそ、AIチェッカーがAIと採点するものです。

2. テンプレートと5段落エッセイ

構成も影響します。3つの論点を示す主張で終わる序論、ほぼ同じ長さの本論3段落、主張を繰り返す結論。これはChatGPTの標準的な形でもあります。評価基準でこの形を教わったなら、1文1文はすべて自分のものでも、段落の単位で機械が作ったように見えることがあります。

3. 文法ツールやリライトツールによる手直し

Grammarlyは文全体を書き換えることができ、QuillBotはそもそも文を言い換えるためのツールです。文全体の書き換え案を受け入れたり、段落を言い換えツールにかけたりすると、その文にはあなたではなくツールの語の選び方が入ります。AIチェッカーはここを見ています。たとえばTurnitinは、QuillBotのような言い換えツールで手を加えたAIの文章も自社のモデルで探していると説明しています。自分で書いた文も、同じツールで言い換えれば同じ特徴を帯びることがあります。

スペルや句読点の修正と、文の大がかりな書き換えは別物です。大がかりな書き換えこそが、AI判定の指している部分なのかもしれません。

4. 第二言語で書いている

この原因には、最も強い根拠があります。2023年にPatterns誌に掲載されたスタンフォード大学の研究では、広く使われている7つのAIチェッカーが、英語を母語としない人のTOEFLエッセイ91本の半数以上をAIが生成したものと判定しました。偽陽性率の平均は61.22%です。米国の8年生（日本の中学2年生にあたる学年）のエッセイはほぼ完璧に分類され、TOEFLエッセイ91本のうち89本は、少なくとも1つのツールでAIと判定されました。

研究者たちは、この差の原因を語彙に見いだしました。使う語の幅が狭く無難なほど、文章は予測しやすくなります。研究者がChatGPTで米国の生徒のエッセイの語の選び方を平易にしたところ、AIと判定された割合の平均は5.19%から56.65%に上がりました。

5. 短い文章

1〜2段落の文章では、AIチェッカーが判断する材料がほとんどないので、ありきたりな文がいくつかあるだけで結果が大きく揺れます。Turnitinは自社のテストにもとづいて最低語数を150語から300語に引き上げ、LumenWriteのAIチェッカーも同じ理由で40語未満の文章は採点しません。授業の掲示板への短い投稿や論文の要旨は、最も誤判定されやすい種類の文章です。

6. よくあるテーマと聞き慣れた言い回し

SNSと10代の若者について、あるいは第一次世界大戦の原因について、これまで何百万人もの人が書いてきました。わかりきった論点と、そのわかりきった言い表し方は、モデルが最も多く目にしてきたものです。よく知られた例として、Ars Technicaは、AIチェッカーがアメリカ合衆国憲法の一部をAIが書いたものと判定した例を紹介しています。大きな理由は、この文章がモデルの学習データにあまりにも多く含まれていることでした。

AIを使っていないのにAI判定されたときの対処法

落ち着いて、書面で返信する

AI判定は判決のように感じられますが、AIチェッカーを作っている企業自身がそうではないと言っています。Turnitinは教員に向けて、自社のモデルは常に正確とは限らず、学生に不利益な措置をとる唯一の根拠にすべきではないと伝えています。丁寧に返信し、自分で書いたことをはっきり伝えて、話し合いの場を求めましょう。メッセージは短くてかまいません。主張は証拠に任せましょう。

どう書いたかの証拠を集める

自分が書いたことを示す最良の証拠は、書いている途中に残った跡です。話し合いの前に、手元にあるものを集めておきましょう。

あとから新しいものを作ってはいけません。日付をさかのぼって作った「下書き」は、下書きがないことよりはるかに不利になります。

どのツールで判定され、スコアはいくつだったかを尋ねる

どのAIチェッカーが使われたか、スコアはいくつだったか、どの部分がハイライトされたかを尋ねましょう。その細部で話が変わります。境界線上のスコアは、高いスコアより弱い根拠です。Turnitin自身も、テストでその範囲に偽陽性が多かったため、20%未満のスコアにはアスタリスクを付けています。ハイライトされたのが序論や最後のまとめのような型どおりの部分なら、そのことを指摘しましょう。

スコアにどこまで重みを置けるかは、AIチェッカーの精度のガイドで説明しています。

直接会って説明することを申し出る

話し合いは、多くの場合いちばん強い証拠になります。論旨を順に説明し、なぜその資料を選んだのか、何を削ってそれはなぜかを話せるよう申し出ましょう。自分で書いた人なら、たいていメモなしでも細かく話せます。必要なら、先生の前でそのテーマについて短い文章を書くことを申し出てもいいでしょう。

大学の方針と異議申し立ての手続きを知る

話し合いの前に、大学の学術的誠実性（アカデミック・インテグリティ）に関する方針、特にAIと異議申し立てについての部分を読んでおきましょう。何が証拠として認められるか、誰が判断するか、いつまでに異議を申し立てられるかを確認してください。不利な決定が出たら書面でもらい、正式な手続きを使いましょう。学生支援の窓口、オンブズパーソン、学業面のアドバイザーが準備を手伝ってくれることもあります。

AIと判定されたレポートを「直す」ためにヒューマナイザーにかけるのはやめましょう。あとから文章を変えても自分で書いたことの証明にはならず、かえって状況を悪くするおそれがあります。LumenWriteのヒューマナイザーは、AIの利用が認められている場面で、英語の下書きに使うためのものです。AIを使っていないのに疑われているなら、あなたの潔白を示すのは書いてきた過程そのものです。

文章をもっと自分らしくする方法

どれも、AIチェッカーがあなたの言い分を認めてくれることを保証するものではありません。そもそも、機械に合わせて書く必要はないはずです。ただ、文章を予測しにくくする習慣は、文章を読みやすくする習慣でもあります。

• 具体的に書く。「3月だけでバスが4回遅れた」は、「公共交通機関は時間どおりに来ないことが多い」よりも多くを伝えます。名前、数字、場所、作品名は予測しにくいものです。
• 自分の例を入れる。授業や仕事、誰かとの会話で出会ったこと。モデルはあなたの経験を作り出せませんし、本物の経験かどうかは読み手に伝わります。
• 文の長さに変化をつける。論を組み立てる長い文のあとに、短い文を置く。こんなふうに。
• 決まり文句を削る。「plays a significant role（重要な役割を果たす）」「a wide range of（幅広い）」「serves as a reminder（改めて気づかせてくれる）」。代わりに、ふつうの言い方で書きましょう。
• 立場をはっきりさせる。モデルが書く文章は、何でも両論併記にしがちです。一方の論のほうが強いと思うなら、そう書いて、理由も添えましょう。
• 段落の長さはそろえなくていい。すべての段落が同じ長さで、きれいな締めの一文を持つ必要はありません。直前の内容を繰り返すだけの段落は、たいてい削れます。
• 書く過程を残す。Googleドキュメントか、OneDriveに保存したWordで書けば、書き進めるうちに変更履歴が積み上がっていきます。

提出前にレポートをチェックしたい学生向けに、大学のレポート向けAIチェッカーのページで、課題にとってスコアが何を意味するか、文ごとの色分けをどう読むかを説明しています。