AIチェッカーの仕組みをひとことで言うと
AIチェッカーの仕組みをひとことで言えば、ある文章を言語モデルが書いた可能性がどのくらいあるかを推定することです。コピペチェックのような剽窃チェッカーとは違い、ふつうは文章を出典のデータベースと照らし合わせませんし、誰が入力したのかも知りません。その代わりにパターンを測ります。1語1語がどれだけ予測しやすいか、文がどれだけ均一に続くか、そしてAIチェッカーが学習した人間とAIの文章例にどれだけ似ているか。出てくるのは確率であって、事実ではありません。
多くのツールは、こうしたシグナルをいくつか組み合わせています。LumenWriteの無料AIチェッカーを使うと、その考え方がよくわかります。すべての文が人間らしいかAIらしいかで色分けされ、スコアは文章のうち人間らしく読める部分の割合です。このガイドでは、そうした結果の裏にあるものを順に説明します。
AIチェッカーが見ているもの：パープレキシティとバースト性
言語モデルは1語ずつ文章を書き、そのたびに、次に来そうな語を選ぶ傾向があります。AIチェッカーは似たモデルを文章に当てはめて、1語ごとに「どれだけ意外だったか」を調べることができます。この意外さを文章全体で平均したものをパープレキシティ（perplexity）と呼びます。
たとえば「朝、一杯の＿＿を飲んだ」。ここに「コーヒー」や「お茶」が来ても、モデルはほとんど驚きません。「雷」が来れば大いに驚きます。ほぼすべての語が予想どおりの文章はパープレキシティが低く、パープレキシティの低さは、機械が書いた文章の代表的な手がかりの1つです。
2つ目のシグナルであるバースト性（burstiness）は、文ごとに文章がどれだけ変化するかを測ります。人の書く文章にはむらがあります。短い文のあとに節を1つか2つ含む長い文が来て、その次は中くらいの文、という具合です。一方、AIの下書きは一定で均一なリズムを保ちがちです。次の2つを比べてみてください。
- バースト性が低い：「この計画は効率を高めます。コストも下げます。チームの作業も速くなります。顧客にも利点があります。」4つの文がどれも同じくらい短く、同じ形で組み立てられています。
- バースト性が高い：「この計画でお金が浮きます。新しいソフトウェアの代金を先に払うので最初の四半期はたいした額になりませんが、夏にはどのチームの予算にもはっきり表れてきます。顧客も気づきます。」
AIチェッカーは、モデルに共通する表面的なクセも拾います。同じつなぎの言葉（「Furthermore」「Additionally」など）、きれいに3つ並べた列挙、どの段落の終わりにも置かれる整ったまとめの一文。どれも証拠にはなりません。レシピや契約書の条項、実験レポートは予測しやすくて当然ですし、もともと均一な文を書く人もいます。統計的なシグナルはあくまでヒントです。だからこそ、多くのツールはもう1つの方法を上に重ねています。
学習済みの分類器：例から学んだモデル
2つ目の方法は分類器（classifier）です。「人間」か「AI」かのラベルを付けた大量の文章でモデルを学習させ、両者を分ける特徴を覚えさせます。「パープレキシティが低ければAI」のようなルールを誰かが与えるわけではありません。分類器は自分でパターンを見つけ出し、その中には人が名前を付けられないものも含まれます。
2023年1月に公開されたOpenAI自身のAI判定ツールも、この方法で作られていました。同じテーマについて人間が書いた文章とAIが書いた文章のペアで、言語モデルをファインチューニングしたものです。OpenAIは約6か月後にこのツールを取り下げました。その経緯はAIチェッカーの精度で取り上げています。
分類器の出来は、学習データの出来で決まります。学習で見た文章に似たものにはよく働きますが、新しいAIモデルの出力、珍しいジャンル、ほとんど学習していない言語など、似ていない文章では信頼性が下がります。OpenAIは同じ記事のなかで、学習データと大きく異なる入力に対して、自社の分類器が「間違った予測に極めて強い確信を持つ」ことがあると注意を促していました。
文章全体の判定と、文ごとの判定
文章全体に1つの判定を返すAIチェッカーもあれば、文や短い一節ごとにスコアを付け、そこから全体の結果を組み立てるものもあります。この2つは別々の問いに答えています。「この文章はAIが書いたのか？」と「どの部分がAIらしく読めるのか？」です。
Turnitinは後者の方式です。同社によると、提出物を数百語ずつの重なり合う区間に分け、各文に0から1のスコアを付けて平均し、文書のどれだけがAIで生成されたかを予測しています。
文ごとの判定は、人間とAIが混ざった文章で役に立ちます。シグナルがどこから来ているかがわかるからです。その一方で、ぶれも大きくなります。1文に含まれる手がかりはごくわずかなので、1行だけ色が付いていても、1ページ丸ごと色が付いている場合ほどの意味はありません。LumenWriteのAIチェッカーは文章全体とすべての文の両方にスコアを付けるので、全体像と、それがどこから来ているかを一緒に確認できます。
電子透かし：書く時点で埋め込まれるシグナル
電子透かし（ウォーターマーク）は、問題を逆の側から解こうとする方法です。あとから推測するのではなく、AIモデル自身が書きながら出力に印を付けます。Google DeepMindのSynthIDによるテキストの電子透かしは、モデルが選ぶ語の確率をわずかに調整することでこれを実現しています。文章はふつうに読めます。透かしの設定を知っているAIチェッカーが、語の選び方が隠れたパターンに沿っているかを調べるのです。
Googleは2024年、GeminiアプリのテキストにSynthIDで透かしを入れていると発表しました。手法はNatureに掲載された論文で説明され、ほかの開発者が自分のモデルに組み込めるようコードも公開されています。DeepMindによると、次のような特徴があります。
- 対応できること：文章の一部を切り取る、いくつかの語を変える、軽く言い換えるといった小さな変更。エッセイやメールのような、長くて自由な形式の回答で最もよく機能します。
- 苦手なこと：文章を全面的に書き直したり翻訳したりすると、確信度が大きく下がります。語の選択肢が少ない、事実を問う質問への回答でも弱くなります。
どの電子透かしにも共通する限界があります。AIチェッカーが見つけられるのは、埋め込まれた印だけです。透かしを入れないモデルの文章は、透かしのない文章とまったく同じに見えます。つまり「透かしが見つからなかった」という結果は、AIが使われたかどうかについて何も教えてくれません。
AIチェッカーの仕組み：3つの方法を比較
| 方法 | 何を測るか | 得意な文章 | 主な弱点 |
|---|---|---|---|
| 統計的なシグナル（パープレキシティ、バースト性） | 語がどれだけ予測しやすいか、文がどれだけ均一に続くか | 長くて手を加えていないAIの下書き | 平易な文章や型どおりの文章は、人が書いても同じくらい予測しやすく見えることがある |
| 学習済みの分類器 | ラベル付きの人間とAIの文章例から学んだパターン | 学習データに似た文章 | 新しいAIモデル、珍しいジャンル、ほかの言語 |
| 電子透かしのチェック | AIモデルが書く時点で加えた隠れたパターン | 透かしを入れるモデルが書いた長めの文章 | 透かしのないモデルの文章からは何も見つからず、大幅な書き直しや翻訳で薄れる |
電子透かしのチェックが役立つのは、透かしを入れるモデルの文章を、その設定を知っているAIチェッカーが読む場合に限られます。そのため、一般公開されているAIチェッカーに貼り付ける文章のほとんどは、最初の2つの方法で判定されます。多くの場合、その組み合わせです。
同じ文章でもAIチェッカーによって結果が違う理由
1本のレポートを3つのAIチェッカーに貼り付けると、3つの違う数字が出ることがあります。どれかが壊れているわけではありません。測り方が違うのです。
- 学習データが違う。分類器はそれぞれ独自に集めた人間とAIの文章から学んでいるので、それぞれに独自の死角があります。
- しきい値が違う。50%の確信でAIと判定するツールもあれば、90%になるまで判定しないツールもあります。同じ根拠でも、付くラベルが変わります。
- 単位が違う。「AI 70%」は、文章全体がAIだとツールが70%確信しているという意味のこともあれば、文の70%がAIらしく読めるという意味のこともあります。どちらもパーセントで表示されますが、言っていることは別物です。
- バージョンが違う。AIチェッカーは新しいAIモデルが登場するたびに学習し直されるので、同じツールでも数か月たつと同じ文章に違うスコアを付けることがあります。
それぞれの間違いがどのくらいの頻度で起きるかは別の問題です。公開されている検証結果はAIチェッカーの精度にまとめています。
AIの文章が判定されにくくなる条件
ここまでの方法はどれも、モデルが文章に残した指紋が消えずに残っていることを前提にしています。語の選び方やリズムを変えるものは、何であれシグナルを弱めます。
- 編集。人が1文書き直すたびに、モデルの語の選び方が人間のものに置き換わります。大きく手を加えた下書きは実際に混ざりものであり、AIチェッカーもそのように採点します。
- 短い文章。数文だけでは、予測しやすさやリズムが意味を持つほどの語数がありません。多くのAIチェッカーが最低限の長さを設けているのはそのためです。LumenWriteのAIチェッカーには40語が必要です。
- 翻訳。別の言語に移すと語の選び方がほぼすべて入れ替わるので、統計的なシグナルも電子透かしも崩れます。
- 言い換え。言い換えツールやヒューマナイザーは、統計的な方法が測っているもの、つまり語の選び方と文のリズムそのものを変えます。
同じ理屈は逆向きにも働きます。たまたま平易で予測しやすく、均一な人間の文章は、AIチェッカーにはAIの文章のように見えることがあります。そんな経験があるなら、自分で書いたのにAI判定される理由を読んでみてください。
AIチェッカーにはわからないこと
AIチェッカーが読むのは文章だけです。文章の周りにあることは何も見えませんが、実はそちらのほうが大事な場合も少なくありません。
- 誰が書いたか。スコアが表すのは文章であって、書き手ではありません。学生自身の平易な文章とモデルの文章を区別することはできません。
- どうやって書かれたか。一から入力したのか、音声入力したのか、AIで下書きして手で書き直したのか、文法ツールで整えたのか。AIチェッカーに見えるのは最終的な文章だけです。
- どのAIツールを使ったか（そもそも使ったのか）。統計的なチェックや分類器が判定するのは文章であって、ツールではありません。特定のモデルを指し示せるのは電子透かしだけで、それもそのモデルが透かしを入れていた場合に限ります。
- AIの利用が認められていたか。授業や職場によっては、アイデア出しや推敲でのAI利用を認めています。AIチェッカーは、どんなルールだったかを知りません。
だからこそ、スコアは話し合いを始めるきっかけにするもので、話を終わらせるためのものではありません。教える立場の方には、教員向けAIチェッカーのページで公平な使い方を紹介しています。