Bagaimana cara kerja AI detector?

Cara kerja AI detector, singkatnya

Begini cara kerja AI detector: alat ini memperkirakan seberapa besar kemungkinan sebuah teks ditulis oleh model bahasa. Berbeda dengan alat cek plagiarisme, detektor AI biasanya tidak mencocokkan kata-kata Anda dengan database sumber, dan tidak tahu siapa yang mengetiknya. Yang diukur adalah pola: seberapa mudah setiap kata ditebak, seberapa seragam kalimat-kalimatnya, dan seberapa mirip teks itu dengan contoh tulisan manusia dan AI yang pernah dipelajari detektor. Hasilnya berupa probabilitas, bukan fakta.

Kebanyakan alat menggabungkan beberapa sinyal ini. Gambarannya bisa Anda lihat di detektor AI gratis kami: setiap kalimat ditandai terbaca seperti manusia atau AI, dan skornya adalah porsi teks yang terbaca seperti tulisan manusia. Bagian-bagian berikutnya menjelaskan apa yang ada di balik hasil seperti itu.

Apa yang dicari detektor AI: perplexity dan burstiness

Model bahasa menulis satu kata demi satu kata, dan di setiap langkah ia cenderung memilih kata berikutnya yang paling mungkin. Detektor bisa menjalankan model serupa pada teks Anda dan bertanya, kata demi kata, seberapa terkejut model itu. Kalau dirata-ratakan untuk seluruh teks, tingkat keterkejutan itu disebut perplexity.

Ambil contoh “Saya minum secangkir ___”. “Kopi” atau “teh” hampir tidak mengejutkan model. “Petir” sangat mengejutkannya. Teks yang hampir setiap katanya sesuai dugaan punya perplexity rendah, dan perplexity rendah adalah salah satu tanda klasik tulisan mesin.

Sinyal kedua, burstiness, mengukur seberapa bervariasi sebuah teks dari satu kalimat ke kalimat berikutnya. Manusia cenderung menulis secara tidak rata: satu kalimat pendek, lalu kalimat panjang dengan satu atau dua anak kalimat, lalu sesuatu di antaranya. Draf AI sering mempertahankan ritme yang stabil dan seragam. Bandingkan dua contoh ini:

• Burstiness rendah: “Rencana ini meningkatkan efisiensi. Rencana ini menekan biaya. Tim bekerja lebih cepat. Pelanggan juga ikut diuntungkan.” Empat kalimat, masing-masing empat kata, semuanya dengan susunan yang sama.
• Burstiness tinggi: “Rencana ini menghemat uang. Tidak banyak di kuartal pertama, karena perangkat lunak barunya harus dibayar di muka, tetapi menjelang pertengahan tahun hasilnya terlihat di anggaran setiap tim. Pelanggan juga merasakannya.”

Detektor juga menangkap kebiasaan permukaan yang dimiliki banyak model: kata transisi yang sama (“Lebih lanjut”, “Selain itu”), daftar rapi berisi tiga hal, satu kalimat ringkasan di akhir setiap paragraf. Semua ini bukan bukti. Resep masakan, pasal hukum, atau laporan praktikum memang seharusnya mudah ditebak, dan sebagian orang memang menulis dengan kalimat yang seragam. Sinyal statistik hanyalah petunjuk, dan karena itulah banyak alat menambahkan metode kedua.

Classifier terlatih: model yang belajar dari contoh

Pendekatan kedua adalah classifier (pengklasifikasi): model yang dilatih dengan kumpulan besar teks berlabel “manusia” atau “AI” sampai ia mempelajari ciri apa saja yang membedakan keduanya. Tidak ada yang memberinya aturan seperti “perplexity rendah berarti AI”. Ia menemukan polanya sendiri, termasuk pola yang tidak bisa dinamai oleh siapa pun.

Detektor buatan OpenAI sendiri, yang dirilis pada Januari 2023, dibuat dengan cara ini: model bahasa yang di-fine-tune dengan pasangan teks tulisan manusia dan tulisan AI tentang topik yang sama. OpenAI menariknya sekitar enam bulan kemudian, dan nasibnya dibahas di apakah AI detector akurat?

Classifier hanya sebaik data latihnya. Ia bekerja baik pada teks yang mirip dengan yang dilihatnya saat dilatih. Pada teks yang tidak mirip, seperti hasil model AI yang lebih baru, genre yang tidak biasa, atau bahasa yang jarang ia temui, keandalannya menurun. Dalam tulisan yang sama, OpenAI memperingatkan bahwa untuk input yang sangat berbeda dari data latihnya, classifier itu kadang “sangat yakin pada prediksi yang salah”.

Penilaian per dokumen vs per kalimat

Sebagian detektor memberi satu putusan untuk seluruh teks. Yang lain menilai setiap kalimat atau potongan pendek, lalu menyusun hasil keseluruhan dari situ. Keduanya menjawab pertanyaan yang berbeda: “apakah dokumen ini ditulis AI?” dan “bagian mana yang terbaca seperti AI?”

Turnitin memakai cara kedua. Menurut perusahaan itu, mereka memecah naskah menjadi segmen-segmen beberapa ratus kata yang saling tumpang tindih, memberi setiap kalimat skor antara 0 dan 1, lalu merata-ratakan skornya menjadi perkiraan seberapa banyak bagian dokumen yang dibuat AI.

Penilaian per kalimat berguna ketika teks sebagian ditulis manusia dan sebagian oleh AI, karena terlihat dari mana sinyalnya berasal. Namun hasilnya juga lebih berisik. Satu kalimat membawa bukti yang sangat sedikit, jadi satu baris yang ditandai jauh kurang berarti dibanding satu halaman penuh yang ditandai. Detektor kami menilai seluruh teks sekaligus setiap kalimatnya, jadi Anda melihat gambaran besarnya dan dari mana gambaran itu berasal.

Watermark: sinyal yang ditambahkan saat teks ditulis

Watermark membalik masalahnya. Alih-alih menebak setelah teks jadi, model AI menandai hasil tulisannya sendiri saat menulis. Watermark teks SynthID dari Google DeepMind melakukannya dengan sedikit menggeser probabilitas kata-kata yang dipilih model. Teksnya tetap terbaca normal. Detektor yang tahu pengaturan watermark itu lalu memeriksa apakah pilihan katanya mengikuti pola tersembunyi tersebut.

Pada 2024 Google mengumumkan bahwa teks di aplikasi Gemini diberi watermark SynthID. Google menjelaskan metodenya dalam makalah di jurnal Nature dan merilis kodenya agar pengembang lain bisa memasangnya di model mereka. Menurut DeepMind:

• Yang bisa ditangani: perubahan ringan seperti memotong teks, mengganti beberapa kata, atau parafrase ringan. Watermark ini paling efektif pada jawaban yang panjang dan terbuka seperti esai atau email.
• Yang sulit ditangani: tingkat keyakinannya turun tajam ketika teks ditulis ulang secara menyeluruh atau diterjemahkan, dan lebih lemah pada jawaban atas pertanyaan faktual, karena hanya sedikit pilihan kata yang bisa digeser.

Ada satu batas yang berlaku untuk semua watermark: detektor hanya bisa menemukan tanda yang memang dipasang. Teks dari model yang tidak memakai watermark terlihat persis seperti teks tanpa watermark, jadi “tidak ditemukan watermark” sama sekali tidak menjawab apakah AI dipakai.

Cara kerja AI detector: perbandingan tiga metode

Pemeriksaan watermark hanya membantu untuk teks dari model yang memasang watermark, dan hanya jika dibaca detektor yang tahu pengaturannya. Jadi sebagian besar teks yang Anda tempel ke detektor publik dinilai dengan dua metode pertama, sering kali digabungkan.

Kenapa dua detektor AI memberi skor berbeda untuk teks yang sama

Tempel satu esai ke tiga detektor dan Anda mungkin mendapat tiga angka yang berbeda. Itu tidak berarti salah satunya rusak. Cara mengukurnya memang berbeda:

• Data latih berbeda. Setiap classifier belajar dari kumpulan teks manusia dan AI-nya sendiri, jadi masing-masing punya titik buta sendiri.
• Ambang batas berbeda. Satu alat mungkin menyebut teks sebagai AI begitu ia 50% yakin, alat lain baru di 90%. Bukti yang sama mendapat label yang berbeda.
• Satuan berbeda. “70% AI” bisa berarti alat itu 70% yakin seluruh teks ditulis AI, atau 70% kalimatnya terbaca seperti AI. Itu dua klaim yang berbeda, walaupun keduanya tampil sebagai persentase.
• Versi berbeda. Detektor dilatih ulang seiring munculnya model AI baru, jadi alat yang sama bisa memberi skor berbeda untuk teks yang sama dalam selang beberapa bulan.

Seberapa sering setiap jenis kesalahan terjadi adalah pertanyaan lain, dan hasil uji yang sudah dipublikasikan dirangkum di apakah AI detector akurat?

Apa yang membuat teks AI lebih sulit dideteksi

Semua metode di atas bergantung pada satu hal: teksnya masih membawa jejak yang ditinggalkan model. Apa pun yang mengubah pilihan kata atau ritme akan melemahkan sinyalnya:

• Pengeditan. Setiap kalimat yang ditulis ulang manusia menukar pilihan kata model dengan pilihan kata manusia. Draf yang banyak diedit memang campuran, dan detektor menilainya sebagai campuran.
• Teks pendek. Beberapa kalimat tidak memuat cukup kata agar keterdugaan atau ritme bisa berarti banyak. Itulah sebabnya banyak detektor menetapkan panjang minimum. Detektor kami butuh 40 kata.
• Terjemahan. Memindahkan teks ke bahasa lain mengganti hampir semua pilihan kata, sehingga sinyal statistik maupun watermark jadi kacau.
• Parafrase. Alat parafrase dan humanizer mengubah persis hal yang diukur metode statistik: pilihan kata dan ritme kalimat.

Logika yang sama juga berlaku sebaliknya. Tulisan manusia yang kebetulan sederhana, mudah ditebak, dan seragam bisa terlihat seperti AI di mata detektor. Kalau Anda pernah mengalaminya, baca kenapa tulisan Anda terdeteksi AI.

Hal yang tidak bisa diketahui detektor AI

Detektor hanya membaca teks, tidak lebih. Semua hal di sekitar teks itu tidak terlihat olehnya, padahal justru itu yang sering paling penting:

• Siapa penulisnya. Skor menggambarkan tulisannya, bukan penulisnya. Detektor tidak bisa membedakan prosa sederhana karya seorang mahasiswa dari prosa buatan model.
• Bagaimana teks itu dibuat. Diketik dari nol, didiktekan, dibuat dengan AI lalu ditulis ulang dengan tangan, atau dirapikan dengan alat grammar: detektor hanya melihat kata-kata akhirnya.
• Alat AI mana yang dipakai, kalau ada. Pemeriksaan statistik dan classifier menilai tulisannya, bukan alatnya. Hanya watermark yang menunjuk ke model tertentu, dan itu pun hanya kalau model tersebut memasangnya.
• Apakah penggunaan AI diizinkan. Sebagian mata kuliah dan tempat kerja membolehkan AI untuk mencari ide atau menyunting. Detektor tidak tahu apa aturannya.

Karena itu skor seharusnya membuka percakapan, bukan mengakhirinya. Kalau Anda mengajar, halaman kami tentang AI checker untuk guru membahas cara memakainya secara adil.