「GPTKit」でChatGPTが生成した文章かどうかを判定する

今回は、ChatGPTが書いた文章かどうかを判定するツール「GPTKit」の使い方や精度について解説します。先日はChatGPT開発元のOpenAI社が公開した判定ツール「AI Text Classifier」について検証しましたが、それとの比較もしつつまとめたいと思います。

GPTKitの料金体系

GPTKitの料金体系は以下のとおりです。

アカウント	クレジット (1クレジット=1024文字)	料金
未登録	25クレジット	無料
無料プラン	200クレジット	無料
有料プラン	1000クレジット	5ドル
有料プラン	2000クレジット	10ドル
有料プラン	5000クレジット	20ドル

無料クレジットが25付与されており、アカウント登録するとさらに200クレジットが付与されます。1クレジットは1024文字です。

参考：https://ai-database.net/posts/gptkit

私が実際に試した限りでは、25クレジットはあっっっっという間でした。ちなみに、無料分が25クレジットであることについて、公式では以下のように説明されています。

本格的に使うなら登録が必要かなと思います。なお、アカウントごとの使用回数は、おそらくIPアドレスに紐づいて回数を管理されています。

有料プラン

GPTKitの有料プランは以下の3種類になります。（1クレジット＝1024文字）

決済方法はクレジットカードのみです。

GPTKitの使い方

GPTKitの公式サイト( https://gptkit.ai/ ) を開きます。

「Enter your text here」と書いてあるテキストボックスに、判定させたい文章を貼り付け、「Submit」ボタンを押します。

「It is likely that the text above was generated by an AI.」
上の文章は、AIが生成したものだと思われます。

という結果となりました。使い方は以上です。英語表記ではありますが、とても簡単です。

GPTKitの判定方法・精度

GPTKitの判定方法と、その精度について解説します。

GPTKitの判定方法

GPTKitの判定結果は、「Real」と「Fake」の割合で表示されます。また、各段落にカーソルを当てると詳細な判定結果が表示されます。

以下は、ChatGPTが生成した文章を判定した結果です。「96% Fake」となりました。

以下は、人間が作成した文章を判定した結果です。「0% Fake」となりました。

視覚的に分かりやすいのは良いですね。

GPTKitの判定精度

公式ページによると、GPTKitの精度は

と記載があります。

テーマ	GPT-4	GPT-3.5	人間が書いた文章
ChatGPTの活用法	86% Fake	97% Fake	68% Fake
ブログのSEO対策	91% Fake	89% Fake	76% Fake
筋トレのメリット	48% Fake	97% Fake	95% Fake
プログラミングの学習方法	82% Fake	93% Fake	87% Fake
横浜・みなとみらい観光プラン1日コース	92% Fake	68% Fake	92% Fake

OpenAIの判定ツールでは、人間が書いた文章では「AIが書いた可能性が低い」と出ていましたが、GPTKitでは人間が書いた文章でもFakeの割合が高くなっています。後述しますが、GPTKitは英語以外は非対応なので、日本語だと精度が落ちてしまっているものと思われます。

GPTKitを使ううえでの注意点

GPTKitを使ううえでの注意点は以下のとおりです。

英語以外は非対応(でも一応日本語でも使える)

GPTKitは、2023/04/15現在、英語以外の言語は非対応です。

ただ、日本語の文章を変換にかけても8割くらいは処理してくれます。

短時間に大量の処理はできない

GPTKitは、短時間に大量のリクエストをすると以下のようなエラーとなります。

上記メッセージが出た場合は、少し時間をあけて再度試してみてください。

短すぎると精度が低くなる

GPTKitの公式サイトには、「より良い結果を得るためには、50語以上入力してください。」と記載があります。短い文章でも判定自体はされますが、以下警告が出ている場合は判定精度が落ちている可能性があります。

GPTKitを使ってみた所感

GPTKitを、25クレジット(無料分) + 200クレジット(登録後無料分) 試してみて、思ったことを以下にまとめます。

英語以外は精度がガタ落ちする

英語の文章をいくつか判定させた結果は、正確な判定ができていたものの、日本語の文章は精度がガタ落ちする印象です。公式でも英語以外は非対応となっているので当たり前ではありますが、英語の文章以外を判定にかける際は、このツールだけでなく他のツールと併用すると良いかと思います。

基本的にAIだと判定される確率が高い

ChatGPTが生成した文章と、人間が書いた文章それぞれを判定にかけた結果、どちらも「AIが作成した確率が高い」と判定される傾向にありました。AIが書いた文章である可能性が、人間が書いた文章のほうがやや低くなっており、その割合の高さで判断する形になるかと思います。

判定結果の見やすさは、OpenAIのツールとよりも分かりやすくて良いのですが、実際にはほとんど「Fake」の割合が高くでており、その数値の微妙な差から判断するしかないので、このパーセンテージがもう少し視覚的に分かりやすい内容になったら使いやすいのになーと感じました。

無料回数が少ない

GPTKitは、登録しなくても使うことはできますが、無料クレジット分は25クレジットのみ（1クレジット＝1024文字）で、アカウント登録後追加で200クレジット分が付与されますが、けっこうあっという間に消費してしまいました。

なので、このツールをメインに使うよりかは、無料で回数無制限のOpenAI製の判定ツールを使ったほうが良いかなと思います。

GPTKitはAPIも公開されている

GPTKitは、APIも公開されています。

一か月200リクエストまでは無料、それ以上は有料となります。詳細については公式サイトをご覧ください。

まとめ

今回は、AIが作成した文章かどうかを判定するツール「GPTKit」について解説しました。英語以外の文章は非対応ということで、日本語の文章はやや精度が低い印象ですが、英語に関しては使えるレベルの精度になっています。

とはいえ、無料クレジット分が少なく、メインで使うには課金が必要になりそうだなと感じました。ChatGPTの開発元であるOpenAI社が公開している「AI Text Classifier」は、無料・回数制限なしで使うことができます。こちらをメインに使用し、さらに判定の精度を高めたい場合に併用すると良いのではないかと思います。

当ブログでは、ChatGPTとはじめとしたAIツールに関する記事を更新しています。