2023年4月10日、ChatGPTの開発元であるOpenAIのCEOサム・アルトマンが来日し、「日本では100万人以上のユーザーがChatGPTを利用している」と話しました。アルトマン氏は、日本でChatGPTが盛んに使われていることを評価し、日本を主要な市場の一つにするため、以下を提案しました。
- ChatGPTの開発で、日本に関する内容を優先して学習させる
- GPT-4の画像解析機能などをいち早く日本に提供
- 日本の研究者や学生に、研修や教育を提供
【参考】
・OpenAIのアルトマンCEO、日本に対する7つの約束 「日本関連の学習ウエイト引き上げ」
・自民党AIの進化と実装に関するプロジェクトチーム
・世界に衝撃「ChatGPT」開発企業のCEO 独占インタビュー
かなり日本を優遇した内容となっています。アルトマン氏は、岸田総理と面会し、自民党の会合にも出席しています。政府としてどのような動きになるのかはまだ分かりませんが、ChatGPTをはじめとするAIの利用がITに詳しい一部の人間の間だけでなく、多くの人々に浸透していることは確かです。
最近では、AIに生成させたプログラムを使うことや、AIを利用して全自動でブログを生成しているという事例もあり、人間の目で見ても判別がつかないものも多く存在します。そこで、今回は、OpenAIが公開したAIコピペチェックツール「AI Text Classifier」を使って、その精度や使い勝手を検証していきたいと思います。
AI文章判別ツール「AI Text Classifier」について
「AI Text Classifier」は、ChatGPTの開発元であるOpenAIが提供するツールです。2023/04/11現在、完全無料で回数制限もありません。
AI Text Classifierの使い方
AI Text Classifier を開きます。
「Text」に、AIが生成したかどうかチェックしたい文章を貼り付けます。今回は、ChatGPT(GPT-4)に「「ChatGPTの活用法」について、1500文字程度でブログ記事を書いて。」と指示して生成された文章を貼り付けます。
結果欄には、「The classifier considers the text to be possibly AI-generated.」（このテキストは、AIが作成した可能性があると考えられます。）と表示されました。
判定方法・精度について
AI Text Classifierの判定方法と精度について解説します。
判定は5段階
「AI Text Classifier」の判定は5段階で、「likely 」または「possibly」の場合はAIが生成した文章である可能性があるとされます。
| 判定結果 | AIが作成した可能性 |
|---|---|
| likely | 可能性が高い |
| possibly | 可能性がある |
| unclear if it is | 不明 |
| unlikely | 低い |
| very unlikely | 非常に低い |
判定の精度
OpenAIの公式ドキュメントでは、「AI Text Classifier」は、人間が書いた文章を「AIが生成した」と判定する割合が9％あると述べられています。
実際に、ChatGPTの「GPT-3.5」と「GPT-4」2種類の言語モデルで、1200文字程度の文章を生成させたものを判定させた結果です。GPT-3.5、GPT-4というのはChatGPTの言語モデルで、無料版で使えるスタンダードなものがGPT-3.5、より高性能なものがGPT-4です。
| テーマ | GPT-4 | GPT-3.5 | 人間が書いた文章 |
|---|---|---|---|
| ChatGPTの活用法 | likely | likely | unlikely |
| ブログのSEO対策 | possibly | likely | possibly |
| 筋トレのメリット | possibly | likely | unlikely |
| プログラミングの学習方法 | possibly | likely | unlikely |
| 横浜・みなとみらい観光プラン1日コース | unlikely | possibly | very unlikely |
より高性能なGPT-4のほうが、AIが作成した可能性がGPT-3.5より低い結果となりました。AIで生成した文章だと思われたくない場合は、GPT-4を利用し、適宜内容を加筆・修正すると良さそうです。
「AIが生成したとバレない文章を作って」と言ったら？
「AIが生成したことがバレないように文章を作って」と言ったら、もしかして判定ツールをすり抜けるのでは！？と思い、先ほど生成させた5つのテーマについて、
AIが生成した文章だと分からないような内容にして。
という指示を付け加えて再度生成してもらいました。結果としては、いくつかのテーマで1段階判定が下がる程度で、「likely 」または「possibly」、つまり、AIが生成したと判定されました。
ChatGPTがどんなに頑張って人間らしい文章を生成しても、人間にはなりきれないようです。
AI Text Classifierを使う上での注意点
「AI Text Classifier」を使う際の注意点は以下の通りです。
1,000文字以上でないと判定できない
「AI Text Classifier」は、1,000文字以上でないと判定にかけることができません。文字数をチェックする際には、文字数カウントツールを使うと便利です。
(非推奨) 不足分をスペース等で埋めて1,000文字にする
※1,000文字以上に制限しているのは、おそらく長い文字列でないと精度が下がるからだと思うので、この方法はあまりおすすめしません
裏技的なやり方になりますが、意味のない文字列で埋める方法で判定にかけることができます。
ただ、文字数が少ないと、ほとんど「AI生成の可能性が高い」もしくは「不明」と判定されてしまいます。800文字くらいからきちんと判別されている印象です。
英語以外は精度が下がる
「AI Text Classifier」は、主に大人が書いた英語のコンテンツでトレーニングされているため、子供が書いた文章や、英語以外の文章だと判定の精度が下がると公式ドキュメントに記載があります。
ここで少し疑問が浮かびました。
日本語で生成したものを英語に変換して判定させたら
精度は上がるのでは・・・！？
こちらも試してみましたが、判定は変わりませんでした。つまり、日本語の文章を英語に変換したからといって精度が上がるわけではないようです。英語以外の言語で判定にかける際は、精度がやや下がることを理解した上で使うようにしてください。
ChatGPTが生成した文章を使うときに気を付けたいこと
ChatGPTが生成した文章を使うこと自体は、学校や企業などでルールとして禁止されていない限りは特に問題ありません。ただし、以下の点は頭の片隅に入れておくと良いかと思います。
・他の学生もChatGPTを使っている可能性がある
同じような内容が生成されていた場合、教員にAIで生成したとバレる危険性あり
・ChatGPTが生成した文章やプログラムは内容が古い可能性がある
ChatGPTは2021年までの情報を学習しており、最新の情報は把握していない
・文章のクセや個性からバレる
人間が書いた文章と、AIが書いた文章とでは、言い回しや行間の取り方等、細部に差が出る
ChatGPTで生成した文章がバレるかどうかについては、詳しくは以下の記事にて解説しています。
まとめ
今回は、AIが生成した文章か判定するコピペチェックツール「AI Text Classifier」について、使い方や精度を検証しました。1000文字以上でないと判定できないものの、精度としては使えるレベルでしたので、参考程度に使うと良いかなーと思いました。
ChatGPTをはじめとするAIを利用することで、プログラミングや英語学習のサポートになったり、業務を効率化させることもできるため、うまく活用することがポイントとなります。ChatGPTが生成する回答のクオリティを上げるには、質問の仕方が重要になってきます。これは「プロンプトエンジニアリング」とも呼ばれます。プロンプトエンジニアリングに関しては、以下の記事にて解説しています。
ここまで我々の生活にChatGPT等のAIが浸透しているなかで、「ChatGPTの利用は禁止！」というのもナンセンスです。もちろん、企業であれば機密情報を入力しないよう気を付けたり、学生であれば自分の判断で適切に利用する必要はあります。しかし、AIを効果的に取り入れていくことで業務効率化・自動化が実現できます。
当ブログでは、ChatGPTやその他AIに関する記事を投稿しています。特にChatGPTに関する基本知識や使い方・活用方法等について更新していますので、ぜひ参考にしてみてください。
コメント