ユーザーローカルは、2023年1月12日、論文やレポート、ネット記事などがChatGPT等の生成AIで書かれたものかどうかを判断することのできるツール「生成AIチェッカー」を公開しました。
株式会社ユーザーローカルは、「データで世界を進化させる」という経営理念のもと、データ分析やAIシステムの提供、法人向けChatGPTツール「ChatAI」の提供など、AI関連の事業を幅広く展開している会社です。
本記事では、「生成AIチェッカー」の主な仕様や精度について検証・解説します。
「生成AIチェッカー」の使い方
「生成AIチェッカー」にアクセスします(別タブで開きます)。
以下のような、シンプルなページが開きます。
ここにテキストを入力して、「テキストを判定」を押すとAIが生成したテキストかどうかが判定されます。
主な仕様
ツールは完全無料・登録不要
「生成AIチェッカー」は完全無料で使うことができ、ユーザー登録の必要もありません。
文字数は300文字以上を推奨
「生成AIチェッカー」は、正確な判定をするには300文字以上のテキストが必要としています。
文字数が足りていない場合、以下のように「文字数が少ないため判定が正確ではない場合があります」と表示されます。
文字数の上限はない？
「生成AIチェッカー」の、文字数の上限は分かりませんでした。
10万文字、100万文字と入力しても、判定が行われ、上限によるエラー等が発生することはありませんでした。
ただし、10万文字など長い文章を入力すると判定時間までに少し時間がかかりました。
使用回数に制限はない？
ツールには回数制限に関して明記されていませんが、この記事を書くにあたり1時間で50回程度ツールを使用しましたが、回数制限にはなりませんでした。
判定精度は？
「生成AIチェッカー」の判定精度について、いくつかのパターンで検証してみたいと思います。
文字数：300文字程度
まずは、300文字程度で各生成AIに作成させた記事を判定にかけてみます。
300文字程度で、ChatGPTについて教えてください。
ChatGPT (GPT-3.5)
- 文字数：435文字
- 判定：85%
ChatGPTは、OpenAIが開発した自然言語処理モデルの一つで、GPT-3.5アーキテクチャに基づいています。このモデルは大規模なテキストデータセットを使用して訓練され、人間のように文章を生成し、質問に答えたり、対話を行ったりすることができます。
ChatGPTは、情報提供、質問応答、クリエイティブな文章生成、文書の要約、言語翻訳など、さまざまな自然言語処理タスクに利用できます。また、APIとして提供されており、開発者は自分のアプリケーションやサービスに統合して利用することができます。
このモデルは、様々な分野での利用が期待されており、カスタマーサポート、教育、コンテンツ生成、情報検索などの領域で幅広く活用されています。ただし、人間のような対話ができる一方で、誤った情報を提供することがあるため、利用時には慎重さが必要です。
OpenAIは、モデルの適切な使用法と倫理的な考慮を強調し、AI技術の進化に伴う社会的な課題に対処するための取り組みも行っています。ChatGPT (GPT-4)
- 文字数：356文字
- 判定：70%
ChatGPTは、自然言語理解と生成のために訓練された大規模な人工知能モデルです。OpenAIによって開発され、膨大なテキストデータを用いて学習しています。ユーザーが入力したテキストに対して、人間のように自然で適切な返答を生成することができます。例えば、質問に答えたり、文章を作成したり、指示に従って特定のタスクを実行することが可能です。また、ChatGPTは継続的に学習し、その性能は時間とともに向上しています。対話形式でのやり取りにおいて、ChatGPTはユーザーの意図を理解し、関連する情報を提供することに優れています。しかし、現時点では完璧ではなく、間違いを犯すこともあります。それにもかかわらず、多くの用途で有用なツールとなっており、教育、ビジネス、エンターテイメントなど様々な分野で活用されています。Bard
- 文字数：417文字
- 判定：50%
ChatGPTの主な機能は、次のとおりです。
テキストの生成：詩、コード、台本、音楽作品、電子メール、手紙など、さまざまな種類のクリエイティブ テキスト形式を生成できます。
言語の翻訳：テキストを 26 の言語間で翻訳できます。
質問への回答：事実に関する質問に有益な方法で答えることができます。
ChatGPTは、まだ開発中ですが、さまざまな用途に使用されています。たとえば、教育、エンターテインメント、カスタマー サービスなどに使用されています。
ChatGPTの利点は、次のとおりです。
テキストとコードの膨大なデータセットで事前学習されているため、さまざまなタスクを実行できます。
まだ開発中であるため、今後も機能が追加される可能性があります。
ChatGPTの課題は、次のとおりです。
偏見や誤った情報を生成する可能性がある。
悪意のある目的で使用される可能性がある。
ChatGPTは、今後も開発が進められ、より高度な機能が追加されるでしょう。人間が書いた文章
私が頑張って書きました(笑)
- 文字数：393文字
- 判定：50%
ChatGPTは、OpenAIが公開している生成AIです。2022年11月に公開され、多くのユーザーに使用されています。 ChatGPTは、無料でも使うことができますが、無料ではGPT-3.5モデルのみ使えます。より高性能なGPT-4を使うには月額20ドルの課金が必要です。 ChatGPTでは、文章の要約・作成、ソースコードの生成、詩や俳句なども作成が可能で、企業として導入している事例もあります。 これまではGoogle検索で調べていた内容も、ChatGPTに質問することで回答を得られるため、作業効率の向上にも一役買っています。アプリ版もリリースされており、スマホからでも使うことができます。 ChatGPTはAPIも公開されており、チャットボットや各種サービスが個人・企業から提供されています。非常に多くの可能性を秘めたChatGPTは、今後もより便利なツールとなっていくことでしょう。文字数：1000文字程度
次に、文字数を1000文字程度に増やして検証してみます。
なお、「1000字で」と指定しても、1200-1300字になってしまっています。なるべく各生成AIで文字数が近づくように調整していますが全く同じ文字数にはなりませんでした。
ChatGPTについて、1000文字で説明して。
ChatGPT (GPT-3.5)
- 文字数：1407文字
- 判定：85%
ChatGPT (GPT-4)
- 文字数：10001文字
- 判定：95%
Bard
- 文字数：1263文字
- 判定：60%
人間
- 文字数：1142文字
- 判定：5%
さすがに1000字書くのは大変だったので、過去のChatGPTに関する投稿記事から1000文字程度抜粋して判定にかけました。
300文字程度で試したときは、AIで書いた可能性が50%と高い結果となりましたが、1000文字を超えると判定が5%となりました。
文字数は多ければ多いほど精度が上がる
さらに、GPT-3.5にて3000文字程度の文章を生成して判定してみました。
すると、AIによって生成された可能性が95%となりました。
まとめ
今回は、ユーザーローカルが公開した論文やレポート、ネット記事などがChatGPT等の生成AIで書かれたものかどうかを判断することのできるツール「生成AIチェッカー」について解説しました。
300文字程度だと精度は微妙でしたが、1000文字程度であれば正しく判定できており、参考として使うには便利なツールだと思いました。
また、ChatGPTが生成した文章はAIである可能性が高く、Bardが生成した文章は低い傾向がありました。
生成AIを活用して論文やレポート、ブログ記事などを書いている方は、提出前に一度このツールで判定してみて、あまりにもAIである可能性が高すぎる場合は見直すなどしても良いかもしれません。逆に、論文やレポートを添削する立場の方は、本ツールを活用してAIが書いた文章か、人間が書いた文章かを判別する一つの手段すると役に立つのではないでしょうか。
コメント