ChatGPTは嘘をつく?得意分野と苦手分野を調べてみた

ChatGPT

世間を賑わせているChatGPTですが、中には「嘘つき」「デタラメばかり」「使えない」といった声も多く見られます。その一方で、ChatGPTを活用してサービスを作ったり業務に取り入れるなど、使い倒している人も。この違いは何なのでしょう?果たして、ChatGPTは単に「使えない」だけなのでしょうか?

ドラえもんにアルティメットドンキーコングは登場しません

今回は、ChatGPTはなぜうそつきと言われているのか、何が得意で何を苦手としているのかについて解説します。なお、ChatGPTの回答の精度を上げる具体的な方法については以下記事にて解説しています。

ChatGPTは嘘をつく?

結論、ChatGPTは大嘘をつきます。

以下はChatGPTに「Excelの超ひも理論について教えて」と聞いた結果です。

Excelの超ひも理論とは

無論、Excelに超ひも理論なんてありません。ChatGPTは、存在しない言葉や定義について質問されてもネット上のあらゆる情報を組み合わせて回答を生成することがあります。

ネットの声に目を向けてみると・・・

「ChatGPTは息を吐くように嘘をつく」というネットの声を集めてみると、

  • 「〇〇(店名)について教えて」と聞いたら、デタラメな住所が返ってきた
  • 「ちいかわについて教えて」と聞いたら、「千葉県川口市のことですね?」と言われた
  • 「走れメロスのあらすじを教えて」と聞いたら、架空の物語が返ってきた

といった、「〇〇について教えて」と聞いた場合に嘘情報が返ってきたという声が多く見られました。そのジャンルは芸能や映画、書籍、音楽、アニメなどのエンタメ系が多いようです。ただ、これはエンタメ系の質問をした人が単純に多いとも言えます。

じゃあ、プログラミングや英語学習などにChatGPTを使った人たちの感想はというと、「使う側が賢くないといけない」「プログラミングで使うときはファクトチェックをするといい」といった、ChatGPTは嘘をつくという事実を認めつつもその対策をしながら使っているかんじです。

日本語は英語よりも精度が落ちる

ChatGPTの学習データの多くは英語がベースとなっており、英語で質問したときに最も精度が高くなります。

以下は、「SEOに強いブログを書くポイントを3つ、簡潔に教えて」と聞いたものです。

内容としては同じような内容が返ってきましたが、英語での対話のほうではツールを使った具体的なリサーチ方法や、「SEO対策には1000文字以上書くのが良い」など、より具体的な内容となっています。

得意分野・苦手分野がある

ChatGPTには、得意分野・苦手分野があります。

ChatGPTの得意分野

すでに知っているジャンルの質問

ChatGPTは、すでに学習した知識やノウハウに関する質問が得意です。例えば、いろんなケーキの作り方を学習済みのAIに「おいしいチョコケーキの作り方を教えて」と質問すれば、学習したデータからチョコケーキのレシピを返してくれます。

プログラミング

極端に難しい内容でなければ、ChatGPTはプログラミングに関してはかなり精度の高い回答をします。ChatGPTをプログラミング学習に生かす方法については過去記事にて紹介しています。

文章生成

ChatGPTは大量のテキストデータを学習しているため、従来の文章生成AIと異なり人間的で自然な文章を作成できます。そのため、履歴書作成や読書感想文、ブログ作成などあらゆる文章作成の場面での活用や、ChatGPT APIを活用したチャットボット等サービスの登場が期待されます。ChatGPTでのブログ作成検証については以下記事をご参照ください。

ChatGPTの苦手分野

知らないジャンルの質問

ツイッターで多かったのがこのパターンです。ChatGPTは、学習していない内容について質問をされても「分からない」とは言わず、何がなんでも答える傾向にあります。その回答は、自分の持っているデータを組み合わせた架空のものとなります。

こちらの対話は、私が適当に作った「世界のエロ男爵」という存在しない芸人について尋ねたものです。ChatGPTは「芸人」「エロ」「男爵」といったキーワードから関連情報を収集し、それを組み合わせて回答を生成します。

感情的な表現やアート・音楽に関する質問

ChatGPTは感情に関わる質問が苦手です。ChatGPT本人も、感情を持たないと言っています。

アートや音楽、スポーツなどの明確な答えを持たない分野に関しては答えを返すことができません。

計算

ChatGPTは言語モデルのため、計算が苦手です。

ChatGPTは大量のテキストデータで学習しており、質問に含まれるキーワードの関係を推論して答えを生成しています。つまり、計算の問題を与えても、実際にChatGPTが計算しているわけではなく、大量の学習データから答えを導きます。

「プロンプトエンジニアリング」がカギとなる

ChatGPTは、質問のしかたによって回答のクオリティが大きく異なります。これを、「プロンプトエンジニアリング」と言ったりもします。

プロンプトエンジニアリングとは?

「プロンプト」とは、コンピュータに対して人間が文字を打って命令することです。Windowsの標準機能にも「コマンドプロンプト」という真っ黒の画面がありますよね。

そして、「プロンプトエンジニアリング」というのは、プロンプトを打つ際にAIが良質な回答を返せるように命令を作成することを意味します。今月頭にはChatGPT APIがリリースされたことにより、ChatGPTの活用範囲が広がったことで今後プロンプトエンジニアリングは重要なものとなっていくと考えられます。

このプロンプトエンジニアリングを採用して作られたツールに「AIPRM for ChatGPT」があります。AIPRM for ChatGPTはGoogle Chromeの拡張機能のひとつで、プロンプトの手助けをしてくれるツールです。

まとめ

今回は、ChatGPTの得意分野と苦手分野について調べてみました。文章生成やプログラミングなどの得意分野ではかなり実用的な反面、計算や感情に関わる内容だと使い物にならないこともありそうです。

しかし、「プロンプトエンジニアリング」を取り入れて質問のしかたを工夫することで、ChatGPTの回答の精度は大きく改善できます。次回の記事では、ChatGPTにどのような質問をすると回答のクオリティを上げられるのか、具体的な事例を交えて説明します。

コメント

タイトルとURLをコピーしました