Googleの生成AI「Bard(バード)」で、YouTube動画の要約が可能になりました。以前から、BardではYouTubeのリアルタイム情報を取得できるようになってはいましたが、動画自体を要約できるようになったのは2023年11月21日のアップデート以降となります。
ITmediaの記事によると、動画が正確に要約されいない場合や、動画に載っていない情報を出してきたりしているようです。(参考：GoogleのAI「Bard」、YouTube動画の内容要約も可能に )
そこで、本ブログでもBardのYouTube動画の要約機能を使ってみて、より様々な動画で検証して要約の精度を検証してみたいと思います。
Bard YouTube要約機能の使い方
Bardを開きます。
ChatGPT等の生成AIを使うときと同様、プロンプト(質問)を書くためのテキストエリアがありますので、そこに質問内容を入力して送信します。
BardのYouTube要約機能でできること
まずは、BardのYouTube動画要約機能でできることについて紹介します。
画像付きの要約
ITmediaの記事内で、「画像つきの要約ができる」と記載があったので実際に試してみました。
ホッとケーキさん。というYoutuberの動画「【余った餅で】もちもちポンデリング風ドーナツの作り方！ホットケーキミックスで簡単」の内容について、画像付きで要約してください。
YouTube動画内の画像キャプチャが貼られるのかと思いきや、各場面に合った画像をネットで検索してきて載せているだけのようです。しかも、「柔らかくなった切り餅に、牛乳・・・よく混ぜる」の部分では、具材を混ぜ合わせている画像ではなく、全く関係ないパウンドケーキの画像が表示されました。
結果：画像はネット画像を拾っているだけ。現時点では実用的ではない。
※しかも画像も内容に合っていない場合がある
動画内容のテキストでの要約
では、テキストでの要約の精度はどうでしょうか？
パターン１：「ベスト５をまとめて」
ビジネス系や、自己啓発系、購入品紹介のチャンネルなどでは、「ベスト〇〇」「おすすめ〇選」などの内容の動画ってけっこう多いですよね。これがテキストでパッと要約されたらめちゃくちゃ便利だと思います。
メンタリストDaiGoのチャンネルの「DaiGoがつけて人生変わった最強の癖TOP5」を挙げてください
結果：きちんと要約できている！
※実際の動画はランキング形式で5位から1位と紹介しているが、そこまでは拾えていない。でも、内容に間違いはなく、問題なく要約できている！
パターン２：レシピを教えて
次は、動画を指定せずに、YouTube動画をもとにベーグルの作り方を教えてもらおうと思います。
簡単にベーグルを作るYouTube動画から、手順を教えてください
なんの変哲もない、ベーグルの基本的な作り方が出力されました。
本当にちゃんとYouTube動画のなかから参考にしたのか確認するために、追加でプロンプトを投げてみます。
参考にしたYoutubeの動画URLを教えてください
・・・・ん！？なんかURLがおかしいような。。。
存在しないやないかーーーーい(怒)！！！
結果：そもそもYouTube動画を基に回答しているのか怪しい
※参考元のURLは存在しないURLだった。単にネットの情報を要約してるだけっぽい。
パターン３：動画内でやっている筋トレメニューを教えて
なかやまきんにくん氏の筋トレ動画。こちらについてメニューをピックアップしてもらおうと思います。
なかやまきんにくんのYoutube動画「【下腹部＆くびれ】10種目10分間で下腹を引き締めて、くびれのあるウエストを作りましょう。目指せ最速シックスパック。初心者の方用のやり方あり。」について、動画内で行っている運動を箇条書きでまとめてください。
結果：ぜんっっっっっっっっっぜん内容が違う！！！！
※実際の動画に出てきていない内容まで記載されており、全く使い物になっていないレベル。
私自身、きんにくんのこの動画で筋トレすることがあるので内容は熟知していますが、内容がまるで違います。まずこの動画、腹筋に焦点を当てた内容となっており、レッグレイズなんてやりません。ぜんぜんだめです。
URLを投げて要約させてみる
https://www.youtube.com/watch?v=36S4YnRtJKc このYouTube動画を要約してください
結果：URLを投げて要約させることはできない。
結論：チャプターつき動画の要約は実用的、それ以外はダメ
いくつかの動画を要約させてみて気づいた点としては、
チャプターが設定されている動画はきちんと要約され、チャプターのない動画の場合は事実と異なる内容を含んだデタラメになる可能性が高い
ということです。
とはいえ、動画を見ずともチャプターを拾って内容をざっくり説明してくれるのは便利な機能だと思いました。
今後、レシピだったり、長い動画の要約だったりが実用的なレベルになれば、YouTube動画を見ずとも内容が分かるので便利になる反面、精度が高くなるにつれて動画そのものの視聴回数にも影響するかも？とも思いました。
プロンプト内容によって回答が大きく変わる
プロンプトの内容(質問の仕方)によっても、回答の質が大きく変わってくるなと思いました。
単に、「〇〇という動画を要約して」と言うよりも、「〇〇というYouTubeチャンネルの、〇〇という動画を要約して」というように、「YouTube」という単語を明記したほうが正確に動画の内容を拾ってきやすい印象です。
まとめ
今回は、Googleの生成AI「Bard(バード)」の、YouTube動画の要約機能について紹介しました。分かったことをまとめると、以下の通りになります。
- 画像込みの要約では、画像はネットから参照している
- キャプチャーが設定されている動画の要約は、正しくできている
- 字幕機能がついた動画は、字幕を拾って要約できるわけではない
- 実際の動画とは無関係の内容、デタラメな内容が返ってくる場合がある
チャプターが設定されている動画に関しては正確に要約してくれるものの、それ以外については動画内容と違う内容や、ネットから取得したと思われる情報が返ってくる場合があり、精度はまだまだだと感じました。
ネットニュースを読んだ段階では、「画像でも要約してくれるのかな？」と期待していましたが、画像はネット上のものを参照しており、もし実際の動画をキャプチャなどして要約できるようになったらめちゃくちゃ便利になるだろうなぁと思いました。
コメント