新登場した「ChatGPT-4o」の特徴とマルチモーダルな使い方

はじめに

前回で最終回の本連載ですが、その掲載日(5月14日)に「ChatGPT-4o」が登場したので、急遽もう1回追加して解説することにしました。

第1回が公開されたのが2023年6月1日で、タイトルは「GPTで始まる大規模言語モデル時代」でした。それからわずか1年で「生成AI」という名前ですっかり社会に浸透しましたが、まだまだ急激に進化し続けており、この先どうなるかドキドキ、ワクワクしています。

GPT-4oの「o」とは

GPT-4oのoは「omni(オムニ)」のoで「フォー・オー」と読みます。omniという単語は“すべての”という意味ですが、multi(マルチ)と解釈する方がピンと来ます。10年近く前にｅコマース関連でomni channelという言葉が流行りましたが、これはECサイトやリアル店舗、SNSなど個別の販売経路だったものを統合するという戦略でした。GPT-4oのomniも同様の意味で、テキスト、画像、動画、音声、PDF、グラフ、ドキュメントなどと生成AIのインターフェースを統合したマルチモーダルを意味します。

GPT-4oの特徴

まずは、GPT-4oがGPT-4からどう変わったのかを押さえておきましょう。表1はGPT-4oの主な特徴をまとめたものです。ついでに無料プラン(ChatGPT)と有料プラン(ChatGPT Plus)に分けて比較もしています。この表でGPT-4oのTOPICSをいくつか説明しましょう。

無料プランでも利用可能

今回の発表で一番驚いたのは、無料プランでも利用可能になったことです(朗報です!)。これまで無料プランではGPT-3.5しか提供されず、ユーザーの多くは生成AIの価値をかなり目減りして使っていました。そして、これに飽き足りない人はChatGPT Plusを契約してGPT-4を利用していたわけです。今回、無料プランでもGPT-4oが利用可能になったことで、より多くの人が生成AIの本当のすごさを体感できるのです。

GPT-4o利用制限

無料で利用できることでひっかかるのはGPT-4oの利用制限です。執筆時点では有料プランの制限は3時間で80件のメッセージ送信回数なので、ほとんど意識しないで使えます。無料プランの制限回数は明記されていませんが、3時間で10件くらいのようです。ちょっと使うとすぐに制限にかかりそうなのが迷うところですね。制限を超えるとGPT-3.5に切り替わり、一定時間後にリセットされます。

マルチモーダル(Multimodality)

omniと名前に付けているくらいなので当然ですが、GPT-4oは画像の入出力、音声の入出力など、マルチモーダル対応が強化されています。第5回と第6回でChatGPTプラグインを使ってPDFや画像、動画、音声、Webページなどマルチモーダルな入出力を行えることを解説しました。GPT-4oは、このような外付けプラグインを使わなくても、直接マルチモーダルなアクセスができるようになっています。ほとんどのマルチモーダル機能は無料プランでも利用できますが、現時点では画像や動画の生成はサポートしていません。

リアルタイム検索

GPT-4oは、GPT-4と同じく2023年9月までのデータを学習に使用しています。以前は、それ以降の出来事に関する質問をすると、古いネタで誤回答するか、新しい情報を学んでいないので回答できないと返ってきました。しかし、GPT-4oはMicrosoft Bing Copilotと同じく新しい情報に関する質問はリアルタイムにBing検索してちゃんと回答してくれます。

例えば「大谷翔平さんはどこの球団ですか」と聞くと、今は正しく「ドジャース」と答えてくれます。とはいえ、実はこの機能はGTP-4の途中から搭載されているので、既にその便利さを体験している方も多いでしょう。

リアルタイム会話(Real-Time Conversational)・感情分析

GPT-4oは、これまでよりさらに人間に近いやり取りができるように対話能力が強化されており、これを「リアルタイム会話」と名付けています。人の会話は、急に話が飛ぶとか黙り込んでしまうとか多々ありますが、GPT-4oはそのような自然な会話への対応力がUPしています。

音声入力への応答時間も短くなり、人間の返答スピードに近づいています。さらに、プラグインで用意されていた感情分析を標準搭載しました。マルチモーダルになると扱うデータが音声や画像に広がりますが、ユーザーの声や顔の表情などを分析して相手の感情を推し測った応答を返すことができそうです。まさに、人間が日常行っているような会話ですね。

多言語対応・リアルタイム翻訳

GPT-4も多言語対応でしたが、GPT-4oはさらに多くの言語がサポートされており、現時点で50以上の言語に対応しています。また、翻訳の品質が向上し、リアルタイム性も強化されているので、音声やテキスト、画像の中の文字を翻訳して自然に対話できるように機能UPしています。

GPT-4o API

第9回で「GPT-4 Turbo」を紹介しました。これは2023年7月にリリースされた「GPT-4.0 API」を進化させたもので、入力できる文字数や応答速度、マルチモーダル機能などが強化されました。

ChatGPT-4oのリリースに伴い、APIの方も「GPT-4o API」がリリースされています。表2は第9回で示したAPIの比較表にGPT-4o APIを追加したものです。これを見ると、目玉機能であるマルチモーダルやリアルタイム検索、多言語対応などはすでにTurboでも実装されており、今回のリリースでは、それがさらに強化されているという流れが理解できます。一方で、応答速度が2倍になっているのにコスト半額という嬉しい提供であることも分かります。

マルチモーダルの実力

ChatGPT-4oのマルチモーダルの実力を試してみましょう。第5回と第6回でChatGPTプラグインを使ってPDFや画像、動画、音声、Webページなどマルチモーダルな入出力を行えることを解説しました。同様なことを、今度はプラグインを使わないで直接ChatGPT-4oに依頼してみます。

(1)PDFファイルを読取り、WORDファイルにまとめる

第5回ではPDFを読み取れるプラグイン「AskYour PDF」「Ai PDF」「Chatwith PDF」を使ってデジタル庁で公開されているPDF(図1)を読み取り、「要約」や「ブログ作成」「キーワード検索」「Q&Aサービス作成」などを行いました。

今回はプラグインを使わず直接ChatGPT-4oからPDFを読み取って、要約をWordファイルにまとめてもらいます。前と同じようにChatGPT-4oにURLを示して読んでもらうこともできますが、今回はPDFファイルをアップロードする方法にしました(図2)。

・ChatGPT-4oに文章を表示
Wordファイルに書き出す前に、図2左のように内容をChatGPT-4o上に表示してくれます。

・Wordファイルを作成
続いてこの文章をWordファイルに書き込み、ダウンロードできるリンクが表示されます。そこからWordファイルをダウンロードします。

(2)動画の読取り

第5回では動画を読み取れるプラグイン「VieoInsight.io」を使って、Youtubeに公開されているテニスの動画「打ち負けない力強い片手バック」を読み取り、「要約」と「メタデータ」を作成してもらいました。同じことをやってみたのが図3です。

(3)Webページへのアクセス

第5回ではWebページにアクセスできるプラグイン「Link Reader」や「WebPilot」を使って、Webページの「要約」や「ウェビナー募集ページの作成」を行いました。

前と同じWebページ「OpenAI,LangChain & LlamaIndex for Easy Extraction」のURLを示して、50分のウェビナー募集ページを作成してみましょう。

(4)PDFの作成

マルチモーダルの出力系の実力も見てみましょう。第6回ではPDFやWord、Excelなどのドキュメントを作成できるプラグイン「A+Doc Maker」を使ってA+Doc Maker自身の「提案書」を作成してもらいました。今回は、国産ERP「GRANDIT」の提案書をPDF形式で作成してもらうことにします(図5)。

そこでNotoSansJPという日本語フォントをアップロードして、このフォントを使うことを指示したところ、今度はちゃんとPDFファイルを生成できました(図5右下)。この後も出てきますが、PDFや画像、グラフなどの生成に関して日本語フォントを上手く使えないことがあります。そのような場合は、このようにフォントを読み込ませてみてください。

(5)グラフの作成

第6回では、グラフや図形を作成できるプラグイン「diagr.am」を使って、総務省統計局が毎月PDFで公開している人口推計データをもとにしたグラフを作成してもらいました。

(6)画像の作成

第10回ではDALL-Eを使った画像生成を試しました。ChatGPT-4oの画像生成はDALL-Eを使っているのでそんなに変わらないはずですが、同じプロンプトでもう1回作成してみましょう。

(7)図版の作成

最後に少し残念なケースも紹介しましょう。手書きで書いた図を良い感じで図版に起こしてくれるととても助かりますね。ということで図8左のような図を書いてスマホで撮影したファイルをアップし、図を作成してと依頼してみました。

まとめ

今回は、ChatGPT-4oの特徴を紹介し、マルチモーダルな使い方をいくつか試してみました。

• GPT-4oのoはオムニの意味でマルチモーダルの特徴を示す
• GPT-4oは回数制限などがあるが、無料ユーザーでも利用可能
• GPT-4oはマルチモーダルを売りとして、各プラグインのインターフェース機能を装備した
• 実はマルチモーダル、リアルタイム検索、リアルタイム会話、多言語対応などはGPT-4でも追加されていたが、GPT-4oでそれらが進化している
• GPT-4oのマルチモーダルは発展途上であり、今後ますます充実する
• 画像やPDF、グラフの生成で日本語フォントの問題が生じたときはフォントファイルを食わせれば良い

生成AIを使いこなすのは、車の運転やスポーツと同じです。理論よりも実践を重視して、とにかく目的を持って使ってみることが上達の早道です。これからは生成AIが大きな役割を果たす社会になりますので、エンジニアのみなさんは、率先してリードしてあげてください。