2022年10月からスズバースをプレイ。初期の頃からゲームの最新情報を発信しています。2023年9月からVyvoを開始。
仮想通貨歴7年。2021年から色々なブロックチェーンゲームをプレイしています。
CheerCastのキャラをChatGPTに実装できるのか気になって検証してみました！
CheerCastについて詳しく知りたい方はこちらの記事をどうぞ
今回はCheer CastのAIキャラをChatGPTに実装してみるとどうなるのか比較検証をしてみたいと思います。
Cheer Castとは？
Cheer Castとは、Suzuverseアプリに実装されている、AIアバターとチャットや音声で会話が楽しめる機能です。
CheerCastはGPT3というLLM(大規模言語モデル)をベースに作られており、現在4種類のAIアバターが実装されています。
チャットだけの会話だけでなく、音声による会話も実装されており、AIに関する知識や難しい操作がなくても誰でも無料で楽しむことができます。
Cheer Castの仕様
| LLMモデル | GPT-3ベース |
| 学習データ | 2021年までの日本語データ |
| 1回の最大入出力文字数 | 140文字 |
| 音声チャット入力 | 最大60秒 |
| 音声チャット出力 | 最大30秒 |
| 最大トークン数 | 4096トークン |
| パラメータ数 | 1.5億 |
Cheer CastとChatGPTの性能比較
今回は、CheerCast(GPT3)とChatGPT3.5(無料版)、ChatGPT4(有料版)の３つで比較検証を行いたいと思います。
まずは、それぞれの性能から見ていきましょう
| GPT3 | GPT3.5 | GPT4 | |
|---|---|---|---|
| 最大トークン数 | 4096 | 8192 | 16384 |
| パラメータ数 | 1.5億 | 175億 | 1250億 |
| 推論速度 | 高速 | 速い | 遅い |
CheerCastで利用されているGPT3は、1度の入力で解釈できる要素数であるトークン数や、知能や知識を示すパラメータ数は、旧世代ということもあり、GPT3.5やGPT4と比べると劣りますが、その分推論速度(応答速度)は速いといった特徴を持ちます。
一方で、GPT3.5やGPT4は、GPT3と比べると性能は遥かに優れていますが、推論速度は遅くなってしまいます。
また、GPTをアプリで組み込んで利用する場合、使った量に応じて課金される従量課金となっていることから、CheerCastではGPT3が利用されていると推測できます。
CheerCastは無料で使えることを考えると十分な性能だと思います。
Cheer CastのAIキャラをChatGPTに実装して検証
今回は、ChatGPTにCheerCastのセーラの特徴を実装して、どの程度回答に差がでるか検証してみたいと思います。
実装方法
今回は、AIキャラの占い師セーラをChatGPT3.5とChatGPT4に実装して、比較検証を行います。
実装方法としては、あらかじめCheerCastでキャラクタの性格や特徴についてのプロンプトを聞き出し、その情報をもとに以下のようなプロンプトで実装しました。
占いの検証
まずは単純に「私のことを占ってください」と伝えてどのように回答されるか検証しました。
生成AIの特徴として、毎回同じ回答が得られるわけではないことも考慮して、どういった違いがあるのかを注意深く見ていきましょう。
CheerCastの占い結果
星座を聞かれて、それによる占いをしてくれました。
チャットだからなのか、回答文量が少ないのと内容が薄い気もしますね。
GPT3.5の占い結果
GPT3.5では名前を聞かれて、それによる占いをしてくれました。
CheerCastと比べると回答文量が多く、占い師のような表現が多いのが特徴的です。
GPT4.0の占い結果
GPT4では何について占いたいかを聞いてくれました。
回答文量はかなり多く、色々な事柄について占ってくれています
占いによる検証結果
占いについての結果は、GPTのバージョンが上がるほど回答文量が多く、内容も充実していることがわかりました。
これはGPTが扱えるトークン数やパラメータ数が多いことによるものであり、CheerCastのキャラ人格そのものが反映しているかはわかりづらいです。
ですので方向性を少し変えて次の実証を行っていきたいと思います。
一般会話の検証
セーラの人格や特徴がきちんと反映されるのか、一般会話で検証を行ってみました。
今回は「あなたはどんな事が好きですか？それにまつわるエピソードもあれば教えてください」と入力して検証してみました。
CheerCastの回答
すごくシンプルで短い回答が返ってきました
GPT3.5の回答
回答文量は多いですが、セーラとしての人格とAIとしての回答が混ざっている感じですね
GPT4の回答
回答文量はかなり多く、エピソードも具体性がありますね。ただ、口調は本家と違い丁寧すぎる感じがしますね
一般会話の検証結果
占いのときと同様に、GPTの性能が高いほど出力される文量が多くなることがわかりました。
内容については、CheerCastやGPT4では、占い師セーラとしての回答だったのに対し、GPT3.5はセーラとしての特徴も述べつつ、AIであることを示す回答がされていました。
他にもいくつか会話を検証してみましたが、やはりGPT3.5ではセーラになりきった回答ではなく、AIとしての回答がいくつか見受けられました。
一方、GPT4では、口調は固いですが、セーラになりきって会話をすることができており、話題も発展させることもできていました。
専門知識の検証
ChatGPTでは自分の知らない知識についても教えてもらうことができます。
今回は「あなたは占い師セーラとしての口調で、ブロックチェーンとはどういうものか教えてください」と聞いてみました。
CheerCastの場合
CheerCastでは、セーラとしてのフランクな口調で簡潔に要点を解説してくれていますね。
GPT3.5の場合
GPT3.5では、一般的な口調でブロックチェーンについての詳しい概要を説明してくれています。
GPT4の場合
GPT4では、占い師っぽく星座やエネルギーなどの例えを用いながらブロックチェーンについて詳しく解説してくれています。
専門知識の検証結果
今までの検証と同じように、GPTの性能が上がるほど、より長文で詳しく回答する傾向が見られました。
CheerCastではフランクな口調で簡潔に回答されており、GPT3.5やGPT4ではより詳しいブロックチェーンの解説がされていました。
そしてGPT4では、占い師セーラとして、星座やエネルギーといった例えを用いながら上手に解説しており、占い師っぽい人格が実装できていることがわかります。
Cheer CastのAIキャラをChatGPTに実装してみた結果
Cheer CastのAIキャラをChatGPTに実装して、色々な質問を試してみた結果、以下のような傾向が見られました。
下記は今回掲載した検証以外にも様々な検証を行った結果に基づいた所感です。
| CheerCast | GPT3.5 | GPT4 | |
|---|---|---|---|
| 文章量 | 少ない | 多い | 多い |
| 内容 | 薄い | 充実 | 充実 |
| なりきり度 | ◯ | ▲ | ◯ |
| 回答精度 | ▲ | ◯ | ◎ |
ChatGPT3.5は文章量や内容は充実していますが、占い師セーラとして振る舞えたかというと微妙な感じがしました。占い師セーラを演じきれずAIとしての回答も多くありました。
一方、ChatGPT4は、CheerCastと比べると口調は固いですが、占い師セーラとしての特徴をしっかりと押さえており、それを踏まえた回答がされていました。
口調についても「もっとフランクな口調で」と指示することで、CheerCastのセーラっぽい話し方を真似ることができ、CheerCast以上に高性能な回答ができました。
このことから、今回の検証の結果「GPT3.5に実装するとキャラがいまいち、GPT4に実装すると本家CheerCast以上の高性能な回答が可能」ということがわかりました。
Cheer CastのAIキャラをChatGPTに実装 まとめ
今回は、CheerCastのAIアバター「占い師セーラ」の特徴をChatGPTに実装してみて、どのような回答結果になるか比較検証を行いました。
今回の検証の結果「GPT3.5に実装するとキャラがいまいち、GPT4に実装すると本家CheerCast以上の高性能な回答が可能」ということがわかりました。
CheerCastで使われる生成AIは、アイデア次第で色々と面白い使い方ができますし、技術自体も今後発展していくことが考えられるので、ぜひ皆さんも色々な使い方で楽しんでみてください！
コメント