コーチ君が暴走するいくつかのパターン

投稿日: 2023年5月17日

フラスコ代表、安田です。先日リリースしたコーチ君ですが、「すごい！」という声も多く寄せられている一方で「ば〜っと長文で返してきた」という事例も報告されています。これ、暴走なんですよね・・・。

コーチ君への期待と「暴走」

コーチ君はその名前からは当然ですがコーチなので、「ば〜っと長文で」何かを教えてくれることは期待していません。クライアント（ユーザー）に質問をして、クライアントの中にある答えを探すための壁打ちの相手、そういう期待をして、そういう動きをするように作られています。

まあこれ実は、人間のコーチでもやってしまいがちなことではあります。クライアントの役に立とうと思うあまり、自分の知識をば〜っとしゃべってしまうことは、特に経験が浅いコーチは良くやります。コーチがその「しゃべりたい、教えたい」という欲をいかに抑えるかがコーチングセッションにおいては結構、重要だったりします。

ほとんどの人が、話を聞くよりも自分がしゃべりたいんですよね。「私は聞き上手です」という人でも、コミュニケーションを良く観察すると６：４で多くしゃべっていたりします。だからといって、コーチ君もそれで良いというわけではないのですが。

コーチ君はどうやって作られているか

なぜこんな現象が起こってしまうのかを、ここのところずっと考えています。まず基本的なところからお話をすると、コーチ君はインターフェースがLINEですが、チャット内容に関してはChatGPT（GPT4）を使っています。何をしゃべるかに関してはほぼ、GPT4に依存しているわけです。

ChatGPTを使ったことがある方はご存知だと思いますが、ChatGPTはかなり「おしゃべり」です。こちらが１つ質問をしたら、ポイントを５つも６つも、しかもまあまあの長い文章で返してくれます。ば〜っとしゃべる感じです。まずはそういう特徴があるということですね。

で、そういうChatGPTに「プロンプト」といってこちらからの指示文をあらかじめ与えることによって、コーチを「演じて」もらっているわけです。質問には答えないで質問をしてねとか、１回に聞くことは１つにしてねとか、短い文章で答えてねとかです。でもその指示を無視して、ちょいちょい暴走しちゃうんですよね。

パターン１：クライアントからの質問

そういう暴走が起こるパターンを、自分自身の実験やいろんな方に実際に使って頂いて集まりつつある情報から分析すると、いくつかのパターンがあることがわかってきました。まずはこれ、クライアントの側から質問をすると、かなりの確率で暴走するようです。

「質問には答えられません。ところで・・・」と想定通りの反応をすることもあるのですが、長文で返してしまうことがかなりあります。まあ質問に答えないよりは答えた方が親切だとも言えるので、今のところあまり不満の声はないのですが。

パターン２：情報量が多い

例えば「あなたの強みは何だと思いますか？」というコーチ君の質問に対して、クライアント側が「あれとこれとこれと・・・」とたくさんの回答を一度に返した場合、コーチ君が暴走することがあります。単純に受け取った情報を繰り返すだけでもそれなりの文字数になりますし、受け取った１つ１つの情報を順番に、全て処理しようとするのかもしれません。

箇条書きで３つとか、そんな大量でもないけどなという情報量でも「暴走」することがあるので、ロジックははっきりとは分かりません。ただ、質問に対して短い回答を与えているときは安定しているという傾向はあります。