チャットボットの高コスト問題を解決したプレイヤーが「AIの民主化」の権利を得る

ChatGTPのようなチャットボットの応答は、検索よりもコストがかかる。この大規模言語モデル（LLM）を消費者に対して展開するコストを引き下げることが次の競争の焦点のようだ。コストが下がればAIは民主化するだろうか。

ロイターのインタビューによると、Googleの親会社Alphabetの会長で、元スタンフォード大学の第10代学長を務めたジョン・ヘネシーは、同社のチャットボット「Bard」のようなAIの応答は、通常のキーワード検索よりも10倍以上のコストがかかる可能性があると述べている。AI言語モデルとの対話は、通常の検索よりも多くのコンピューティングパワーを必要とする。

あるテクノロジー企業の上級幹部はロイターに対し、このようなAIを何百万人もの消費者の手に渡すには、依然としてコストがかかり過ぎると語った。「このモデルは非常に高価なので、次のレベルの発明は、このモデルのトレーニングと推論の両方のコストを削減して、あらゆるアプリケーションで使えるようにすることです」と、この幹部は匿名を条件に語ったという。

AI検索のコスト予測はさまざまだ。モルガン・スタンレーは、Googleの昨年の3.3兆件の検索クエリのコストは、一回の検索あたりおよそ0.2セントで、この数字はAIが生成しなければならないテキストの量によって増加すると推定している。「例えば、Googleは、ChatGPTのようなAIが50単語の回答でクエリの半分を処理した場合、2024年までに60億ドルのコスト増に直面する可能性がある」とモルガン・スタンレーのアナリストは予測している。

Googleは、1秒間に約32万回の検索クエリを実行している。これを、Googleの検索部門の1,624億5,000万ドルの売上（2022年）と照らし合わせると、1クエリあたりの平均売上は1.61セントだ。

チップ技術に特化した調査・コンサルティング会社であるSemiAnalysisは、ChatGPT形式のAIを検索に追加すると、Alpphabetのコストは30億ドルとなる。これは、他の最適化とともにTensor Processing Units（TPU）というAI分野のドメイン固有チップによって節約されたことを考慮している。

OpenAIのChat GPTは、会話1回につき数セントという「目玉が飛び出る」計算コストになっていると、同スタートアップのCEO、サム・アルトマンは12月にツイートしていた。

SemiAnalysisの構築したモデルは、ChatGPTを提供するために、約3,617台のHGX A100サーバー（28,936個のGPU）を必要とすると言う推定を前提とし、クエリあたりのコストは0.36セントと推定する。「もしChatGPTモデルがGoogleの既存の検索ビジネスに組み込まれた場合、そのインパクトは壊滅的なものになるでしょう。営業利益が360億ドル減少することになります。これはLLM推論のコストで360億ドルです。これは、LLMを使った検索がどのようになるかということではなく、その分析結果はこちらにあります」とDylan PatelとAfzal Ahmadは記述している。

Googleは同社のAIモデル「LaMDA」の「小型版」でチャットボットを稼働させるという。推論コスト（チャットボットが応答を生成する方法に関連する費用）も下げなければならないとヘネシーはロイターに対して述べている。「最悪の場合、2、3年かかる問題だ」。言い換えれば、2、3年あればに解決する問題だ。

Microsoftの最高財務責任者（CFO）のエイミー・フードは、1月の決算発表時にはアナリストに対し、新しいBingが何百万人もの消費者に展開される中で、ユーザー獲得と広告収入による上積みが経費を上回ると述べている。