PaLM

PaLM (Pathways Language Model, パスウェイズ言語モデル) は、Googleが開発した大規模言語モデル(LLM)のひとつ。最新版はGoogle I/O 2023で発表されたPaLM2。

同社が2021年に発表した会話に特化したLLM、LaMDAと異なり、より幅広い利用を想定して開発された。2023年3月にGoogleはデベロッパー向けにPaLMの一部APIを一般公開した。

性能

Googleが開発しているLaMDAは会話に特化したLLMだが、PaLMは会話に加え文章の生成や分類といった能力に長けているより高性能なLLM。性能指標のひとつであるパラメーターの数は5400億で、競合のGPT-3(パラメーター数1750億、後継であるGPT-3.5は3550億)やLLaMA(同650億)、自社のLaMDA(同1370億)と比べると大きく上回る。そのため質疑応答や文脈読解などNLP(自然言語処理)の能力が大幅に向上し、先述のLLMやMetaが開発したLLaMAを上回る性能を獲得しているとGoogleは主張している。また最新版のPaLM2は、100以上の言語に対応したことで、多言語翻訳が可能となった。さらに文脈の読み取りや計算能力、論理的思考などが強化され、ことわざやなぞなぞ、隠喩や慣用句などが理解できるようになったとしている。ただ、パラメーターの増加によって必要処理能力の増大などの課題もあり、その点LLaMAは意図的にパラメーターを減らすことにより単体GPUで動くように設計されている。GPT-3などのLLMに匹敵する性能を持っていることが大学や企業の研究で明らかになっている他、単体GPUで動作するため家庭用PCで運用が可能。

PaLM2とGoogle I/O 2023

CNBCによる報道

CNBCは2023年5月7日、同年5月10日(米国時間)に開催されるGoogleの開発者会議「Google I/O2023」でPaLMの次期バージョン「PaLM2」を発表する方針であると報道した。

競合LLMへの危機感

2023年5月8日、Googleの内部文書がDiscordの公開サーバーに流出した。文書中には「OpenAIはすでに敵ではない」「警戒すべきはオープンソースとMetaであり、特にオープンソースプロジェクトは驚異的で、我々が1000万ドルと5400億のパラメーターで実現していることを、彼らは100ドルと130億のパラメーターで実現している。」などとしており、「我々がAI市場の主要なメンバーであり続けるためには、オープンソース化することが必要だ」と結論づけた。この内部文書ではオープンソースという第三の敵へのGoogleの危機感が多く示されおり、Googleの今後の開発方針に影響する可能性がある。

PaLM2の発表

Googleは、2023年5月10日に開催された開発者会議「Google I/O」で事前情報の通りPaLM2を発表し、即日導入を開始した。Googleによると、すでに25を超えるサービスで導入が開始されているという。

活用

Bardへの導入

Googleの最高経営責任者(CEO)であるサンダー・ピチャイ氏は2023年3月31日、The NewYork TimesのAI関連の取材に応じChatGPTなどの画期的なAIサービスが誕生したことに嬉しさを感じているとした上で、自社の会話型AIサービスであるBard(バード)にPaLMを導入することを示唆した。現在、BardはLaMDAの軽量版を基に開発されているが、これが実現すれば大幅に性能が上がる可能性を秘めているとサンダー・ピチャイ氏は期待を示した。これは、Googleが会話型AI市場への参入の遅れの他、Bardの性能が市場の期待よりも低く、ChatGPT一強の状態になることを危惧したものだとThe NewYork Timesは解説している。

2023年4月10日、GoogleはBardに対して基盤となるLLMをLaMDAからPaLMへと変更するアップデートを展開した。この結果、事前情報の通り計算や倫理的な考え方がより高度になったとしている。

2023年5月10日、Google I/Oにてベースの大規模言語モデルをPaLMからPaLM2へと移行することを発表し、同時配信が開始された。これにより、日本語と韓国語に対応したほか、より高度な論理的思考や文脈の読み取りが可能となり、なぞなぞなどの曖昧な情報から答えを生成できるようになった。

自社サービスとの連携

Googleは2023年3月14日、開発者向けにAPIの一部を公開したほか、自社のクラウドコンピュータサービスであるGoogle CloudにPaLMなどのAIを利用できるジェネレーティブAI機能を導入した。これにより開発者は、セキュリティ、プライバシーなどを確保しつつ、クラウドソリューションとの統合も可能になるなどのメリットが生まれるとしている。

2023年5月10日、Gmailの自動返信機能やGoogle検索における新機能「SGE(Search Generative Experience)」を発表した。どちらも効率化を目的として導入されており、Google Workspaceでは文書からプレゼンテーションを作ったり、文書の要約などの新機能が発表された。またBardは、今夏よりAdobe Fireflyとの連携が可能になる。