こんにちは、株式会社インサイトテクノロジー　コンサルティング本部 丹治です。
db tech showcase 2023 H18セッション「生成AI+ベクトル検索で大きく変わるIT基盤（グーグル合同会社 さとう かずのり氏）」のレポートをお届けします。

セッション概要

Googleをはじめとする主要インターネットサービスでは、従来のデータベースや検索エンジンに代わり「エンベディングとベクトル検索エンジン」が新しいユーザー体験を生み出すIT基盤になりつつあることをご存知でしょうか。画像や動画、文章等の膨大なコンテンツの「意味」を表す新しいデータ構造「エンベディング」をAIが抽出し、高速なベクトル検索と組み合わせることで、YouTubeやGoogle検索などの情報検索と推薦の大半が実装されています。このセッションでは、生成AIの普及とともに大きく変化しつつあるIT基盤のあり方を解説します。

スピーカー名：グーグル合同会社 さとう かずのり氏

はじめに

今流行りの生成AIや大規模言語モデル（以降LLM）ですが、実際、私たちの生活の中で、「どこで」「どうやって」活用されているのでしょうか。
本セッションでは生成AI、LLMの最新技術を用いた現システムへの活用事例、またその仕組みを解説していただきました。

エンベディング

本セッションで鍵となるワードは「エンベディング」です。
自然言語処理の中でエンベディングといえば、文や単語をベクトルで表現したもの、を指します。
本セッションでは文や単語のみならず、画像や動画に関するエンベディングを取り扱っています。

エンベディング空間と検索

様々なコンテンツを、意味をベクトルとして表現するエンベディングですが、これらは実際にエンベディング空間における座標として働き、空間内で距離の近いエンベディング（意味としてはコンテンツ）同士の紐づけを可能とします。
この、距離の近いエンベディングを探すアルゴリズムには、Approximate Nearest Neighbor(ANN)や、Vertex AI Vector Searchを用いることができます。

活用事例

これらの技術はTikTok等のSNSで用いられるレコメンド機能や、キーワードからの画像検索で用いられています。
キーワードからの画像検索に関しては、本セッション内で実際の画面を見ながらどんな機能なのかを確認することができました。

まとめ

・現代のAI、LLMの急速な成長により、「キーワード検索」から「意味検索」が可能に
・「意味検索」は、エンベディングを用いたベクトル検索によって実現している
・「意味検索」は検索機能のみならず、SNSやネット通販のレコメンド機能にも活用されている
・画像や動画からもエンベディングを抽出することによって、意味検索を可能としている

聴講した感想

AI、機械学習に関連する話は専門用語や横文字が多く難しい印象がありましたが、丁寧な解説や、複雑な仕組みを簡潔に落とし込む工夫等があり、初学者の自分にも内容が頭に入ってきやすかったです。
特に興味深かったのは、本来膨大な次元数で現されるエンベディングの考えを、2次元や3次元等、視覚的にわかりやすい次元にまで落とし込んだ説明の部分です。
頭の中で概念的にしか理解できていなかった部分が、視覚的に、明確に理解できました。
多少、機械学習関連の知識がないと難しい話もありましたが、機械学習に全く触れたことがない人でも、自分の身近なところでこんな技術が使われているのか、という発見や、新たな興味につながる内容だと思います！