
Gemini Embedding 2:グーグル初のマルチモーダル埋め込みモデル
Gemini Embedding 2:機能、ベンチマーク、価格、開始方法 先週、グーグルは ジェミニ エンベッディング2は、Geminiアーキテクチャ上に構築された初のネイティブなマルチモーダルエンベッディングモデルである。エンベッディングを何らかの形で扱うのであれば、これは注目に値する。これは、今日ほとんどのチームが依存しているマルチモデルのエンベッディングパイプラインを大きく破壊する可能性を秘めています。 これまで、OpenAI、Cohere、Voyageの主要な埋め込みモデルは、主にテキストベースでした。画像とテキストのアライメントにはCLIP、画像とビデオにはVoyage Multimodal 3.5など、いくつかのマルチモーダル・オプションは存在しましたが、単一の統一されたベクトル空間で、あらゆるモダリティをカバーするものはありませんでした。音声は通常、埋め込む前に書き起こす必要があった。ビデオでは、フレーム抽出と個別のトランスクリプト埋め込みが必要でした。画像は、完全に独自のベクトル空間に存在していました。 Gemini Embedding 2はその方程式を変える。1つのモデル、1つのAPIコール、1つのベクトル空間。 新情報を掘り下げてみよう。 Gemini Embedding 2とは何ですか? Gemini Embedding 2(gemini-embedding-2-preview) は、Google DeepMind初の完全なマルチモーダル埋め込みモデルである。テキスト、画像、ビデオクリップ、音声記録、PDF文書を取り込み、それらすべてを同じ共有意味空間に存在するベクトルに変換する。 CLIPのような以前のマルチモーダルアプローチは、ビジョンエンコーダとテキストエンコーダをペアにして、最後に対比学習でそれらを調整するものであったが、Gemini Embedding 2は、Geminiの基礎モデルそのものに基づいて構築されている。これは、深いクロスモーダル理解を基礎から受け継いでいることを意味する。 実例ビデオチュートリアル、オーディオレクチャー、文書によるガイドで学習管理システム(LMS)を構築しているとします。Gemini Embedding 2を使用すると、これらすべてのコンテンツのエンベッディングを単一のベクトル空間に格納し、ビデオ、オーディオ、ドキュメントから関連するチャンクを取得するRAGベースのチャットボットを構築することができます。これまでは、何層ものエンベッディングパイプラインが必要でしたが、それでも、トランスクリプトをキャプチャするだけで、ビデオのビジュアルコンテキストやスピーカーの声のトーンを逃していました。 このモデルはマトリョーシカ表現学習を使用しているため、必要なければ3072次元すべてを使用する必要はない。1536や768に縮小しても、使用可能な結果を得ることができる。 マトリョーシカ表現学習(MRL)は、学習された表現が完全な次元だけでなく、ロシアのマトリョーシカ人形のように互いに入れ子になっている様々な小さな次元でも有用であるように、埋め込みモデルを学習する手法です。学習中、損失関数は完全な埋め込みだけでなく、埋め込みベクトルの複数の接頭辞に対しても計算されます。これによりモデルは、最も重要な情報を最も初期の次元に詰め込み、それに続く各次元がより細かいディテールを追加していく、つまり粗いものから細かいものへの構造を持つようになる。 対応モダリティと入力制限 このモデルは5種類の入力を受け入れ、すべて同じ埋め込み空間にマッピングされる: モダリティ 入力制限 フォーマット テキスト 最大8,192トークン プレーンテキスト 画像 1リクエストにつき6枚まで PNG, JPEG ビデオ 最大120秒 MP4、MOV 音声 最大80秒(ネイティブ、トランスクリプションなし) MP3, WAV PDF 直接埋め込む PDFドキュメント 既存モデルとの比較 TLDR:Googleの新しいGemini Embedding 2モデルは、テキスト、画像、ビデオ、音声のほぼ全てのモダリティにおいて、競合他社(自身の前身、Amazon… Read more »
記事を読む



