Databricks基盤モデルAPI

プレビュー

この機能は パブリック プレビュー 段階であり、 us-east1 と us-central1でサポートされています。

この記事では、Databricksの基盤モデルAPIの概要を説明します。使用条件、対応機種、制限事項などが記載されています。

Databricks基盤モデルAPIとは

Mosaic AI Model Serving では、サービングエンドポイントから最先端のオープンモデルにアクセスしてクエリを実行することができる基盤モデルAPIがサポートされるようになりました。基盤モデル APIを使用すると、独自のモデルデプロイメントを維持することなく、高品質な生成AI モデルを活用したアプリケーションを迅速かつ簡単に構築できます。 基盤モデル API は Databricks指定のサービスであり、顧客コンテンツを処理する際にDatabricks Geosを使用してデータ所在地を管理します。

基盤モデル APIs は 、プロビジョニング スループット モードを使用して使用できます。 このモードは、すべての本番運用ワークロード、特に高スループット、パフォーマンス保証、微調整されたモデル、または追加のセキュリティ要件が必要なワークロードに推奨されます。 プロビジョニング スループット エンドポイントは、HIPPA などのコンプライアンス認定で使用できます。

基盤モデル APIs を使用すると、以下のことを行うことができます。

  • 追加のリソースを投資する前に、一般化されたLLMをクエリーしてプロジェクトの有効性を確認します。

  • カスタムモデルのトレーニングやデプロイに投資する前に、LLMベースのアプリケーションの概念実証を迅速に行うために、一般化されたLLMをクエリーします。

  • 開発用または本番運用のLLMアプリケーションを、SLAに裏打ちされたスケーラブルなLLMサービスソリューションの上に構築し、本番環境のトラフィックの急増に対応できます。

要件

基盤モデルAPIを使用する

Foundation Model APIを使用するには、複数の選択肢があります。

APIsはOpenAIと互換性があるため、OpenAIクライアントを使用してクエリを実行できます。また、UI、基盤モデル APIs Python SDK、 MLflow Deployments の SDK、またはサポートされているモデルのクエリに REST API を使用することもできます。 Databricks では、拡張インタラクションには OpenAI クライアント SDK または API を使用し、機能を試すには UI を使用することをお勧めします。

スコアリングの例については 、「 生成AI モデルへのクエリー」 を参照してください。

プロビジョニングされたスループットの基盤モデルAPI

プロビジョニングされたスループットは、パフォーマンスの保証を必要とする基盤モデルのワークロードに対してエンドポイントに最適化された推論を提供します。Databricks本番運用ワークロードにはプロビジョニング スループットを推奨します。 プロビジョニングされたスループットの基盤モデルAPIをプロビジョニング全体でデプロイする方法のステップバイステップガイドについては、「 プロビジョニングされたスループットの基盤モデルAPI」を参照してください。

プロビジョニングされたスループットのサポートには以下が含まれます。

  • すべてのサイズのベースモデル。 ベースモデルには、 Databricks Marketplaceを使用してアクセスするか、 Hugging Face または別の外部ソースからダウンロードして Unity Catalogに登録することもできます。 後者のアプローチは、採用されているファインチューニング方法に関係なく、サポートされているモデルの微調整されたバリアントで機能します。

  • 基本モデルの微調整されたバリアント (独自のデータに基づいて微調整されたモデルなど)。

  • 完全にカスタマイズされた重みとトークナイザー (ゼロからトレーニングされたもの、または 基本モデルアーキテクチャ (CodeLlama) を使用して事前トレーニングされたものやその他のバリエーションなど)。

次の表は、プロビジョニングされたスループットでサポートされているモデルアーキテクチャをまとめたものです。

モデルアーキテクチャ

タスクのタイプ

注

GTE v1.5 (英語)

Embeddings

正規化された埋め込みは生成されません。

BGE v1.5 (英語)

Embeddings