Mosaic AI Model Serving でサポートされている基盤モデル

この記事では、Mosaic AI Model Servingを使用して提供できる基盤モデルについて説明します。

基盤モデルは、大規模な事前トレーニング済みのニューラルネットワークであり、大規模なデータと広範なデータの両方でトレーニングされています。 これらのモデルは、言語、画像、またはその他のデータ型の一般的なパターンを学習するように設計されており、追加のトレーニングを使用して特定のタスクに合わせて微調整できます。

モデルサービングは、お客様のニーズに基づいて基盤モデルをホスティングおよびクエリするための柔軟なオプションを提供します。

  • 外部モデル: このオプションを使用すると、OpenAI や Anthropic によって提供されるモデルなど、Databricks の外部でホストされている基盤モデルにアクセスできます。 これらのモデルは、Databricks 内で一元管理して、ガバナンスを効率化できます。

  • プロビジョニング スループット: パフォーマンスの保証が必要な本番運用のユースケースに推奨されます。 このオプションを使用すると、最適化されたサービスエンドポイントを使用して、微調整された基盤モデルをデプロイできます。

Databricks でホストされる基盤モデル

Databricks は、GTE-Large のような最先端のオープン基盤モデルをホストしています。 これらのモデルは、プロビジョニング スループットAPIs基盤モデル を使用して使用できます。

プロビジョニングされたスループット

基盤モデル APIs プロビジョニング スループットは、本番運用の場合に推奨されます。 プロビジョニングされたスループットを使用するエンドポイントを作成して、微調整された基盤モデルアーキテクチャをデプロイできます。 プロビジョニングされたスループットを使用すると、サービスエンドポイントは、パフォーマンスの保証が必要な基盤モデルのワークロードに最適化されます。

次の表は、プロビジョニングされたスループットでサポートされているモデル アーキテクチャをまとめたものです。 Databricks では、プロビジョニングされたスループット ワークロードに対して 、Unity Catalog で事前トレーニング済みの基盤モデル を使用することをお勧めします。

モデルアーキテクチャ

タスクのタイプ

注

GTE v1.5 (英語)

Embeddings

正規化された埋め込みは生成されません。

BGE v1.5 (英語)

Embeddings

Databricks の外部でホストされている基盤モデルにアクセスする

OpenAI や Anthropic などの LLM プロバイダーによって作成された基盤モデルには、 Databricks で外部モデルを使用してアクセスすることもできます。 これらのモデルは Databricks の外部でホストされており、クエリを実行するためのエンドポイントを作成できます。 これらのエンドポイントは Databricks から一元的に管理できるため、組織内のさまざまな LLM プロバイダーの使用と管理が効率化されます。

次の表に、サポートされているモデルと対応する エンドポイントの種類の一覧を示します。 一覧表示されているモデルの関連付けを使用すると、新しくリリースされたモデルの種類が特定のプロバイダーで利用可能になったときに、エンドポイントとして構成できます。 お客様は、該当するモデルライセンスでコンプライアンスを確保する責任があります。

注：

LLMの急速な発展に伴い、このリストが常に最新であるという保証はありません。 同じプロバイダーの新しいモデル バージョンは、通常、リストにない場合でもサポートされます。

モデルプロバイダー

llm/v1/completions

llm/v1/chat

llm/v1/embeddings

OpenAI(オープンAI)**

  • gpt-3.5-turbo-instruct

  • babbage-002

  • davinci-002

  • O1

  • O1-ミニ

  • O1-ミニ-2024-09-12

  • gpt-3.5-turbo

  • gpt-4

  • GPT-4ターボ

  • GPT-4-ターボ-2024-04

  • GPT-4O(英語)

  • GPT-4O-2024-05-13

  • GPT-4O-ミニ

  • text-embedding-ada-002

  • text-embedding-3-large

  • text-embedding-3-small

Azure OpenAI**

  • text-davinci-003

  • gpt-35-turbo-instruct

  • O1

  • O1-ミニ

  • gpt-35-turbo

  • gpt-35-turbo-16k

  • gpt-4

  • GPT-4ターボ

  • gpt-4-32k

  • GPT-4O(英語)

  • GPT-4O-ミニ

  • text-embedding-ada-002

  • text-embedding-3-large

  • text-embedding-3-small

Anthropic

  • claude-1

  • claude-1.3-100k

  • claude-2

  • claude-2.1

  • claude-2.0

  • claude-instant-1.2

  • クロード-3-5-ソネット-最新

  • クロード-3-5-俳句-最新

  • クロード-3-5-オーパス-最新

  • クロード-3-5-ソネット-20241022

  • クロード-3-5-俳句-20241022

  • クロード-3-5-ソネット-20240620

  • claude-3-haiku-20240307

  • claude-3-opus-20240229

  • claude-3-sonnet-20240229

Cohere**

  • command

  • command-light

  • コマンド-R7B-12-2024

  • コマンド-R-プラス-08-2024

  • コマンド-R-08-2024

  • コマンド-r-plus

  • コマンド-R

  • command

  • command-light-nightly

  • command-light

  • command-nightly

  • embed-english-v2.0

  • embed-multilingual-v2.0

  • embed-english-light-v2.0

  • embed-english-v3.0

  • embed-english-light-v3.0

  • embed-multilingual-v3.0

  • embed-multilingual-light-v3.0

Mosaic AI モデルサービング

Databricks サービス エンドポイント

Databricks サービス エンドポイント

Databricks サービス エンドポイント

Amazon Bedrock

Anthropic:

  • claude-instant-v1

  • claude-v2

Cohere:

  • command-text-v14

  • command-light-text-v14

AI21 Labs:

  • j2-grande-instruct

  • j2-jumbo-instruct

  • j2-mid

  • j2-mid-v1

  • j2-ultra

  • J2-ウルトラ-V1

Anthropic:

  • クロード-3-5-ソネット-20241022-v2:0

  • クロード-3-5-俳句-20241022-V1:0

  • クロード-3-OPUS-20240229-V1:0

  • claude-3-sonnet-20240229-v1:0

  • クロード-3-5-ソネット-20240620-V1:0

Cohere:

  • コマンド-r-plus-v1:0

  • コマンド-r-v1:0

Amazon:

  • titan-embed-text-v1

  • titan-embed-g1-text-02

Cohere:

  • 埋め込み-英語-v3

  • embed-multilingual-v3 (英語)

AI21 Labs†

  • j2-mid

  • j2-light

  • j2-ultra

Google Cloud Vertex AI

text-bison

  • chat-bison

  • gemini-pro

  • ジェミニ-1.0-PRO

  • ジェミニ-1.5-PRO

  • ジェミニ-1.5-フラッシュ

  • ジェミニ-2.0-フラッシュ

  • テキスト埋め込み-004

  • テキスト埋め込み-005

  • textembedding-gecko

** モデル プロバイダーは、ファインチューニングされた補完モデルとチャット モデルをサポートしています。 ファインチューニングされたモデルをクエリするには、external model構成の name フィールドにファインチューニングされたモデルの名前を入力します。

† モデル プロバイダーは、カスタム入力候補モデルをサポートしています。

エンドポイントを提供する基盤モデルの作成

AIアプリケーションで基盤モデルをクエリして使用するには、まずモデルサービング エンドポイントを作成する必要があります。モデルサービングは、統合された API とUIを使用して、基盤モデルを提供するエンドポイントを作成および更新します。

クエリ基盤モデルの提供エンドポイント

サービングエンドポイントを作成したら、基盤モデルをクエリできます。 モデルサービングは、基盤モデルのクエリに統一されたOpenAI互換の API と SDK を使用します。 この統一されたエクスペリエンスにより、エクスペリメントを行い、サポートされているクラウドやプロバイダー間での本番運用のための基盤モデルをカスタマイズする方法が簡素化されます。

「クエリ基盤モデル」を参照してください。