モデルサービングの制限と地域

プレビュー

Mosaic AI Model Serving はパブリックプレビュー段階にあり、 us-east1 と us-central1でサポートされています。

この記事では、Mosaic AI Model Serving の制限事項と利用可能なリージョン、およびサポートされているエンドポイントの種類についてまとめます。

制限事項

Mosaic AI Model Serving では、信頼性の高いパフォーマンスを確保するためにデフォルトの制限が課せられます。これらの制限に関するフィードバックがある場合は、Databricks アカウントチームにお問い合わせください。

次の表は、モデルビングエンドポイントのリソースとペイロードの制限をまとめたものです。

特徴量	粒度	制限
ペイロードサイズ	要求ごと	16メガバイト外部モデルを提供するエンドポイントの場合、制限は 4 MB です。
クエリ/秒 (QPS)	ワークスペースごと	200 ですが、Databricks アカウントチームに連絡することで 25,000 以上に増やすことができます。
モデルの実行期間	要求ごと	120秒
CPU エンドポイントモデルのメモリ使用量	エンドポイントごと	4ギガバイト
プロビジョニングされた同時実行性	ワークスペースごと	200 コンカレンシー。 Databricks アカウントチームに問い合わせることで増やすことができます。
オーバーヘッド待ち時間	要求ごと	50ミリ秒未満

モデルサービングエンドポイントは、アクセス制御によって保護され、ワークスペースで構成されたネットワーク関連のイングレスルールを尊重します。

その他の制限があります。

ワークスペースがモデルサービングをサポートするリージョンにデプロイされているが、サポートされていないリージョンのコントロールプレーンによってサービスされている場合、ワークスペースはモデルサービングをサポートしません。このようなワークスペースでモデルサービングを使用しようとすると、ワークスペースがサポートされていないことを示すエラーメッセージが表示されます。詳細については、 Databricksアカウントチームにお問い合わせください。
モデルサービングはinitスクリプトをサポートしていません。
モデルサービングは、本番運用の展開が不安定になるリスクがあるため、既存のモデルイメージにセキュリティパッチを提供しません。新しいモデルバージョンから作成された新しいモデルイメージには、最新のパッチが含まれます。詳細については、 Databricksアカウントチームにお問い合わせください。

注：

サポートされていないリージョンのエンドポイントが必要な場合は、Databricks アカウントチームにお問い合わせください。

機能の地域別の提供状況の詳細については、「モデルサービング Regional Availability (地域別の提供状況)」を参照してください。