Mosaic AI ゲートウェイ

プレビュー

この機能はパブリックプレビュー段階です。

Mosaic AIDatabricksこの記事では、サポートされている生成AI モデルとそれに関連するモデルサービング エンドポイントへのアクセスを管理および監視するための ソリューションである Gateway について説明します。

Mosaic AI Gatewayとは?

Mosaic AI Gateway は、組織内の生成AI モデルの使用と管理を効率化するように設計されています。 これは、ガバナンス、モニタリング、および本番運用の準備をモデルサービングエンドポイントにもたらす一元化されたサービスです。 また、AI トラフィックを実行、保護、管理して、組織の AI 導入を民主化し、加速することもできます。

すべてのデータは 、Unity Catalog の Delta テーブルに記録されます。

AIGatewayのデータから知見を可視化するには、 AIから Gatewayダッシュボードの例 GitHubをダウンロードしてください。このダッシュボードは、使用状況追跡およびペイロード ログ推論テーブルのデータを活用します。

JSON ファイルをダウンロードしたら、ダッシュボードをワークスペースにインポートします。ダッシュボードのインポート方法については、「ダッシュボードファイルのインポート」をご覧ください。

サポートされている機能

次のリストは、使用可能な AI Gateway 機能を定義しています。

  • アクセス権を持つユーザーとアクセス権の量を制御するためのアクセス許可とレート制限

  • 推論テーブル を使用してモデル に送信されるデータを監視および監査するための ペイロードロギングAPIs 。

  • システムテーブル を使用して、エンドポイントの運用使用状況と関連コストを監視する ための使用状況の追跡

  • デプロイ中およびデプロイ後の本番運用の停止を最小限に抑えるためのトラフィックルーティング

Mosaic AI Gateway は、有効な機能ごとに料金が発生します。 プレビュー期間中、これらの有料機能には、ペイロードのログ記録と使用状況の追跡が含まれます。 クエリのアクセス許可、レート制限、トラフィック ルーティングなどの機能は無料です。 新機能は有料です。

AI Gatewayを使用する

モデルサービングエンドポイントの AI Gateway 機能は、サービング UI を使用して設定できます。 モデルサービングエンドポイントでのAIゲートウェイの設定を参照してください。

制限事項

  • AI Gateway は、次の場合にのみサポートされます。

    • 基盤モデル APIs プロビジョニング スループット モデルサービング endpoints. プロビジョニングされたスループットでは、GTE-En モデルと BGE-En モデルのみがサポートされています。

    • モデルサービング 外部モデルを提供するエンドポイント。

  • プロビジョニングされたスループット ワークロードでは、AI Gateway 対応推論テーブルを使用したレート制限とペイロード ログ記録のみがサポートされています。

  • AI Gateway 対応推論テーブルの制限事項をご覧ください。