Mosaic AI ゲートウェイ

プレビュー

Mosaic AIDatabricksこの記事では、サポートされている生成AI モデルとそれに関連するモデルサービングエンドポイントへのアクセスを管理および監視するためのソリューションである Gateway について説明します。

Mosaic AI Gatewayとは?

Mosaic AI Gateway は、組織内の生成AI モデルの使用と管理を効率化するように設計されています。これは、ガバナンス、モニタリング、および本番運用の準備をモデルサービングエンドポイントにもたらす一元化されたサービスです。また、AI トラフィックを実行、保護、管理して、組織の AI 導入を民主化し、加速することもできます。

すべてのデータは、Unity Catalog の Delta テーブルに記録されます。

AIGatewayのデータから知見を可視化するには、 AIから Gatewayダッシュボードの例 GitHubをダウンロードしてください。このダッシュボードは、使用状況追跡およびペイロードログ推論テーブルのデータを活用します。

JSON ファイルをダウンロードしたら、ダッシュボードをワークスペースにインポートします。ダッシュボードのインポート方法については、「ダッシュボードファイルのインポート」をご覧ください。

AI Gateway は、次の機能をサポートしています。

アクセス権を持つユーザーとアクセス権の量を制御するためのアクセス許可とレート制限。
推論テーブルを使用してモデルに送信されるデータを監視および監査するための ペイロードロギング。APIs
システムテーブルを使用して、エンドポイントの運用使用状況と関連コストを監視する ための使用状況の追跡 。
デプロイ中およびデプロイ後の本番運用の停止を最小限に抑えるためのトラフィックルーティング。

Mosaic AI Gateway は、有効な機能ごとに料金が発生します。プレビュー期間中、これらの有料機能には、ペイロードのログ記録と使用状況の追跡が含まれます。クエリのアクセス許可、レート制限、トラフィックルーティングなどの機能は無料です。新機能は有料です。

AI Gatewayを使用する

モデルサービングエンドポイントの AI Gateway 機能は、サービング UI を使用して設定できます。モデルサービングエンドポイントでのAIゲートウェイの設定を参照してください。

制限事項

AI Gateway は、外部モデルを提供するモデルサービングエンドポイントでのみサポートされます。