AIモデルサービングエンドポイントでのゲートウェイの構成

この記事では、モデルサービングエンドポイントで Mosaic AI Gateway を設定する方法について説明します。

要件

外部モデルがサポートされているリージョン内の Databricks ワークスペース。
「外部モデルサービングエンドポイントの作成」のステップ 1 と 2 を完了します。

UIを使用した AI Gateway の構成

このセクションでは、エンドポイントの作成時に Serving UI を使用して AI Gateway を設定する方法について説明します。

エンドポイント作成ページの [AI Gateway ] セクションでは、次の AI Gateway 機能を個別に構成できます。

特徴量	有効にする方法	詳細
使用状況の追跡	[ 使用状況の追跡を有効にする ] を選択して、データ使用量メトリクスの追跡と監視を有効にします。	Unity Catalog が有効になっている必要があります。アカウント管理者は、エンドポイントへの各要求のトークン数をキャプチャするシステムテーブル: `system.serving.endpoint_usage` と、各外部モデルのメタデータを格納する `system.serving.served_entities`システムテーブルスキーマを使用する前に、提供システムテーブルスキーマを有効にする必要があります。使用状況追跡テーブルのスキーマを参照してくださいエンドポイントを管理するユーザーが使用状況の追跡を有効にする必要がある場合でも、 `served_entities` テーブルまたは `endpoint_usage` テーブルを表示またはクエリするアクセス許可を持っているのはアカウント管理者のみです。システムテーブルへのアクセス権限の付与を参照してください。入力トークン数と出力トークン数は、モデルによってトークン数が返されない場合、(`text_length`+1)/4 として推定されます。
ペイロードのロギング	[ 推論テーブルを有効にする ] を選択すると、エンドポイントからの要求と応答が Unity Catalog によって管理される Delta テーブルに自動的に記録されます。	Unity Catalogが有効になっていて、指定したカタログスキーマでアクセス`CREATE_TABLE`必要があります。 AI Gateway によって有効になる推論テーブルは、カスタムモデルを提供するモデルサービングエンドポイント用に作成されたスキーマとは異なります。AI Gateway 対応推論テーブルスキーマをご覧ください。ペイロードのログデータは、エンドポイントのクエリから 1 時間以内にこれらのテーブルに入力されます。 1 MB を超えるペイロードはログに記録されません。応答ペイロードは、返されたすべてのチャンクの応答を集約します。ストリーミングがサポートされています。ストリーミングシナリオでは、応答ペイロードは返されたチャンクの応答を集計します。
レート制限	リクエストレート制限を適用して、エンドポイントのトラフィックをユーザーごとおよびエンドポイントごとに管理できます	レート制限は、1 分あたりのクエリ数 (QPM) で定義されます。デフォルトは、ユーザーごととエンドポイントごとに制限なしです。
トラフィックルーティング	エンドポイントでトラフィックルーティングを設定するには、「エンドポイントに複数の外部モデルを提供する」を参照してください。

使用状況追跡テーブルのスキーマ

system.serving.served_entities使用状況追跡システムテーブルには、次のスキーマがあります。

列名	説明	タイプ
`served_entity_id`	提供されたエンティティの一意の ID。	文字列
`account_id`	Delta Sharingの顧客アカウント ID。	文字列
`workspace_id`	サービスエンドポイントの顧客ワークスペース ID。	文字列
`created_by`	作成者の ID。	文字列
`endpoint_name`	配信エンドポイントの名前。	文字列
`endpoint_id`	配信エンドポイントの一意の ID。	文字列
`served_entity_name`	提供されるエンティティの名前。	文字列
`entity_type`	提供されるエンティティのタイプ。 `FEATURE_SPEC`、 `EXTERNAL_MODEL`、 `FOUNDATION_MODEL`、または `CUSTOM_MODEL`	文字列
`entity_name`	エンティティの基になる名前。ユーザーが指定した名前である `served_entity_name` とは異なります。たとえば、 `entity_name` は Unity Catalog モデルの名前です。	文字列
`entity_version`	提供されたエンティティのバージョン。	文字列
`endpoint_config_version`	エンドポイント設定のバージョン。	INT
`task`	タスクの種類。 `llm/v1/chat`、 `llm/v1/completions`、または `llm/v1/embeddings`を指定できます。	文字列
`external_model_config`	外部モデルの構成。例えば `{Provider: OpenAI}`	構造体
`foundation_model_config`	基盤モデルの構成。例えば`{min_provisioned_throughput: 2200, max_provisioned_throughput: 4400}`	構造体
`custom_model_config`	カスタムモデルの設定。例えば`{ min_concurrency: 0, max_concurrency: 4, compute_type: CPU }`	構造体
`feature_spec_config`	機能仕様の構成。例えば `{ min_concurrency: 0, max_concurrency: 4, compute_type: CPU }`	構造体
`change_time`	提供されたエンティティの変更のタイムスタンプ。	Timestamp
`endpoint_delete_time`	エンティティ削除のタイムスタンプ。エンドポイントは、提供されるエンティティのコンテナです。エンドポイントが削除されると、提供されたエンティティも削除されます。	Timestamp

system.serving.endpoint_usage使用状況追跡システムテーブルには、次のスキーマがあります。

列名	説明	タイプ
`account_id`	顧客アカウント ID。	文字列
`workspace_id`	サービスエンドポイントの顧客ワークスペース ID。	文字列
`client_request_id`	モデルサービング要求本文で指定できるユーザー指定の要求識別子。	文字列
`databricks_request_id`	すべてのモデルサービング要求にアタッチされた Databricks 生成要求識別子。	文字列
`requester`	サービスエンドポイントの呼び出しリクエストにアクセス許可が使用されるユーザーまたはサービスプリンシパルの ID。	文字列
`status_code`	モデルから返された HTTP 状態コード。	Integer
`request_time`	要求が受信されたタイムスタンプ。	Timestamp
`input_token_count`	入力のトークン数。	ロング
`output_token_count`	出力のトークン数。	ロング
`input_character_count`	入力文字列またはプロンプトの文字数。	ロング
`output_character_count`	応答の出力文字列の文字数。	ロング
`usage_context`	ユーザーは、エンドポイントへの呼び出しを行うエンドユーザーまたは顧客アプリケーションの識別子を含むマップを提供しました。「 usage_context を使用した使用の詳細な定義」を参照してください。	マップ
`request_streaming`	要求がストリーム・モードであるかどうか。	ブール値
`served_entity_id`	エンドポイントと提供されるエンティティに関する情報を検索するために `system.serving.served_entities` ディメンションテーブルと結合するために使用される一意の ID。	文字列

`usage_context`で用途をさらに定義する

使用状況の追跡が有効になっている外部モデルに対してクエリを実行する場合は、 usage_context パラメーターに Map[String, String]型を指定できます。使用状況コンテキストマッピングは、使用状況追跡テーブルの usage_context 列に表示されます。 usage_contextマップサイズは 10 KiB を超えることはできません。

アカウント管理者は、使用状況のコンテキストに基づいて異なる行を集計して知見を得ることができ、この情報をペイロードログテーブルの情報と結合することができます。たとえば、エンドユーザーのコスト属性を追跡するための end_user_to_charge を usage_context に追加できます。

{
  "messages": [
    {
      "role": "user",
      "content": "What is Databricks?"
    }
  ],
  "max_tokens": 128,
  "usage_context":
    {
      "use_case": "external",
      "project": "project1",
      "priority": "high",
      "end_user_to_charge": "abcde12345",
      "a_b_test_group": "group_a"
    }
}

AI Gateway 対応推論テーブルスキーマ

AI Gateway を使用して有効にした推論テーブルには、次のスキーマがあります。

列名	説明	タイプ
`request_date`	モデルサービングリクエストが受信されたUTCの日付。	日付
`databricks_request_id`	すべてのモデルサービング要求にアタッチされた Databricks 生成要求識別子。	文字列
`client_request_id`	モデルサービング要求本文で指定できるオプションのクライアント生成要求識別子。	文字列
`request_time`	要求が受信されたタイムスタンプ。	Timestamp
`status_code`	モデルから返された HTTP 状態コード。	INT
`sampling_fraction`	要求がダウンサンプリングされた場合に使用されるサンプリングの割合。この値は 0 から 1 までで、1 は受信要求の 100% が含まれていたことを表します。	double
`execution_duration_ms`	モデルが推論を実行した時間 (ミリ秒単位)。これには、オーバーヘッドネットワークの待機時間は含まれず、モデルが予測を生成するのにかかった時間のみを表します。	bigint
`request`	モデルサービングエンドポイントに送信された未加工の要求 JSON 本文。	文字列
`response`	モデルサービングエンドポイントによって返された未加工のレスポンス JSON 本文。	文字列
`served_entity_id`	提供されたエンティティの一意の ID。	文字列
`logging_error_codes`		array
`requester`	サービスエンドポイントの呼び出しリクエストにアクセス許可が使用されるユーザーまたはサービスプリンシパルの ID。	文字列

エンドポイントの AI Gateway 機能を更新する

AI Gateway の機能は、以前に有効になっていたモデルサービングエンドポイントと有効にしていなかったエンドポイントで更新できます。AI Gateway 構成の更新が適用されるまでに約 20 秒から 40 秒かかりますが、レート制限の更新には最大 60 秒かかる場合があります。

以下は、Serving UIを使用してモデルサービングエンドポイントの AI Gateway機能を更新する方法を示しています。

エンドポイントページの [ゲートウェイ ] セクションでは、有効になっている機能を確認できます。これらの機能を更新するには、[ AI Gateway の編集] をクリックします。

ノートブックの例

次のノートブックは、Databricks Mosaic AI Gateway 機能をプログラムで有効にして使用し、プロバイダーからのモデルを管理および制御する方法を示しています。 REST API の詳細については、以下を参照してください。

PUT /api/2.0/serving-endpoints/{name}/AI-gateway

Databricks Mosaic AI Gateway 機能を有効化するノートブック

ノートブックを新しいタブで開く

AIモデルサービングエンドポイント での ゲートウェイの構成

要件