モデルの品質とエンドポイントの正常性をモニタリングする

プレビュー

Mosaic AI Model Serving は パブリック プレビュー 段階にあり、 us-east1 と us-central1でサポートされています。

Mosaic AI Model Servingモデルとそのデプロイメントの品質と健全性をモニタリングするための高度なツールを提供します。 次の表は、利用可能な各モニタリング ツールの概要です。

道具

説明

目的

アクセス

サービスログ

モデルサービング エンドポイントから stdout ストリームと stderr ストリームをキャプチャします。

モデルのデプロイ中のデバッグに役立ちます。 print(..., flush=true)を使用すると、ログにすぐに表示されます。

サービング UI の [ログ] タブ を使用してアクセスできます。 ログはリアルタイムでストリームされ、APIを介してエクスポートできます。

ビルドログ

モデルサービングエンドポイントに対して、本番運用対応のPython環境を自動的に作成するプロセスからの出力を表示します。

モデルのデプロイと依存関係の問題を診断するのに役立ちます。

[ログ] タブの [ビルド ログ] でモデルサービング ビルドが完了すると使用可能になります。ログは API を使用してエクスポートできます。

エンドポイントの正常性メトリクス

レイテンシー、リクエストレート、エラーレート、CPU使用率、メモリ使用量などのインフラストラクチャメトリクスに知見を提供します。

サービス インフラストラクチャのパフォーマンスと正常性を理解するために重要です。

過去 14 日間、サービング UI でデフォルトで使用できます。 また、データをリアルタイムでオブザーバビリティツールにストリーミングすることもできます。