Databricksアシスタントのインパクトを測定する

この記事では、導入、登録、および報告された生産性の向上の観点から、 Databricksアシスタントのインパクトを測定するための情報を提供します。

要件

Databricksアシスタントのインパクトを測定するには、次のものが必要です。

  • システムテーブルを有効にするには、アカウント管理者権限が必要です。 システムテーブルの有効化を参照してください。

  • アシスタントに関する主観的なフィードバックをチームから得るための内部調査。

データ vs. メトリクス

システムテーブルと調査から生データを取得します。 アシスタントのインパクトを理解するには、データをメトリクスとして分析し、レポートする必要があります。 メトリクスは、アシスタントのインパクトに関連する特定の側面やアクティビティを測定するために使用する計算値です。 この記事では、メトリクスを計測値とも呼んでいます。

アシスタントのインパクトを測定するためのヒント

組織で Databricksアシスタントがどのように使用されているかを理解するには、まず Databricksアシスタント による導入とエンゲージメントを測定することから始めます。 このデータは、システムテーブルから計算できます。

データを定期的に確認し、共有ダッシュボードで簡単に利用できるようにします。 ダッシュボードの例とテンプレートについては、「 Databricksアシスタントシステムテーブルのリファレンスと例」を参照してください。

アシスタントインパクトのメトリクス

以下は、システムテーブルとユーザーフィードバックの両方から、アシスタントのインパクトにおいて推奨される計測値です。 メトリクスの計算の例については、 GitHub から アシスタント イベント ダッシュボード ファイル をダウンロードし、JSON で計算を読み取ります。 ダッシュボード ファイルをインポートする方法については、「ダッシュボード ファイルのインポート」を参照してください。

組織を調査することは、アシスタントとのエンゲージメントの有効性を理解するのにも役立ちます。 「推奨されるアンケートの質問」を参照してください。

測る

定義

ステージ

データソース

全体の上位ユーザー

特定の期間にアシスタントと最も頻繁にやり取りするユーザー

導入

Databricksアシスタントシステムテーブルのデータから計算します。

提出データ: ワークスペースごとと合計

ワークスペースごと、アカウントごとにアシスタントに送信されたリクエストの数

導入

Databricksアシスタントシステムテーブルのデータから計算します。

日別・月別のアクティブユーザー数

特定の日に1+の提案を受け取って受け入れた、または1+チャットに参加したユニークユーザー。

エンゲージメント

Databricksアシスタントシステムテーブルのデータから計算します。

ワークスペースあたりのアクティブ ユーザー

特定のワークスペース内でアシスタントと対話するユニーク ユーザー

エンゲージメント

Databricksアシスタントシステムテーブルのデータから計算します。

Databricksアシスタントを使用した上位のジョブロール

組織で特定された各ロールのユーザーのうち、アシスタントを使用している人の数

エンゲージメント

組織の調査

アシスタントの上位タスク

アシスタントがサポートする最も一般的なタスク

エンゲージメント

組織の調査

アシスタントをどのくらいの頻度で使用しますか

ユーザーごとのアシスタントの使用頻度の自己報告

エンゲージメント

組織の調査

アシスタントの使用の主な領域

自己申告の使用領域: SQL エディター、ノートブック、またはその両方

エンゲージメント

組織の調査

アシスタントのヘルプに対するユーザーの満足度

アシスタントの回答に対する自己申告の満足度 (1 から 5 のスケール)

ユーザー満足度

組織の調査

ユーザーの生産性の向上

アシスタントを使用して得られた生産性の自己申告による増加 (1 から 5 のスケール)

ユーザー満足度

組織の調査

ユーザーがアシスタントを使用して節約する時間

アシスタントを使用してタスクを完了することで節約された時間の割合は自己申告

ユーザー満足度

組織の調査