Databricks Assistant の影響を測定する

この記事では、導入、登録、および報告された生産性の向上の観点から、 Databricks Assistant の影響を測定するための情報を提供します。

要件

Databricks Assistant の影響を測定するには、次のものが必要です。

  • システムテーブルを有効にするには、アカウント管理者権限が必要です。 システムテーブルの有効化を参照してください。

  • アシスタントに関する主観的なフィードバックをチームから得るための内部調査。

データ vs. メトリクス

システムテーブルと調査から生データを取得します。 アシスタントの影響を理解するには、データをメトリクスとして分析し、レポートする必要があります。 メトリクスは、アシスタントの影響に関連する特定の側面やアクティビティを測定するために使用する計算値です。 この記事では、 メトリクスを対策とも呼んでいます。

アシスタントの影響を測定するためのヒント

組織で Databricks Assistant がどのように使用されているかを理解するには、まず Databricks Assistant による導入とエンゲージメントを測定することから始めます。 このデータは、システムテーブルから計算できます。

データを定期的に確認し、共有ダッシュボードで簡単に利用できるようにします。 ダッシュボードの例とテンプレートについては、「 Databricks Assistant システムテーブルのリファレンスと例」を参照してください。

Assistant impact メトリクス

以下は、システムテーブルとユーザーフィードバックの両方から、アシスタントの影響の推奨される対策です。 メトリクスの計算の例については、 GitHub から Assistant イベント ダッシュボード ファイル をダウンロードし、JSON で計算を読み取ります。 ダッシュボード ファイルをインポートする方法については、「ダッシュボード ファイルのインポート」を参照してください

組織を調査することは、アシスタントとのエンゲージメントの有効性を理解するのにも役立ちます。 「推奨されるアンケートの質問」を参照してください。

測る

定義

ステージ

データソース

全体の上位ユーザー

特定の期間にアシスタントと最も頻繁にやり取りするユーザー

養子縁組

Databricks Assistantシステムテーブルのデータから計算します。

提出データ: ワークスペースごとと合計

ワークスペースごと、アカウントごとに Assistant に送信されたリクエストの数

養子縁組

Databricks Assistantシステムテーブルのデータから計算します。

日別・月別のアクティブユーザー数

特定の日に1+の提案を受け取って受け入れた、または1+チャットに参加したユニークユーザー。

婚約

Databricks Assistantシステムテーブルのデータから計算します。

ワークスペースあたりのアクティブ ユーザー

特定のワークスペース内でアシスタントと対話するユニーク ユーザー

婚約

Databricks Assistantシステムテーブルのデータから計算します。

Databricks Assistantを使用した上位のジョブロール

組織で特定された各ロールのユーザーのうち、アシスタントを使用している人の数

婚約

組織の調査

アシスタントの上位タスク

アシスタントがサポートする最も一般的なタスク

婚約

組織の調査

アシスタントをどのくらいの頻度で使用しますか

ユーザーごとのアシスタントの使用頻度の自己報告

婚約

組織の調査

アシスタントの使用の主な領域

自己申告の使用領域: SQL エディター、ノートブック、またはその両方

婚約

組織の調査

アシスタントのヘルプに対するユーザーの満足度

アシスタントの回答に対する自己申告の満足度 (1 から 5 のスケール)

ユーザー満足度

組織の調査

ユーザーの生産性の向上

アシスタントを使用して得られた生産性の自己申告による増加 (1 から 5 のスケール)

ユーザー満足度

組織の調査

ユーザーがアシスタントを使用して節約する時間

アシスタントを使用してタスクを完了することで節約された時間の割合は自己申告

ユーザー満足度

組織の調査