Spark の DAG におけるコストの高い読み取りの特定
DAGへのアクセス
高価なジョブを検討していると仮定すると、まず読み取りを実行しているステージの ID が必要です。 ここでは、ステージ ID が 194 であることがわかります。
ここで、SQL DAG にアクセスする必要があります。 ジョブのページの上部までスクロールし、関連付けられた SQL クエリをクリックします。
これで DAG が表示されます。 そうでない場合は、少しスクロールすると表示されます。
場合によっては、DAG をたどって、データがどこから来ているかを確認できます。 それ以外の場合は、メモしたステージ ID を探します。
次に、「スキャン」ノードを探す必要があります。 この場合、 transactions
という名前のテーブルを読み取っていることを伝えるのは非常に簡単です。
場合によっては、ノードをクリックまたはロールオーバーして、読み取っているデータの場所を取得する必要があります。