Spark での長いステージの診断

まず、ジョブの最も長い段階を特定することから始めます。 ジョブのページの一番下までスクロールしてステージのリストを表示し、期間順に並べ替えます。

ステージ I/O の詳細

このステージで実行されていた内容に関する概要データを確認するには、 [入力]、 [出力]、[シャッフル読み取り]、および[シャッフル書き込み]列を確認します。

列の意味は次のとおりです。

• インプット： このステージがストレージから読み取ったデータの量。 これは Delta、Parquet、CSV などからの読み取りである可能性があります。

• アウトプット： このステージがストレージに書き込んだデータの量。 これは Delta、Parquet、CSV などへの書き込みである可能性があります。

• シャッフル読み取り:このステージで読み取られたシャッフル データの量。

• シャッフル書き込み:このステージで書き込まれたシャッフル データの量。

シャッフルが何であるかをよく知らない場合は、今がその意味 を学ぶ 良い機会です。

これらの番号は後で必要になる可能性があるため、メモしておいてください。

タスク数

長いステージのタスクの数によって、問題の方向性がわかります。 タスクの数を確認するには、ここを参照してください。

タスクが 1 つだけ表示されている場合、それは問題の兆候である可能性があります。 詳細については、 One Sparkタスクを参照してください。

ステージの詳細をもっと見る

ステージに複数のタスクがある場合は、さらに調査する必要があります。 ステージの説明にあるリンクをクリックすると、最長のステージに関する詳細情報が表示されます。

ステージのページに移動したので、「 スキューとスピル」を参照してください。