ジョブのタイムライン

ジョブのタイムラインは、パイプラインまたはクエリを理解するための優れた出発点です。実行されていた内容、各ステップにかかった時間、途中で失敗したかどうかの概要が表示されます。

ジョブタイムラインの開き方

Spark UI で、次のスクリーンショットで赤で強調表示されているジョブとイベントのタイムラインをクリックします。タイムラインが表示されます。この例では、ドライバーとエグゼキューター 0 が追加されています。

何を探すべきか

以下のセクションでは、イベントタイムラインを読み、パフォーマンスやコストの問題の考えられる原因を見つける方法について説明します。タイムラインでこれらの傾向のいずれかに気付いた場合は、対応する各セクションの最後に、ガイダンスを提供する記事へのリンクが含まれています。

ジョブに失敗するかエグゼキューターに失敗するか

以下は、イベントタイムラインで赤色のステータスで示される、失敗したジョブと削除されたエグゼキューターの例です。

失敗したジョブまたは失敗したエグゼキューターが表示される場合は、「失敗したジョブまたはエグゼキューターが削除されました」を参照してください。

実行のギャップ

次の例のように、1 分以上のギャップを探します。

この例にはいくつかのギャップがあり、そのうちのいくつかは赤い矢印で強調表示されています。タイムラインにギャップがある場合、それは1分以上ですか? ドライバーの座標が機能するにつれて、短いギャップが予想されます。より長いギャップがある場合、それはパイプラインの途中ですか? それとも、このクラスターは常に稼働しており、アクティビティが停止することでギャップが説明されるのでしょうか? これは、ワークロードの開始時刻と終了時刻に基づいて判断できる場合があります。

パイプラインの途中で説明のつかない長いギャップが発生する場合は、「Spark ジョブ間のギャップ」を参照してください。