失敗したジョブまたはエグゼキューターが削除されました

失敗したジョブや削除されたエグゼキューターが表示されます。

エグゼキューターが削除される最も一般的な理由は次のとおりです。

失敗した

失敗しているジョブを見つけた場合は、それらをクリックしてそのページに移動します。次に、下にスクロールして、失敗したステージと失敗の理由を確認します。

一般的なエラーが表示される場合があります。説明のリンクをクリックして、詳細情報を取得できるかどうかを確認してください。

このページを下にスクロールすると、各タスクが失敗した理由を確認できます。この場合、メモリの問題があることが明らかになりつつあります。

エグゼキューターが失敗する理由を調べるには、まずコンピュートのイベントログをチェックして、エグゼキューターが失敗した理由の説明があるかどうかを確認します。たとえば、スポットインスタンスを使用していて、クラウドプロバイダーがそれを回収している可能性があります。

エグゼキューターの喪失を説明するイベントがあるかどうかを確認します。たとえば、クラスターのサイズが変更されていることや、スポットインスタンスが失われていることを示すメッセージが表示される場合があります。

スポットインスタンスを使用している場合は、「スポットインスタンスの損失」を参照してください。
コンピュートのサイズがオートスケールで変更された場合、それはエラーではなく、想定された動作です。クラスターのサイズ変更の詳細については、「」を参照してください。

イベントログに情報が表示されない場合は、 Spark UIに戻り、 [エグゼキューター]タブをクリックします。

ここで、失敗したエグゼキューターからのログを取得できます。

ここまで来たら、最も可能性の高い説明はメモリの問題です。次のステップは、メモリの問題を詳しく調べることです。 Spark メモリの問題を参照してください。