1 つの Spark タスク

1 つのタスクのみで長時間実行されるステージが見られる場合、それは問題の兆候である可能性があります。この 1 つのタスクが実行されている間は、1 つの CPU のみが使用され、クラスターの残りの部分はアイドル状態になる可能性があります。これは、次の状況で最も頻繁に発生します。

小さなデータに対する高価なUDF
PARTITION BYステートメントなしのウィンドウ関数
分割できないファイルの種類から読み取ります。つまり、ファイルを複数の部分に分けて読み取ることはできないため、最終的には 1 つの大きなタスクになります。 Gzip は、分割不可能なファイルタイプの例です。
JSON または CSV ファイルの読み取り時にmultiLineオプションを設定する
大きなファイルのスキーマ推論
repartition(1) または coalesce(1) の使用