本番運用 ジョブ スケジューリングチートシート

この記事は、本番運用 ジョブスケジューリングに関する明確で主張のあるガイダンスを提供することを目的としています。 ベスト プラクティスを使用すると、コストの削減、パフォーマンスの向上、セキュリティの強化に役立ちます。

ベスト プラクティス

インパクト

ドキュメント

自動化されたワークフローにジョブ クラスターを使用する

コスト: ジョブ クラスターは、対話型クラスターよりも低い料金で課金されます。

長期稼働中のクラスターを再起動する

セキュリティ: クラスターを再起動して、 Databricks Runtimeのパッチとバグ修正を利用します。

ユーザーアカウントの代わりにサービスプリンシパルを使用して実行 本番運用 ジョブ

セキュリティ: ジョブが個々のユーザによって所有されている場合、それらのユーザが組織を離れると、これらのジョブの実行が停止することがあります。

可能な限り、オーケストレーションに Databricks ジョブを使用する

コスト: Databricks でワークロードを調整するだけの場合は、外部ツールを使用して調整する必要はありません。

最新のLTSバージョンの Databricks Runtimeを使用する

パフォーマンスとコスト: Databricks は、使いやすさ、パフォーマンス、セキュリティの Databricks Runtime を常に向上させています。

本番運用 データを DBFSルートに格納しない

セキュリティ: データが DBFSルートに格納されている場合、すべてのユーザーがアクセスできます。