コンピュート

Databricksコンピュートとは、Databricksワークスペースで利用可能な一連のコンピューティングリソースを指します。ユーザーは、本番運用ETLパイプライン、ストリーミング分析、アドホックアナリティクス、機械学習などのデータエンジニアリング、データサイエンス、データアナリティクスのワークロードを実行するために、コンピュートへのアクセスが必要です。

ユーザは、適切な権限があれば、既存のコンピュートへの接続も、新しいコンピュートの作成もできます。

ワークスペースの [コンピュート] セクションを使用して、アクセスできるコンピュートを表示できます。

Databricksワークスペースの汎用コンピュートページ

コンピュートの種類

Databricksで利用できるコンピュートの種類は次のとおりです。

  • All-purpose コンピュート: プロビジョニング コンピュートは、ノートブックでデータを分析するために使用されます。 このコンピュートは、UI、 CLI、または REST APIを使用して作成、終了、および再起動できます。

  • Jobs コンピュート: プロビジョニング コンピュート used to run automated ジョブ. Databricks ジョブ スケジューラは、ジョブが新しいコンピュートで実行されるように構成されるたびに、ジョブ コンピュートを自動的に作成します。ジョブが完了すると、コンピュートは終了します。 ジョブ コンピュートは再始動 できません 。 「ジョブのコンピュートの設定」を参照してください。

  • インスタンスプール: アイドル状態ですぐに使用できるインスタンスを備えたコンピュートで、開始時間とオートスケール時間を短縮するために使用されます。 このコンピュートは、UI、 CLI、または REST APIを使用して作成できます。

  • サーバレス SQLウェアハウス (Public Preview): SQL エディタまたはインタラクティブノートブックでデータオブジェクトに対して SQL コマンドを実行するために使用されるオンデマンドの elastic コンピュート。SQLウェアハウスは、 UI 、 CLI、または REST APIを使用して作成できます。

  • クラシック SQLウェアハウス: SQL エディターまたは対話型ノートブックでデータ オブジェクトに対して SQL コマンドを実行するために使用されます。SQLウェアハウスは、 UI 、 CLI、または REST APIを使用して作成できます。

このセクションの記事では、Databricks UIを使用してコンピュートリソースを操作する方法について説明します。その他の方法については、「Databricks CLIとは」および「Databricks REST APIリファレンス」を参照してください。

Databricks Runtime

Databricks Runtimeは、コンピュートで実行されるコアコンポーネントのセットです。Databricks Runtimeは、ジョブのコンピュートでは設定可能ですが、SQLウェアハウスでは自動的に選択されます。

Databricks Runtimeの各バージョンには、ビッグデータ分析の使いやすさ、パフォーマンス、セキュリティを向上させる更新プログラムが含まれています。コンピュート上のDatabricks Runtimeは、以下を含む多くの機能を追加します。

  • Delta Lakeは、Apache Spark上に構築された次世代ストレージレイヤーで、ACIDトランザクション、最適化されたレイアウトとインデックス、データパイプライン構築のための実行エンジンの改良を提供します。「Delta Lakeとは？」を参照してください。

  • Java、Scala、Python、R ライブラリをインストールしました。

  • Ubuntuとそれに付随するシステムライブラリ。

  • GPU対応クラスターのGPUライブラリ。

  • ノートブック、ジョブ、クラスター管理など、プラットフォームの他のコンポーネントと統合されるDatabricksサービス。

各Runtimeバージョンの内容については、リリースノートを参照してください。

Runtimeバージョン管理

Databricks Runtimeのバージョンは定期的にリリースされています。

  • 長期サポートバージョンはLTS修飾子で表されます（例：3.5 LTS）。各メジャーリリースごとに「標準」機能バージョンを宣言し、3年間のサポートを提供します。詳細については、「Databricksのサポートライフサイクル」を参照してください。

  • メジャーバージョンは、小数点以下のバージョン番号の増加で表されます（3.5から4.0へのジャンプなど）。これらは大きな変更があった場合にリリースされますが、その一部は下位互換性がない可能性があります。

  • 機能バージョンは、小数点の後ろにあるバージョン番号の増加で表されます（たとえば、3.4から3.5への更新など）。各メジャーリリースには複数の機能リリースが含まれます。機能リリースは常にそのメジャーリリース内の以前のリリースと下位互換性があります。