コンピュート

Databricks コンピュートとは、Databricks ワークスペースで使用できるコンピューティング リソースの選択を指します。 データエンジニアリング、データサイエンス、本番運用 ETL パイプライン、ストリーミング分析、アドホック分析、機械学習などのデータ分析ワークロードを実行するには、ユーザーがコンピュートにアクセスする必要があります。

ユーザーは、適切な権限を持っている場合、既存のコンピュートに接続することも、新しいコンピュートを作成することもできます。

ワークスペースのコンピュートセクションを使用して、アクセスできるコンピュートを表示できます。

Databricks ワークスペースの汎用コンピュート ページ

コンピュートの種類

Databricks で使用できるコンピュートのタイプは次のとおりです。

  • 多目的コンピュート: ドイツ語でデータを分析するために使用される灰色コンピュート。 UI、 CLI 、またはREST API使用して、このコンピュートを作成、終了、および再起動できます。

  • ジョブ コンピュート: 自動化されたジョブを実行するために使用された灰色コンピュート。 Databricksジョブ スケジューラは、ジョブが新しいコンピュート上で実行するように構成されるたびに、ジョブ コンピュートを自動的に作成します。 ジョブが完了するとコンピュートは終了します。 ジョブ コンピュートを再開することはできません「ジョブでDatabricksコンピュート を使用する」を参照してください。

  • インスタンス・プール: アイドル状態のすぐに使用できるインスタンスでコンピューティングし、開始時間とオートスケール時間を短縮するために使用されます。 このコンピュートは、UI、CLI、または REST API を使用して作成できます。

  • SQLウェアハウス: SQLエディターまたは対話型ノートブックでデータオブジェクトに対してSQLコマンドを実行するために使用されます。 SQLウェアハウスは、UI、CLI、またはREST APIを使用して作成できます。

このセクションの記事では、Databricks UI を使用してコンピュート リソースを操作する方法について説明します。 その他の方法については、「 コマンド ラインを使用する」 と「 Databricks REST API リファレンス」を参照してください。

Databricks Runtime

Databricks Runtime は、コンピュート上で実行されるコア コンポーネントのセットです。 Databricks Runtime 、ジョブ コンピュートの汎用的な設定で構成可能ですが、SQL ウェアハウスで自動選択されます。

Databricks Runtime の各バージョンには、ビッグデータ分析の使いやすさ、パフォーマンス、セキュリティを向上させる更新プログラムが含まれています。 コンピュートのDatabricks Runtime 、次のような多くの機能を追加します。

  • Delta Lake は、Apache Spark 上に構築された次世代のストレージ レイヤーで、データパイプラインを構築するための ACIDトランザクション、最適化されたレイアウトとインデックス、実行エンジンの改善を提供します。 「Delta Lake とは」を参照してください。

  • Java、Scala、Python、R ライブラリをインストールしました。

  • Ubuntuとそれに付随するシステムライブラリ。

  • GPU 対応クラスターの GPU ライブラリ。

  • プラットフォームの他のコンポーネント (ノートブック、ジョブ、クラスター管理など) と統合される Databricks サービス。

各ランタイムバージョンの内容については、 リリースノートを参照してください。

Runtime のバージョン管理

Databricks Runtime のバージョンは定期的にリリースされます。

  • 長期サポート のバージョンは、 LTS 修飾子 ( 3.5 LTS など) で表されます。 メジャー リリースごとに "正規" の機能バージョンを宣言し、丸 3 年間のサポートを提供します。 詳細については、「 Databricks ランタイム サポート ライフサイクル 」を参照してください。

  • メジャー バージョンは、小数点の前にあるバージョン番号の増分 (たとえば、3.5 から 4.0 へのジャンプ) で表されます。 これらは、大きな変更がある場合にリリースされ、その一部には下位互換性がない可能性があります。

  • 機能 バージョンは、小数点以下のバージョン番号の増分 (たとえば、3.4 から 3.5 へのジャンプ) で表されます。 各メジャー リリースには、複数の機能リリースが含まれています。 機能リリースには、メジャーリリース内の以前のリリースと常に下位互換性があります。