機械学習の統合

Databricks は、一般的な機械学習シナリオを可能にするさまざまなサードパーティソリューションとの統合を検証しています。

レイの統合

Ray は、Python アプリケーションをスケーリングするためのオープンソースフレームワークです。 AI ワークロードに固有のライブラリが含まれているため、AI アプリケーションの開発に特に適しています。 DatabricksでRayを実行すると、Databricksエコシステムの幅広さを活用でき、オープンソースのRayでは利用できないサービスや統合を使用して、データ処理と機械学習のワークフローを強化できます。

詳細については、「Databricksの Ray とは」を参照してください。

GraphFrames 統合

GraphFrames は、DataFrame ベースのグラフを提供する Apache Spark のパッケージです。 、 、 のハイレベルなAPIs JavaPythonScalaを提供します。これは、Spark DataFrames を利用して、GraphX の機能と拡張機能の両方を提供することを目的としています。 この拡張機能には、モチーフの検索、DataFrame ベースのシリアル化、表現力の高いグラフ クエリが含まれます。