Databricks を用いた MariaDB のクエリー

この例では、JDBCドライバを使用してMariaDBをクエリーします。 読み取り、書き込み、並列処理の設定、およびクエリーのプッシュダウンの詳細については、 JDBC を使用したクエリーデータベースを参照してください。

JDBC URLの作成

driver = "org.mariadb.jdbc.Driver"

database_host = "<database-host-url>"
database_port = "3306" # update if you use a non-default port
database_name = "<database-name>"
table = "<table-name>"
user = "<username>"
password = "<password>"

url = f"jdbc:mariadb://{database_host}:{database_port}/{database_name}"

val driver = "org.mariadb.jdbc.Driver"

val database_host = "<database-host-url>"
val database_port = "3306" # update if you use a non-default port
val database_name = "<database-name>"
val table = "<table-name>"
val user = "<username>"
val password = "<password>"

val url = s"jdbc:mariadb://${database_host}:${database_port}/${database_name}"

クエリー リモート・テーブル

remote_table = (spark.read
  .format("jdbc")
  .option("driver", driver)
  .option("url", url)
  .option("dbtable", table)
  .option("user", user)
  .option("password", password)
  .load()
)

val remote_table = spark.read
  .format("jdbc")
  .option("driver", driver)
  .option("url", url)
  .option("dbtable", table)
  .option("user", user)
  .option("password", password)
  .load()