Google
Cloud Platform
Amazon Web Services
Microsoft AzureDatabricks SQL リリースノート 2024
2024 年 1 月から 12 月までの Databricks SQL の機能強化と更新の概要を次に示します。
2024年11月21日
SQLウェアハウス システムテーブル (パブリック プレビュー)
system.compute.warehousesテーブルには SQLウェアハウスがいつ作成、編集、削除されたかが記録されます。 このテーブルを使用して、ウェアハウス名、タイプ、サイズ、チャンネル、タグ、自動停止、オートスケールの設定など、ウェアハウス設定の変更を監視できます。 ウェアハウス システムテーブル リファレンスを参照してください。
データディスカバリー
Catalog Explorer の [リネージ ] タブが再設計され、エンティティのフィルタリングの UI が改善されました。
2024年10月31日
ユーザーインターフェースの更新
新しい SQL エディター (パブリック プレビュー)
これで、キーボードショートカットの
Command(またはCtrl) +Shift+Enterを使用して、アクティブな SQL クエリを実行できるようになりました。パラメーター入力領域に、テキストが表示ウィンドウの外側に広がるとスクロールバーが表示されるようになりました。
クエリ プロファイルの詳細ページが完全に開かない問題を修正しました。
クエリの名前を変更するには、タブのタイトルに新しい名前を入力します。
[ スケジュール ] ボタンは、以前に保存されたことのないクエリに対して無効になりました。
2024年10月24日
AI/BI ツールのリリースノート
AI/BIダッシュボードとAI/BI Genieのリリースノートは、AI/BIリリースノートに移動しました。今後のリリースと更新については、そちらで説明します。
2024年10月17日
通知先が一般公開されました
ワークスペースユーザーがアラート、 Databricks ジョブ、 AI/BI dashboard スケジュールなどの特定のワークフローに追加できる通知先を作成および構成して、イベント実行時にEメールまたはWebhookを送信できます。 「通知先を管理する」を参照してください。
2024年10月10日
Query 知見
新しい列
query_source、executed_as、およびexecuted_as_user_idがクエリ履歴システムテーブルに追加されました。 Query history システムテーブル リファレンスを参照してください。
2024年9月11日
ユーザーインターフェースの更新
このセクションに記載されている機能は、上記の SQLウェアハウス コンピュートのバージョンとは無関係です。
SQLエディタ
名前付きパラメーター マーカー構文を SQL エディターで使用できるようになりました。 名前付きパラメーター マーカー構文は、SQL エディター、ノートブック、AI/BI ダッシュボード全体で使用できます。 「クエリ パラメーターの操作」を参照してください。
クエリとレガシーダッシュボード
SQL クエリとレガシーダッシュボードの場合、削除されたアイテムはリストページに表示されなくなりました。 ワークスペースのごみ箱フォルダーで削除済みアイテムを見つけます。 ワークスペース管理者は、すべてのユーザーのゴミ箱フォルダ内の削除済みアイテムを表示できます。
SQLウェアハウス
system.compute.warehouse_eventsテーブルには、ウェアハウス SQL開始、停止、スケールアップ、スケールダウンのタイミングが記録されます。 このテーブルを使用して、ワークスペース内の SQLウェアハウスを監視できます。 ウェアハウス events システムテーブル リファレンスを参照してください。
2024年9月5日
行動の変化
ビューのデフォルトのスキーマ・バインディング・モードへの変更
ビューは、通常のキャストルールでスキーマ補正を使用して、基になるクエリのスキーマ変更に適応するようになりました。 これは、ビューを参照するときにセーフキャストを実行できなかった場合にエラーを発生させていた以前のデフォルトの
BINDINGモードからの変更です。CREATE VIEW とキャスト関数を参照してください。
文書化されていない
!構文を Boolean 式の外部でNOT代わりに使用することを許可しないこのリリースでは、ブール式以外の
NOTの同義語として!を使用することは許可されなくなりました。たとえば、次のようなステートメントは、CREATE ... IF ! EXISTS、 IS !NULL、! NULL列またはフィールドのプロパティ、! INおよび !BETWEENは、CREATE ... IF NOT EXISTS、IS NOT NULL、NOT NULL列またはフィールドプロパティ、NOT IN、およびNOT BETWEENに置き換える必要があります。この変更により、一貫性が確保され、SQL 標準に合致し、SQL の移植性が向上します。
ブール接頭辞演算子
!(!is_mgrや!(true AND false)など) は、この変更の影響を受けません。ドキュメント化されていない列定義構文をビューで許可しない
Databricks では、名前付き列と列コメントを使用した CREATE VIEW がサポートされています。 以前は、列タイプ、
NOT NULL制約、またはDEFAULTの指定が許可されていました。 このリリースでは、この構文は使用できなくなりました。この変更により、一貫性が確保され、SQL 標準に準拠し、将来の機能拡張がサポートされます。
無効な列に [
CHECK] 制約を追加すると、UNRESOLVED_COLUMN.WITH_SUGGESTIONエラー クラスが返されるようになりましたより有用なエラー メッセージングを提供するために、Databricks Runtime 15.3 以降では、無効な列名を参照する
CHECK制約を含むALTER TABLE ADD CONSTRAINTステートメントがUNRESOLVED_COLUMNを返します。WITH_SUGGESTION エラー クラス。以前は、INTERNAL_ERRORが返されていました。
新機能と改善点
ALTER TABLE を使用した UniForm Iceberg の有効化
データファイルを書き換えることなく、既存のテーブルで UniForm Iceberg を有効にできるようになりました。 「既存のテーブルでの Iceberg 読み取りの有効化」を参照してください。
UTF-8 検証関数
このリリースでは、UTF-8 文字列を検証するための次の関数が導入されています。
is_valid_utf8 文字列が有効な UTF-8 文字列であるかどうかを確認しました。
make_valid_utf8 は、無効な可能性のある UTF-8 文字列を、置換文字を使用して有効な UTF-8 文字列に変換します
validate_utf8 は、入力が有効な UTF-8 文字列でない場合、エラーを発生させます。
try_validate_utf8 は、入力が有効な UTF-8 文字列でない場合、
NULLを返します。
to_avroおよびfrom_avro機能
to_avro 関数と from_avro 関数を使用すると、SQL 型と Avro バイナリ データとの間で変換できます。
try_url_decode機能
このリリースでは、URL エンコードされた文字列をデコードする try_url_decode 関数が導入されています。 文字列が正しい形式でない場合、関数はエラーを発生させるのではなく
NULLを返します。オプションで、オプティマイザが強制されていない外部キー制約に依存できるようにします
クエリのパフォーマンスを向上させるために、テーブルを CREATE または ALTER するときに、
FOREIGN KEY制約にRELYキーワードを指定できるようになりました。チェック制約テーブル機能の削除のサポート
データの削除と新しいデータの挿入を並行して行う
replaceWhere実行ジョブを使用した選択的上書きにより、クエリのパフォーマンスとクラスタリング使用率が向上します。選択的な上書きのための並列化されたジョブの実行
データの削除と新しいデータの挿入を並行して行う
replaceWhere実行ジョブを使用した選択的上書きにより、クエリのパフォーマンスとクラスタリング使用率が向上します。選択的上書きによるチェンジデータフィードのパフォーマンスの向上
チェンジデータフィードを持つテーブルで
replaceWhereを使用した選択的上書きは、挿入されたデータに対して個別の変更データファイルを書き込まなくなりました。 これらの操作では、基になる Parquet データ ファイルに存在する非表示の_change_type列を使用して、書き込み増幅なしで変更を記録します。COPY INTO コマンドのクエリ待ち時間の改善
このリリースには、
COPY INTOコマンドのクエリの待ち時間を改善する変更が含まれています。 この機能強化は、 RocksDB 状態ストアによる状態の読み込みを非同期にすることで実装されます。 この変更により、既に取り込まれた多数のファイルを含むクエリなど、大きな状態を持つクエリの開始時間が改善されます。
2024年8月15日
可視化
ページ サイズを変更した後、テーブル視覚化の行番号が更新されない問題を修正しました。
データディスカバリー
Unity Catalog テーブルでネストされた複雑な列の型を展開および折りたたむ機能がサポートされるようになりました。
2024年8月1日
APIツール
SQL ステートメント実行 API が一般公開されました。 ステートメント実行 API: ウェアハウスでの SQL の実行を参照してください。
視覚化:
テーブルの並べ替えは、フィルタリングによってデータが変更されたときに保持されるようになりました。
SQL エディタ:
クエリの最後の行と結果出力の間にパディングを追加することで、読みやすさが向上しました。
2024年7月25日
Databricks REST API:
クエリ、アラート、データソース、およびアクセス許可の管理APIsが変更されました。レガシーバージョンは、引き続き 6 か月間サポートされます。 この移行期間は、古いバージョンが段階的に廃止される前に、アプリケーションと統合を新しいバージョンに移行するための十分な時間を確保することを目的としています。 「最新の Databricks SQL API バージョンへの更新」を参照してください
2024年7月18日
ユーザーインターフェースの更新
カタログエクスプローラー:
新しいカタログ構成ウィザードを使用して、カタログの作成時にワークスペース・バインディング、カタログ特権、およびメタデータを設定できるようになりました。
SQLウェアハウス モニタリング:
CAN MONITOR の許可が一般公開されました。 これにより、特権ユーザーは、関連するクエリ履歴やクエリ プロファイルなど、 SQLウェアハウスを監視できます。 ウェアハウス ACLSQLを参照してください。
2024.35の変更点
ドロップ機能による列マッピングの無効化
DROP FEATURE を使用して、Delta テーブルの列マッピングを無効にし、テーブル プロトコルをダウングレードできるようになりました。「列マッピングの無効化」を参照してください。
パブリック プレビューのバリアント型の構文と関数
VARIANT型として半構造化データを操作するための組み込みの Apache Spark サポートが、Spark DataFrames と SQL で使用できるようになりました。「バリアント データのクエリ」を参照してください。
Delta Lake のバリアント型のサポート (パブリック プレビュー)
VARIANT を使用して、Delta Lake を基盤とするテーブルに半構造化データを格納できるようになりました。「Delta Lake でのバリアントのサポート」を参照してください。
ビューでのスキーマ進化のさまざまなモードのサポート
CREATE VIEW と ALTER VIEW でスキーマバインディングモードを設定できるようになり、ビューが基礎となるオブジェクトのスキーマ変更を処理する方法が強化されました。 この機能により、ビューは基になるオブジェクトのスキーマ変更を許容または適応できます。 これは、オブジェクト定義の変更に起因するクエリ スキーマの変更に対処します。
一部のウィンドウ機能のパフォーマンスの向上
このリリースには、一部の Spark ウィンドウ関数 (特に ORDER BY 句や window_frame パラメーターを含まない関数) のパフォーマンスを向上させる変更が含まれています。 このような場合、システムはクエリを書き換えて、集計関数を使用して実行できます。 この変更により、部分集計を使用し、ウィンドウ関数の実行オーバーヘッドを回避することで、クエリの実行を高速化できます。 Spark 構成パラメーター spark.databricks.optimizer.replaceWindowsWithAggregates.enabled は、この最適化を制御し、デフォルトによってtrueに設定されます。この最適化をオフにするには、 spark.databricks.optimizer.replaceWindowsWithAggregates.enabled を falseに設定します。
try_mod機能のサポートが追加されました
このリリースでは、PySpark try_mod() 関数のサポートが追加されています。 この関数は、2 つの数値を除算することにより、ANSI SQL 互換の整数剰余の計算をサポートします。 divisor 引数が 0 の場合、 try_mod() 関数は例外をスローする代わりに null を返します。 mod や %の代わりに try_mod() 関数を使用すると、divisor 引数が 0 で ANSI SQL が有効になっている場合に例外がスローされます。
ユーザーインターフェースの更新
SQL エディタ:
インラインアシスタントが SQL エディターで使用できるようになりました。 エディターボックスのアシスタントアイコンをクリックして、入力を切り替えます。 質問やコメントを英語で入力し、Enterキー(Shift+Enterキーではなく、クエリを実行する)を押すと、エディタで直接異なるビューのレスポンスが生成されます。
プラットフォーム:
通知先用の API が利用可能になりました。 アラート通知とジョブ実行通知の Webhook と Eメール の送信先をプログラムで管理できるようになりました。 「通知先」を参照してください。
2024.30の変更点
レイクハウスフェデレーションの一般提供開始 (GA)
次の種類のレイクハウスフェデレーション コネクタが一般提供 (GA) になりました。
MySQL
PostgreSQL
Amazon Redshift
Snowflake
Microsoft SQL Server
Azure Synapse（SQLデータウェアハウス）
Databricks
このリリースでは、次の改善も導入されています。
SnowflakeおよびMicrosoft SQL Serverコネクタでのシングルサインオン(SSO)認証のサポート。
追加のプッシュダウン (文字列、数学、その他の関数) のサポート。
さまざまなクエリ図形間でのプッシュダウン成功率が向上しました。
追加のプッシュダウン デバッグ機能:
EXPLAIN FORMATTED出力には、プッシュダウンされたクエリ テキストが表示されます。クエリ プロファイル UI には、プッシュダウンされたクエリ テキスト、フェデレーテッド ノード識別子、および JDBC クエリの実行時間 (詳細モード) が表示されます。 システム生成の横串検索の表示を参照してください。
DESCRIBE HISTORY リキッドクラスタリングを使用するテーブルのクラスタリング列を表示するようになりました
DESCRIBE HISTORYクエリを実行すると、operationParameters列には、CREATE OR REPLACEおよびOPTIMIZE操作のclusterByフィールドがデフォルトで表示されます。リキッドクラスタリングを使用する Delta テーブルの場合、clusterBy フィールドにはテーブルのクラスタリング列が入力されます。 テーブルがリキッドクラスタリングを使用していない場合、フィールドは空です。
プライマリ・キーと外部キーのサポートが一般公開されました
Databricks Runtime での主キーと外部キーのサポートは、一般提供されています。 GA リリースには、プライマリ・キーと外部キーを使用するために必要な権限に対する次の変更が含まれています。
外部キーを定義するには、外部キーが参照するプライマリ・キーを持つテーブルに対する
SELECT権限が必要です。 以前に必要だったプライマリキーを持つテーブルを所有する必要はありません。CASCADE句を使用してプライマリ・キーを削除する場合、プライマリ・キーを参照する外部キーを定義するテーブルに対する権限は必要ありません。以前は、参照テーブルを所有する必要がありました。制約を含むテーブルの削除には、制約を含まないテーブルの削除と同じ権限が必要になりました。
テーブルまたはビューでプライマリ・キーと外部キーを使用する方法については、 CONSTRAINT 句、 ADD CONSTRAINT 句、 DROP CONSTRAINT 句を参照してください。
リキッドクラスタリング is GA
リキッドクラスタリングのサポートは、 Databricks Runtime 15.2 以降を使用して一般提供が開始されました。 「Deltaテーブルにリキッドクラスタリングを使用する」を参照してください。
タイプの拡大はパブリック プレビュー段階です
Delta Lake を基盤とするテーブルで型の拡大を有効にできるようになりました。 型の拡大が有効になっているテーブルでは、基になるデータ ファイルを書き換えることなく、列の型をより広いデータ型に変更できます。 「タイプ拡幅区間」を参照してください。
SQL マージ構文に追加されたスキーマ進化節
これで、WITH SCHEMA EVOLUTION 句を SQL merge ステートメントに追加して、操作のスキーマ進化を有効にできるようになりました。 マージのスキーマ進化構文を参照してください。
バキューム在庫支援
Delta テーブルで VACUUM コマンドを実行するときに考慮するファイルのインベントリを指定できるようになりました。 OSS Delta のドキュメントを参照してください。
Zstandard 圧縮関数のサポート
zst_compress、zstd_decompress、および try_zstd_decompress 関数を使用して、BINARYデータを圧縮および圧縮解除できるようになりました。
SQL UI のクエリ プランが正しく表示されるようになりましたPhotonWriteStage
SQL UI で表示すると、クエリ プランの write コマンドで PhotonWriteStage が誤って演算子として表示されていました。 このリリースでは、UI が更新され、 PhotonWriteStage がステージとして表示されます。 これは UI の変更であり、クエリの実行方法には影響しません。
サーバレス SQLウェアハウスが一般公開されました。
サーバレス SQLウェアハウス は、 サポートされている地域で一般提供が開始されました。 これらは、 SQL クエリの即時コンピュート、最小限の管理、およびコストの最適化を提供します。 サーバ レス をウェアハウス SQL作成するか、プロまたはクラシック SQLウェアハウスをサーバレスに変換します。
2024年6月27日
ユーザーインターフェースの更新
視覚化:
多数のデータポイントを持つ円グラフ、散布図、ヒートマップチャートにカーソルを置いたときのツールチップ表示のインタラクティブ性を改善しました。
カタログエクスプローラ:
刷新された Catalog Explorer UI により、 クイックアクセス ビューから最近の Unity Catalog アセットを簡単に見つけてお気に入りに追加できるようになりました。 ナビゲーションDBFS
エクスペリエンスも簡素化され、画面の左上隅にある [ 設定] を使用して、コンピュート、ストレージ、資格情報、接続、 、および管理の詳細を探索できるようになりました。Delta Sharing、クリーンルーム、External Dataに専用ページを開設しました。
2024年6月6日
ユーザーインターフェースの更新
ダッシュボード:
アカウント ユーザーは、公開されたダッシュボードから視覚化データをダウンロードできるようになりました
未公開のダッシュボードは、ダッシュボードの上部にある [下書き/公開 ] ドロップダウンを使用して公開できるようになりました。
limit という名前のパラメーターが検出されない問題を修正しました。
視覚化:
ダークモードでのボックスプロットレンダリングを改善しました。
Query 知見:
ウェアハウスに接続されているすべてのノートブック SQL、クエリを含むセルの下にある [パフォーマンスの表示 ] をクリックして、クエリ プロファイルにアクセスできます。 セルに複数のクエリが含まれている場合は、各ステートメントのクエリ プロファイルへのリンクが提供されます。
2024年5月30日
サーバレス SQLウェアハウスは、次のリージョンで パブリック プレビュー 段階です。
米国西部1
米国東部4
ヨーロッパ-西2
アジア-南東1
アジア-南1
SQLウェアハウスの新しいアクセス許可レベル
[監視可能 ] アクセス許可を使用すると、ユーザーは、関連するクエリ履歴やクエリ プロファイルなど、 SQLウェアハウスを監視できます。 [監視可能] アクセス許可がパブリック プレビューになりました。 ウェアハウス ACLSQLを参照してください。
2024年5月23日
新しいダッシュボードツール
ダッシュボード (旧称 Lakeview ダッシュボード) が パブリック プレビューになりました。 UI では [ダッシュボード ] という名前が付けられています。 Databricks SQL ダッシュボードは、 レガシ ダッシュボードと呼ばれるようになりました。 関連する API ツールの名前は変更されていません。
ユーザーインターフェースの更新
ワークスペース内の複数のアイテムを選択して、移動または削除できるようになりました。 複数のオブジェクトを選択すると、アクションバーが表示され、アイテムを移動または削除するオプションが提供されます。 さらに、マウスを使用して複数のアイテムを選択し、それらを新しい場所にドラッグすることもできます。 オブジェクトに対する既存の権限は、一括移動および削除操作中も引き続き適用されます。
Unity Catalog アセットを Catalog Explorer と Schema Browser でお気に入りとしてマークできるようになりました。 これには、カタログ、スキーマ、テーブル、モデル、ボリューム、および関数が含まれます。 お気に入りとしてマークした Unity Catalog アセットには、Databricks のホームページから簡単にアクセスできます。
ダッシュボードの更新:
2 軸コンボ チャートで、右軸にバーの凡例が正しく表示され、それに応じて折れ線の凡例が表示されるようになりました。
2 重軸グラフで、棒にラベルが正しく表示されるようになりました。
ビジュアライゼーションの更新:
テーブルエディタの if と then の条件付き書式ラベルがダークモードをサポートするようになりました。
冗長な オープンリンク アイコンは、テーブルエディタのフォーマットツールチップから削除されました。
テーブルエディタのデフォルトのフォントカラーのラベルが自動的に整列するようになりました。
2024年5月16日
ロールアウト スケジュール
2024.25 のプレビュー ロールアウト: 5月1日完了
2024.25 の現在のロールアウト: 5月14日から5月21日まで
注：
panda Python ライブラリ (バージョン 2.0.3) へのアップグレード Databricks SQL バージョン 2024.20 で重大な変更が発生しました。 Databricks は、現在のチャンネルにバージョン 2024.20 をロールアウトしませんでした。 代わりに、プレビューチャンネルは2025年5月1日に2024.25にアップグレードされました。 現在のチャンネルのロールアウトは、2024.15 から 2024.25 に直接行われます。
2024.25の変更点
SQL 言語の機能
* (スター) 句が WHERE 句でサポートされるようになりました。
これで、WHERE 句のスター (*) 句を使用して、SELECT リストのすべての列を参照できるようになりました。たとえば、 SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).
Cloudflare R2ストレージのサポートにより、2024.15以降、リージョン間のエグレス料金を回避
Unity Catalogに登録したデータのクラウドストレージとしてCloudflare R2を利用できるようになりました。 Cloudflare R2は、主にDelta Sharingのユースケースを対象としており、データがリージョンをまたぐときにクラウドプロバイダーから請求されるデータエグレス料金を回避したいと考えています。
Cloudflare R2ストレージは、Google Cloud StorageでサポートされているすべてのDatabricksデータとAIアセットをサポートしています。
「Cloudflare R2 レプリカを使用するか、ストレージを R2 に移行する」および「Cloudflare R2 に接続するためのストレージ資格情報を作成する」を参照してください。
2024年5月2日
ビジュアライゼーションの更新:
テーブルのユーザー選択の色が、従来のグラフの明るいモードと暗いモードにまたがって保持されるようになりました。
データ切り捨てロジックが改善され、コンボ、円グラフ、ヒートマップグラフ、ヒストグラムグラフの性能が向上しました。
目盛りは、基本チャートの量的軸の上部に常に表示されるようになりました。
2024年4月23日
UI の更新:
UI のすべての [共有 ] ダイアログで、
All Usersグループの名前がAll Workspace Usersに変更されました。 新しい名前は、ワークスペースに割り当てられたユーザーが常に含まれていたグループのスコープをより正確に反映しています。 この名前変更の一環として、グループ メンバーシップは変更されません。
ビジュアライゼーションの更新:
カスタムツールトップ形式が多軸グラフで正しく機能するようになりました。
新しいグラフのプレビュー タグは、ユーザーが過去 14 日間にトグルを変更していない場合に削除されます。
2024年4月18日
ユーザーインターフェースの更新
このセクションに記載されている機能は、上記の SQLウェアハウス コンピュートのバージョンとは無関係です。
改善点:
積み上げグラフのツールヒントに、デフォルトで積み上げ値とパーセンテージが表示されるようになりました。
多軸グラフのツールヒントで、ホバーされた項目が強調表示されるようになりました。
Databricks SQL のテーブル視覚化では、SQL エディターで編集するときに、新しいクエリ結果のデータ型が適応されるようになりました。
Catalog Explorer の クエリー履歴 テーブルには、 Query ソース アトリビューションのツリーのようなビューが表示されます。 これを使用して、クエリステートメントの実行をトリガーしたエンティティを確認できます。
2024年4月11日
サーバレス SQLウェアハウスがパブリック プレビューになりました。
Databricks サーバレス アーキテクチャを使用して、サーバレス SQLウェアハウスは Databricks SQLのすべてのパフォーマンス機能をサポートします。サーバレス SQLウェアハウスとそのパフォーマンス機能には、次のような特長があります。
迅速な起動時間 (通常は 2 秒から 6 秒)。
低レイテンシを維持するために必要なときにより多くのコンピュートを取得するための迅速なアップスケーリング。
クエリのアドミタンスが、仮想マシンではなくハードウェアの制限に近い。
需要が少ない場合にコストを最小限に抑えるための迅速なダウンスケーリングにより、コストとリソースを最適化して一貫したパフォーマンスを提供します。
「サーバーレスSQLウェアハウスを有効にする」を参照してください。
ユーザーインターフェースの更新
このセクションに記載されている機能は、上記の SQLウェアハウス コンピュートのバージョンとは無関係です。
改善点:
Databricks SQL とノートブックで視覚化を作成するときに、パーセンテージでグループ化できるようになりました。
新しいグラフ (パブリック プレビュー) では、軸に平行な直線をクリックしてドラッグすることで、1 つの軸に沿ってズームインできます。
Unity Catalog共有クラスタリング許可リスト UI が一般公開されました。カタログエクスプローラーのメタストアの詳細ページからアクセスできます。 「許可リストに項目を追加する方法」を参照してください。
外部ロケーションを作成および編集するためのフォームが、全ページとして開くようになりました。 これには、ストレージ資格情報を含めるオプションが含まれています。
修正内容:
ヒストグラム グラフで、負の値が誤って正の値としてマークされる問題を修正しました。
2024年4月4日
ユーザーインターフェースの更新
このセクションに記載されている機能は、上記の SQLウェアハウス コンピュートのバージョンとは無関係です。
改善点:
ヒート マップと他のチャート タイプ間でビジュアライゼーションを切り替えると、関連するフィールドがより適切に保持されるようになりました。
修正内容:
カラーエンコーディングの棒グラフで、複数の Y 軸フィールドの追加が正しく制限されるようになりました。
一部のビジュアライゼーションで [PNG としてダウンロード ] ボタンが欠落していた問題を解決しました。
以前は数千の区切り記号が欠落していた負の大きな整数の書式設定を修正しました。
折れ線グラフのラベルにカーソルを合わせたときの誤ったホバー線の配置を修正しました。
2024.15の変更点
Delta の更新
Delta UniFormは、以下のサイトで一般公開されました。 UniForm が一般公開され、IcebergCompatV2 テーブル機能を使用できるようになりました。 既存のテーブルで UniForm を有効化またはアップグレードできるようになりました。 Deltaクライアントを使用した テーブルの読み取りIceberg を参照してください。
Delta テーブルの統計をスキップするデータを再計算する: データのスキップに使用される列を変更した後、Delta ログに格納されている統計を再計算できるようになりました。 Delta 統計カラムの指定を参照してください。
SQL 言語の更新
SQL セッションで一時変数を宣言します。 このリリースでは、セッションで一時変数を宣言し、クエリで設定して参照できる機能が導入されています。 変数を参照してください。
ネイティブ XML ファイル形式のサポート (パブリック プレビュー): ネイティブ XML ファイル形式のサポートがパブリック プレビューになりました。 XML ファイル形式のサポートにより、バッチ処理またはストリーミングのための XML データの取り込み、クエリ、および解析が可能になります。 スキーマとデータ型を自動的に推論して進化させることができ、
from_xmlなどの SQL 式をサポートし、XML ドキュメントを生成できます。 外部 jar を必要とせず、Auto Loader、read_files、COPY INTO、Delta Live Tables とシームレスに連携します。 XML ファイルの読み取りと書き込みを参照してください。
Apache Spark SQL の更新
Databricks SQL 2024.15 には、Apache Spark 3.5.0 が含まれています。 SQLのその他のバグ修正と改善点については、Databricks Runtime 14.3 リリースノートに記載されています。Apache Spark を参照し、[SQL] タグで完全な一覧を探します。
2024年3月21日
Unity Catalog モデルリネージがパブリックプレビューになりました。
カタログエクスプローラのテーブルビューに、プライマリメタデータを説明するための 「概要 」タブが追加されました。
2024年3月14日
新しいグラフでは、数値列の null 値にエイリアスとカスタム色が適用されるようになりました。
新しいチャートでは、Y 軸の上部を示すように目盛りがレンダリングされるようになりました。
2024年3月7日
100 を超える系列を含むグラフのツールヒントで、すべての系列が誤って表示される問題を修正しました。 現在は、フォーカスされたシリーズのみが表示されます。
パフォーマンスの最適化により、SQL エディターでの入力レイテンシを 30% 削減しました。
SQL エディタでクエリを管理する場合、クエリをゴミ箱に移動すると、タブが自動的に閉じます。
サイドパネルの幅を調整するときにテキストが誤って選択されるSQLエディターの問題を修正しました。
2024年2月29日
カタログエクスプローラーのスキーマブラウザに、列の主キー制約と外部キー制約が表示されるようになりました。
カタログエクスプローラの「リネージュ」(Lineage) タブに表示される保持期間が 1 年に延長されました。
ノートブックの新しいグラフのツールヒントは、常に視覚化境界内にレンダリングされるようになりました。
2024年2月22日
カタログエクスプローラのテーブルビューの「 サンプルデータ 」タブの改善により、列のソート、選択したデータのクリップボード へのコピー 、および行番号の表示が可能になりました。 JSONオブジェクト、日付、数値、null値などの特別な値をより適切に表示できるようになりました。
2024年2月15日
コードベースのクエリフィルタ(
SELECT action AS 'action::filter'など)のドキュメントは削除されました。 Databricks では、このパターンを削除するためにクエリを更新することをお勧めします。
2024年2月8日
権限のないLakeviewダッシュボードへのリンクを開くときに、アクセスをリクエストできるようになりました。
Lakeview ダッシュボード フィルターに、明示的な [すべて ] オプションと [なし] オプションが追加されました。 作成者は、単一選択フィルターで [すべて ] オプションを非表示にすることを選択できます。
Lakeview ダッシュボード チャートの軸の最小値と最大値を設定できるようになりました。
2024年2月1日
Databricks SQL バージョン 2024.10 が利用可能に
ロールアウトスケジュール
2024.10 のプレビュー ロールアウト: 2024年1月30日から2024年2月5日まで
2024.10 の現在のロールアウト: 2023年2月13日から2024年2月20日まで
2024.10の変更点
DML コマンドでの破損したファイルの処理を修正しました。 DML コマンド
DELETE、UPDATE、およびMERGE INTOは、読み取りオプションignoreCorruptFilesとignoreMissingFilesを考慮しなくなりました。 テーブル内で読み取り不能なファイルが検出された場合、これらのオプションが指定されていても、これらのコマンドは失敗するようになりました。行レベルの同時実行性は、デフォルトによって一般公開され、オンになっています。 行レベルの同時実行性は、行レベルで変更を検出することにより、並列書き込み操作間の競合を減らします。 行レベルの同時実行性は、パーティション分割のないテーブル (リキッドクラスタリングのあるテーブルを含む) でのみサポートされます。 行レベルの同時実行性は、削除ベクトルが有効になっている Delta テーブルでデフォルトによって有効になります。 「行レベルの同時実行性との書き込みの競合」を参照してください。
シャロークローン for Unity Catalog 外部テーブル (Public Preview): これで、 Unity Catalog 外部テーブルでシャロークローンを使用できるようになりました。 Unity Catalogテーブルについては、シャロークローンを参照してください。
マルチスレッド統計収集の高速化: 統計の収集は、小規模なクラスタリングで
CONVERT TO DELTAを実行したり、 Iceberg テーブルや Parquet テーブルからクローニングしたりすると、最大 10 倍高速になります。 「 Delta Lake への変換 」および「 Parquet テーブルと Iceberg テーブルを Delta Lake に段階的にクローンする」を参照してください。DeltaSource の Pushdown フィルターは、 Delta ファイルに対して行われます。 使用率を向上させるために、 Delta テーブルのストリーミング クエリのパーティション フィルターは、レート制限の前に Delta にプッシュダウンされるようになりました。
ユーザーインターフェースの更新
このセクションに記載されている機能は、上記の SQLウェアハウス コンピュートのバージョンとは無関係です。
Databricks SQL オブジェクト (クエリ、ダッシュボード、アラート) の一覧ページの [管理ビュー ] タブが削除されました。 ワークスペース管理者ユーザーは、それぞれのリスティングページからすべてのオブジェクトを表示できます。 「保存されたクエリへのアクセスと管理」、「レガシ ダッシュボード」、および「Databricks SQL アラートとは」を参照してください。
クエリ履歴ページには、デフォルトで過去 24 時間のクエリが表示されます。 クエリ履歴を参照してください。
2024年1月4日
主キーと外部キーのエンティティ関係図をカタログエクスプローラに導入しました。 「エンティティ関係図の表示」を参照してください。