Databricks SQL リリースノート 2023
2023 年 1 月から 12 月までの Databricks SQL の機能強化と更新の概要を次に示します。
2023年12月21日
新しいチャートの場合、ヒートマップタイプのチャートは reverseY 設定を尊重します。
ビジュアライゼーションの数が多いノートブックのレンダリング パフォーマンスの問題を修正しました。
2023年12月7日
ユーザーインターフェースの更新
大きな整数値が誤って浮動小数点数として表示される視覚化の書式設定の問題を修正しました。
Databricks SQL ダッシュボードで、展開されたグラフ ビューに空白のグラフが表示されることがある問題を修正しました。
X 軸と Y 軸の両方に定量的フィールドがある棒グラフは、データ ラベルをより読みやすくレンダリングします。
SQL エディタの問題を修正し、タイトルに
stream
という単語が含まれるテーブルが予約済みキーワードと競合しなくなりました。 これらのテーブルは、スキーマブラウザに期待どおりに表示され、エラーが強調表示されなくなりました。クエリ履歴ページで、列のサイズ変更と列の選択がサポートされるようになりました。
クエリ履歴ページでは、 クエリ ソース と クエリ ソースの種類の 2 つの新しい列がサポートされています。
Tableau や Power BI などの BI オプションは、対象となるページのカタログ エクスプローラーで見つけやすくなります。
2023年11月9日
2023.50の変更点:
ハイライト:
名前付きパラメーターの呼び出しを SQL と Python UDFで使用できるようになりました。
SQL 言語の更新: 次の組み込み関数が追加されました: - 'from_xml': XML STRING
を解析して STRUCT
にします。 - 'schema_of_xml': XML STRING
からスキーマを派生させます。- 'session_user': ログインしているユーザーを返します。 - 'try_reflect': Java メソッドが失敗した場合、例外の代わりに NULL
を返します。
次の組み込み関数が拡張されました。
関数呼び出し。 関数へのテーブル引数によるパーティショニングと順序付けのサポート:
PARTITION BY
句とORDER BY
句を使用して、テーブル引数を関数に渡す方法を制御できるようになりました。'mode': 決定論的な結果を強制するオプションのパラメーターのサポート。
'to_char':
DATE
、TIMESTAMP
、BINARY
の新しいサポート。'to_varchar':
DATE
、TIMESTAMP
、BINARY
の新しいサポート。'array_insert()' は負のインデックスに対して 1 から始まります:
array_insert
関数は、正のインデックスと負のインデックスの両方で 1 から始まります。 ここで、インデックス -1 の入力配列の末尾に新しい要素が挿入されます。
2023年10月26日
Databricks SQL バージョン 2023.45 の変更点
ハイライト:
更新の予測 I/O が一般公開されました。 「予測I/Oとは」を参照してください。
削除ベクトルが一般公開されました。 削除ベクトルとはを参照してください。
クエリの最適化:
外部ジョインがすべて異なる集約関数である場合は、外部ジョインを削除しました。 スパーク-42583
述語のフィルタリング順序を最適化しました。 スパーク-40045
SQL 関数の更新:
Aggregate
<[> での暗黙的な横方向の列のエイリアス解決のサポートが追加されました。スパーク-41631Window を使用したクエリでの暗黙的な横列エイリアスのサポート。 スパーク-42217
Datasketches の
HLLSketch
のサポート 集計関数hll_sketch_aggを参照してください。try_aes_decrypt()
機能を追加しました。try_aes_decrypt機能を参照してください。aes_encrypt()
およびaes_decrypt()
のCBCモードのサポート。aes_decrypt関数を参照してください。aes_encrypt IV と AAD のサポートが追加されました。 スパーク-43290
ビットマップ関数を実装します。 スパーク-44154
to_char
のto_varchar
エイリアスを追加しました。to_varchar関数を参照してください。array_compact
のサポートを追加しました。array_compact関数を参照してください。udf
luhn_check
のサポート。 luhn_check関数を参照してください。組み込み関数の名前付き引数のアナライザーサポートが追加されました。 スパーク-44059
TableValuedFunction
の引数パーサー規則TABLE
サポートスパーク-44200array_insert
インデックスが 0 で失敗するようになりました。 スパーク-43011ターゲット・テーブルよりも少ない列のユーザー指定リストを持つ
INSERT
にNULL
値を追加しました。スパーク-42521DECODE
関数は、NULL を渡すと間違った結果を返します。 スパーク-41668
ユーザーインターフェースの更新
改善:
データフィールド名にピリオドが含まれていても、空白のグラフになることはなくなりました。
従来のスキーマ ブラウザーが Unity Catalog で動作するようになりました。
SQL エディターでアクティブなタブのみを読み込むようにパフォーマンスを改善し、初期読み込み時間を最大 20% 短縮しました。
カタログエクスプローラーのAI生成テーブルコメントが正式リリースされました。
修正:
時間横棒グラフの棒が、日付の目盛りの中央に配置されるようになりました。
集計式を含むデータラベルテンプレートは、適切な数値フォーマッタを使用するようになりました。
新しいチャートでのズームは、時間データを使用してカテゴリに設定されたスケールで機能するようになりました。
2023年10月19日
改善:
スキーマブラウザでのドラッグ&ドロップが利用できるようになりました。
修正:
凡例選択ツールチップの手順では、Mac ユーザーが
cmd
を使用し、Windows ユーザーがctrl
を使用するように指定されています。
データが切り捨てられたグラフは、エディターで表示される色と同じ色で表示されます。
2023年10月12日
改善:
新しいグラフは、散布図で
@@name
データラベルをサポートします。カスタマイズされたパーセンテージ形式は、新しいグラフのグループ化されたグラフのヒントに適用されます。
ワークスペース バインディング拡張機能の UI は GA です。
リネージュはGAです。
修正:
新しいチャートでのラベルレンダリングが改善され、ラベルがチャートの境界からはみ出さないようにしました。
新しいチャートの目盛りとグリッド線のコントラストを上げて、視認性を向上させました。
新しいグラフでの読みやすさを向上させるために、軸ラベルの間隔を広げました。
2023年10月5日
改善:
グラフ内の系列にカーソルを合わせると、ツールヒントで周囲の系列が暗くなり、新しいグラフの読みやすさが向上しました。
パーセンテージ値を使用する新しいグラフでは、絶対値を含むツールチップが表示されるようになりました。
ボリュームを作成するためのオートコンプリートのサポートが追加されました。
非アクティブなタブを閉じても、タブは切り替わらなくなりました。
選択した実行は、テキストを強調表示するときに明確に示します。
修正:
データが切り捨てられたときのピボットテーブルのエラーメッセージの文言を改善しました。
ピボット テーブルで BigInt データ型の使用時に色が表示されないレンダリング エラーを修正しました。
多数の凡例項目を含む新しいチャートで PNG をダウンロードするときに、オーバーフロー凡例エントリの色記号を削除しました。
新しいチャートの線は、最上位のビュー境界でも一貫した太さを維持します。
Delta Live Tables は SQL パーサーによって適切に検出され、スキーマ ブラウザーに無効なテーブルとして表示されません。
サイドバーにツールチップが追加されました。
2023年9月28日
改善:
カタログエクスプローラーでのDeltaテーブル履歴の改善には、日付範囲、ユーザー、操作タイプのフィルター、ソート可能な列、関連するジョブとノートブックへのインラインリンクの追加が含まれます。
ダークモードのサポートが凡例、ツールチップ、テーブルの視覚化に追加されました。
2023年9月14日
改善:
新しいチャート ビジュアライゼーションで PNG をダウンロードするときに、ファイル名が保持されるようになりました。 「Databricks の新しいグラフの視覚化」を参照してください。
2023年9月7日
Databricks SQL バージョン 2023.40 が利用可能
ロールアウト スケジュール
2023.40 のプレビュー ロールアウト: 2023年9月5日から2023年9月11日まで
2023.40 の現在のロールアウト: 2023年9月18日から2023年9月25日まで
2023.40 の変更点:
タグが Unity Catalog で利用できるようになりました。
Databricks Runtime は、クエリの計画と呼び出しの間にファイルが変更された場合にエラーを返します。
Databricks ODBC/JDBC ドライバーのサポート。
時系列列のラベル付けを有効にします。
新しいビットマップ SQL 関数。
暗号化機能の改善。
Unity Catalog のサポート
REFRESH FOREIGN.
INSERT BY NAME
がサポートされるようになりました。マテリアライズド ビューを Delta Sharing と共有します。
ユーザーインターフェースの更新
改善:
新しいグラフが利用可能になり、レンダリングパフォーマンスの向上、美しい色、インタラクティブ性の向上が特徴となっています。 「Databricks の新しいグラフの視覚化」を参照してください。
Query Profile のグラフビューで、クエリプランにジョインが含まれている任意のノードのジョインタイプを表示できるようになりました。
Data Explorer は、データ オブジェクトだけでなく、Unity Catalog 内のすべてのセキュリティ保護可能なオブジェクトを操作できるという事実を認識するために、Catalog Explorer に名前が変更されました。 「カタログエクスプローラとは」を参照してください。
2023年8月31日
新機能:
Unity Catalog のタグ付けはパブリック プレビュー段階です。 タグを使用すると、データ資産の検索と検出を簡略化できます。 「 Unity Catalog のセキュリティ保護可能なオブジェクトにタグを適用する」を参照してください。
2023年8月24日
改善:
オートコンプリートは、スペースバーを押すと推奨項目の提案を停止します。
スキーマ ブラウザーでは、Delta Live Tables
live
壊れたテーブルとして認識されなくなりました。
2023年8月10日
改善:
オートコンプリートで、Unity Catalog タグを設定するための新しい構文がサポートされるようになりました。 コマンドに関する情報については、 SQL language referenceを参照してください。
2023年8月3日
改善:
基盤となる Monaco Editor は、バージョン 37.1 を使用するようになりました。
SHOW ARCHIVED FILES FOR
Delta コマンドのオートコンプリートのサポート。
2023年7月27日
改善:
SQL エディタが Windows の改行文字と互換性を持つようになったため、クエリの書式設定がすべてのケースで期待どおりに機能するようになりました。
クエリ プロファイル ナビゲーションは、ノートブックの結果から開くことができます。 クエリの場合は、 SQLウェアハウスを使用してクエリを実行します。
2023年7月20日
Databricks SQL バージョン 2023.35 が利用可能に
ロールアウト スケジュール
2023.35 のプレビュー ロールアウト: 2023年7月18日から2023年7月24日まで
2023.35 の現在のロールアウト: 2023年7月31日から2023年8月8日まで
2023.35の変更点:
Unity Catalog年にシャロークローンを使用した
VACUUM
の信頼性が向上しました。SQL での Python UDF のサポート。
Delta Lake UniForm for Iceberg はパブリック プレビュー段階です。
Delta Lake リキッドクラスタリングはパブリック プレビュー段階です。
Delta Lake のアーカイブ サポート。
IDENTIFIER 句のサポート。
Unity Catalog での Python と Pandas のユーザー定義関数 (UDF) のサポート。
改善:
Catalog Explorer でのテーブルの人気度は、すべての Unity Catalog ユーザーが利用できます。
2023年7月13日
改善:
Unity Catalog ユーザーは、カタログエクスプローラーで、頻繁に結合されるテーブル、特定のテーブルの頻繁なユーザー、頻繁に使用されるノートブックやダッシュボードなど、追加のテーブル知見を表示できるようになりました。
2023年6月15日
新機能:
ジョブの SQL タスクが一般公開されました。 クエリ、ダッシュボード、アラートは、ジョブ ページから調整できます。 ジョブの SQL タスクを参照してください。
新しいスキーマ ブラウザーがパブリック プレビュー段階にあり、更新された UX、 For You タブ、改善されたフィルターが特徴です。 スキーマ ブラウザーは、Databricks SQL、カタログ エクスプローラー、ノートブックで使用できます。 「データの参照」を参照してください。
2023年6月8日
DBSQL バージョン 2023.30 が利用可能に
2023.30の変更点
新しい SQL 組み込み関数 (
array_prepend(array, elem)
、try_aes_decrypt(expr, key [, mode [, padding]])
、sql_keywords()
など)シャロークローンを使用して、既存のUnity Catalogマネージドテーブルから新しいUnity Catalogマネージドテーブルを作成できるようになりました。Unity Catalogテーブルについては、シャロークローンを参照してください。
CLONE
とCONVERT TO DELTA
は、タイプint
、long
、string
の切り捨てられた列にパーティションが定義されている Iceberg テーブルで使用できるようになりました。decimal
型の切り捨てられた列はサポートされていません。START VERSION
はALTER SHARE
で非推奨になりました。
2023年6月1日
改善:
バイナリ データは、Arrow 形式を使用すると 16 進文字列としてレンダリングされるようになりました。
SQL ステートメント API で、
EXTERNAL_LINKS
ディスポジションで CSV 形式がサポートされるようになりました。 これにより、クライアントは最大 100 GiB のデータを CSV 形式で事前に署名された URL で抽出できますが、JSON のINLINE
制限は 16 MiB です。
Databricks SQL Pro は、すべてのリージョンで利用できます。 SQL Pro が UI のデフォルト ウェアハウスになりました。 API デフォルトは Classic のままです。
2023年5月29日
新機能:
データの追加 UI を使用して、 Unity Catalog 外部ロケーションとして定義されているクラウドオブジェクトストレージ パスからデータを読み込むことができるようになりました。 詳細については、「 Unity Catalog 外部ロケーションを使用したデータのロード」を参照してください。
2023年5月25日
改善:
オートコンプリートの結果パネルを切り替えられるようになりました。
Enter キーを無効にして、オートコンプリートの候補を受け入れないようにします。[DBSQL ユーザー設定] で、[エディター設定]、[新しいエディター設定] の順にクリックします。オフにする *Enter キーはオートコンプリートの提案を受け入れます*。
修正:
ソートされたテーブルヘッダーに色が付けられました。
グラフの線が正しくレンダリングされるようになりました。
2023年5月18日
改善:
SQL ステートメント API では、
EXTERNAL_LINKS
配置でJSON_ARRAY
形式がサポートされるようになりました。 最大 100 GiB のデータを、事前に署名された URL を使用して JSON 形式で抽出できます。 JSON のINLINE
制限は 16 MiB です。
2023年5月11日
新機能:
スキーマブラウザがカタログエクスプローラで一般公開されました。
改善:
ホバー上に表示されるテーブルの詳細パネルの表示は、感度が低くなります。
エスケープ キーでオートコンプリート パネルが閉じるようになりました。
ビュー定義の [カタログ エクスプローラ] 詳細タブで構文が強調表示されるようになりました。
修正:
ピボットテーブルが Windows デバイスで正しくレンダリングされるようになりました。
補完候補は、最初のキーワードの場合に適切に追従するようになりました。
2023年5月4日
Databricks SQL バージョン 2023.26 が利用可能に
ロールアウトスケジュール
2023.26 のプレビュー ロールアウト: 2023年4月19日から2023年4月25日まで
2023.26 の現在のロールアウト: 2023年5月3日から2023年5月10日まで
2023.26の変更点
Photonは、クエリの計画と実行の間にファイルが変更された場合、エラーを返します。
新機能と予測 I/O 機能の拡張サポート。 「Databricks Runtime 13.0 (EoS)」を参照してください。
Databricks コネクタを使用して、別の Databricks ワークスペースに接続します。
CREATE TABLE LIKE
Deltaテーブルの機能。ファイルブロックの開始と長さを示す新しいメタデータ列フィールド。
新しい H3 地理空間関数。 H3 地理空間関数を参照してください。
新しい SQL 組み込み関数。 「Databricks Runtime 13.0 (EoS)」を参照してください。
ユーザーインターフェースの更新
改善:
管理者は、ユーザーインターフェースまたはAPIを使用してウェアハウスの所有者を変更できます。 「SQLウェアハウスの管理」を参照してください。
Catalog Explorer は、 Unity Catalogのアセットのユーザーリストにアカウント サービスプリンシパルを表示するようになりました。 たとえば、アカウント サービスプリンシパルは、Catalog Explorer で権限を編集したり、所有者を変更したりするときに表示されます。
カスタムグラフラベルは、データセット内の任意の列を参照する機能をサポートしています。
ダッシュボード フィルターは、カタログ情報やスキーマ情報がないクエリを使用している場合でも、列名を読み込むようになりました。
2023年4月27日
改善:
SQL エディターは、より信頼性の高い編集エクスペリエンスのために Monaco エディターに依存するようになりました。
SQL 履歴リスト ページ (クエリ) に Dubois Design System が含まれるようになりました。
2023年4月20日
改善:
64kを超える結果を集計できる新しいピボットテーブルが導入されました。
Databricks SQL テーブルと視覚化で、BigInt、38bit Decimals、および UTF-8 以外の文字がサポートされるようになりました。 数値の場合、デフォルト設定はユーザー定義の数字精度になりました。
Unity CatalogUnity Catalogオートコンプリートは、Databricks Runtime 12.0 以降の リネージデータを利用して、 テーブルの過去の頻繁な結合を提案するようになりました。
2023年4月13日
新機能:
TIMESTAMP_NTZ
型は、年、月、日、時、分、秒の各フィールドで構成される値を表します。すべての操作は、タイム ゾーンに関係なく実行されます。 TIMESTAMP_NTZタイプを参照してください。
改善:
ユーザーは、カスタム アラート メッセージで
QUERY_RESULT_TABLE
タグを使用して、書式設定された結果をアラート内で送信できるようになりました。ユーザーは、Catalog Explorer で Unity Catalog テーブルのファイルデータサイズを表示できるようになりました。
2023年4月6日
Databricks SQL バージョン 2023.20 が利用可能に
ロールアウトスケジュール
2023.20 のプレビュー ロールアウト: 2023年3月15日から2023年3月23日まで
2023.20 の現在のロールアウト: 2023年3月27日から2023年4月3日まで
2023.20の変更点
Delta Lake スキーマ進化では、マージ ステートメントでのソース列の指定がサポートされています。
array_compactを使用して配列からすべての NULL 要素を削除します。
配列に要素を追加するには、 array_append を使用します。
機密性の高い文字列値を匿名化するには、 mask 関数を使用します。
一般的なエラー条件が SQLSTATE を返すようになりました。
テーブル値ジェネレータ関数は、クエリの通常の
FROM
句で呼び出します。from_protobuf
関数とto_protobuf
関数を使用して、バイナリ型と構造体型の間でデータを交換します。プロトコル・バッファーの読み取りと書き込みを参照してください。update
、delete
、およびmerge
コマンドに関連する空のトランザクションの Delta コミット動作の一貫性が向上しました。行動変容
横列エイリアス機能では、名前解決時の動作変更が導入されます。 動作の変更を参照してください。
2023年4月3日
新機能:
[ファイルのアップロードからテーブルを作成または変更する] ページで、JSON ファイルのアップロードがサポートされるようになりました。詳細については、「 ファイルのアップロードを使用してテーブルを作成または変更する」を参照してください。
2023年3月30日
改善:
ウェアハウス モニタリング ページで、選択した時間範囲のクエリ履歴をスケーリング チャートとともに表示できるようになりました。 また、現在実行中のクエリとキューに入れられたクエリ、アクティブな SQL セッション、ウェアハウスのステータス、および現在のクラスタリング数を表示することもできます。 「SQLウェアハウスの監視」を参照してください。
マップクラスターは、マーカーマップのデフォルトでオフになりました。
ビジュアライゼーションの制限捨てとレンダリング制限のためのツールチップが追加されました。
修正:
軸の値の並べ替えが無効になっており、グラフにグループ化列がある場合、グラフは元の順序を尊重するようになりました。
2023年3月23日
改善:
ビジュアライゼーションで、週ごとのタイムビニングがサポートされるようになりました。
Total
100 X 100 セルを超えるすべてのデータが最大 64K のノートブック ピボット テーブルで計算されるようになりました。ユーザーは、新しいノートブックのピボット テーブルでセル値を書式設定できるようになりました。
ファイル、クエリ、および機能ストアのリネージが利用可能です。
2023年3月9日
新機能:
Databricks SQL ステートメント実行 API がパブリック プレビューで利用できるようになりました。 ステートメントの実行は、Databricks SQL ウェアハウスで SQL ステートメントを実行しているエンドポイントを提供します。 また、ステータスの確認、結果のフェッチ、実行中の SQL ステートメントのキャンセルも行えます。
改善:
SQL 管理コンソールは、一般的な 管理設定 と組み合わされて、管理者ユーザーの統一されたエクスペリエンスが実現しました。 すべての SQL 管理設定に管理コンソールからアクセスできるようになりました。
アラート通知先は、通知先と呼ばれるようになりました。
修正:
テーブルに 2 つのスクロールバーが表示されなくなりました。
空白のウィジェットタイトルがダッシュボードで上書きされなくなりました。
2023年2月23日
改善:
TINYINT
ノートブックの結果テーブルでサポートされるようになりました。
修理する:
ダッシュボード作成フィルターモーダルでスクロールするとエラーが発生するバグを修正しました。
2023年2月16日
改善:
グラフのデータラベルには、説明の切り捨てを避けるために、より多くの文字が表示されるようになりました。
オートコンプリートで
range()
と Python の UDFcreate
関数が認識されるようになりました。オートコンプリートにより、小数やコードコメント内でのスニペットの開始が回避されるようになりました。
修正:
ユーザーはマップを拡大できるようになりました。
ノートブックで、色がグラフに正しく割り当てられるようになりました。
2023年2月2日
改善:
エディターでの
DESCRIBE DETAILS
のサポート。スキーマブラウザーの読み込み速度が向上しました。
使用可能な列のリストを
SELECT *
のサイドパネルに表示できるようになりました。
2023年1月19日
改善:
新機能 パネルを見つけて 、主要な機能強化を強調表示できるようになりました。 このパネルを開いたり閉じたりするには、ギフトアイコンをクリックします。
管理者は、 SQLウェアハウスの所有権を変更できるようになりました。
ダッシュボード内の複数のビジュアリゼーションをフィルタリングするには、[>フィルターの追加] をクリックし、フィルタリングするクエリと列を選択します。
2023年1月12日
改善:
ダッシュボード上の視覚化ウィジェットのタイトルは、デフォルトで Visualization name - Query name として書式設定されるようになりました。
H3 Geospatial 関数をインライン パネル参照に追加しました。
CREATE TABLE
やOVER
などの SQL 構文のインライン参照を追加しました。
修正:
ソートとリバーストグルは、X軸スケールが自動に設定されている場合に利用可能になりました。
ヒートマップとピボットテーブルが、特定のエッジケースで応答するようになりました。
カテゴリ Y 軸の目盛マークがデフォルトでソートされるようになりました。
クエリの下書きが、ブラウザーの更新後に失われることがなくなりました。