Databricks SQL リリースノート 2021

2021 年 1 月から 12 月にかけての Databricks SQL の機能強化と更新の概要を次に示します。

2021年12月15日

Databricks SQL は一般公開されています。これは、データ、 AI、 BI ワークロードを 1 か所に統合できる初のレイクハウスプラットフォームを提供する大きなマイルストーンとなります。 GA では、ミッションクリティカルなワークロードに対して、Databricks の最高レベルの安定性、サポート、エンタープライズ対応を期待できます。詳細については、 GA のお知らせのブログをご覧ください。
アラートは、クエリとは独立してスケジュールされるようになりました。新しいアラートを作成してクエリを作成すると、アラートのスケジュールも作成するように求められます。既存のアラートがある場合は、元のクエリからスケジュールが複製されています。この変更により、 所有者として実行クエリ と ビューアーとして実行 クエリの両方に対してアラートを設定することもできます。 所有者クエリとして実行 指定されたアラートスケジュールで、クエリ所有者の資格情報を使用して実行されます。 ビューアーがクエリを実行するとき 、アラート作成者の資格情報を使用して指定されたアラートスケジュールを実行します。「Databricks SQL アラートとは」を参照してください。と [クエリのスケジュール] をクリックします。
SQL エディターとダッシュボードの両方でパラメーターを並べ替えることができるようになりました。
ヒートマップのビジュアライゼーションを作成するためのドキュメントが拡張されました。「ヒートマップオプション」を参照してください。

2021年12月9日

テーブルビジュアライゼーションを作成するときに、列のフォントの色を静的な値または列のフィールドの値に基づく値の範囲に設定できるようになりました。リテラル値はしきい値と比較されます。例えば、値が 500000を超える結果を色付けするには、しきい値を > 500,000ではなく > 500000にします。「列の色を条件付きで書式設定する」を参照してください。
タブ付き SQL エディタのスキーマブラウザのアイコンで、テーブルとビューを区別できるようになりました。

2021年12月1日

SQL 構成パラメーターをワークスペース・レベルで適用できるようになりました。これらのパラメーターは、ワークスペース内のすべての既存および新規の SQLエンドポイントに自動的に適用されます。「SQL パラメーターの構成」を参照してください。

2021年11月18日

これで、サイドバーのショートカットを使用して SQL エディターを開くことができます。 SQL エディターを開くには、[ SQL エディター] をクリックします。
データサイエンス &エンジニアリングクラスタリングを作成する権限がある場合は、サイドバーの「作成SQL 」をクリックし、「エンドポイント」をクリックすることで、SQL エンドポイントを作成できるようになりました。
管理者は、UI を使用して、クエリ、ダッシュボード、またはアラートの所有権を別のユーザーに譲渡できるようになりました。見る：
クエリの所有権を譲渡する
従来のダッシュボードの所有権を移行する
アラートの所有権を譲渡する

2021年11月4日

マップ (コロプレス) ビジュアライゼーションのビジュアライゼーションで、凡例の色のグラデーションステップの最大数が 11 から 20 に増加しました。デフォルトは、 最小色 と 最大色を含む 5 つのグラデーションステップです。
タブ SQL エディターで、一括タブ管理がサポートされるようになりました。タブを右クリックすると、[ 他のユーザーを閉じる]、[ 左を閉じる]、[ 右を閉じる]、および [すべて閉じる] のオプションが表示されます。最初または最後のタブを右クリックしても、[ 左を閉じる] または[ 右を閉じる]のオプションが表示されないことに注意してください。

2021年10月28日

カタログエクスプローラでテーブルを表示する場合、テーブルの操作を簡略化するための 2 つのオプションがあります。
[ クエリの作成 ] をクリックして>すべての列を選択し、最初の 1000 行を返すクエリを作成します。
[クイックダッシュボードの作成] をクリックすると>、設定ページが開き、関心のある列を選択し、ダッシュボードと、それらの列を使用して基本情報を提供し、ダッシュボードレベルのパラメーターやその他の機能を紹介するサポートクエリを作成できます。

2021年10月19日

新しいキーボードショートカットがタブ付きエディターで使用できるようになりました。
新しいタブを開く:
- Windows： Cmd+Alt+T
- Macの場合: Cmd+Option+T
現在のタブを閉じる
- Windows： Cmd+Alt+W
- Macの場合: Cmd+Option+W
クエリーダイアログを開く
- Windows： Cmd+Alt+O
- Macの場合: Cmd+Option+O

2021年9月23日

ダッシュボードとすべてのアップストリームクエリに対する CAN RUN、CAN EDIT、および CAN MANAGE のアクセス許可がある限り、既存のダッシュボードを複製して新しいダッシュボードを作成できるようになりました。「レガシーダッシュボードのクローンを作成する」を参照してください。
複数の Y 軸列を持つビジュアライゼーションで GROUP BY を使用できるようになりました。散布図を参照してください。
{{ @@yPercent}} を使用して、正規化されていない積み上げ棒グラフのデータラベルを書式設定できるようになりました。棒グラフを参照してください。
SAML 認証を使用していて、SAML 認証情報が数分以内に期限切れになる場合、クエリを実行したりダッシュボードを更新したりする前に、事前に再度ログインするように求められます。これにより、クエリの実行中に有効期限が切れる資格情報による中断を防ぐことができます。

2021年9月20日

ダッシュボード、クエリ、アラートの所有権を、Permissions REST API を使用して移行できるようになりました。「クエリ ACL」を参照してください。

2021年9月16日

クエリ結果では、 BIGINT の結果が 9007199254740991 より大きい場合に文字列としてシリアル化されるようになりました。これにより、クエリ結果で BIGINT 結果が切り捨てられる可能性がある問題が修正されます。その他の整数の結果は、引き続き数値としてシリアル化されます。軸ラベルとツールヒントの数値の書式設定は、文字列としてシリアル化された BIGINT 結果には適用されません。 Databricks SQLのデータ型の詳細については、「BIGINT 型」を参照してください。

2021年9月7日

Databricks は、1 週間にわたって変更を展開しています。ワークスペースは、9 月 7 日以降までこれらの変更が有効になりません。

Databricks SQL は現在パブリックプレビュー段階にあり、新しいワークスペースのすべてのユーザーが利用できるようになりました。

注：

パブリックプレビュー期間中 (つまり、2021 年 9 月 7 日から始まる週より前) にワークスペースで Databricks SQL が有効になっていた場合、ユーザーはその日付より前に割り当てられた権利を保持します (それを変更しない限り)。つまり、パブリックプレビュー期間中に Databricks SQL へのアクセス権がなかったユーザーは、管理者からアクセス権を付与されない限り、現在はアクセスできません。

管理者は、 Databricks SQL アクセス 資格 (API のdatabricks-sql-access ) をユーザーまたはグループに割り当てることで、Databricks SQL にアクセスできるユーザーを管理できます。デフォルトでは、新しいユーザーにはこの権限があります。

管理者は、ユーザーまたはグループからDatabricks SQL Databricks Mosaic AIワークスペースアクセス資格 (workspace-access API内の) を削除することで、ユーザーまたはグループへのアクセスをのみに制限し、データサイエンス & エンジニアリングまたはにアクセスできないようにすることができます。デフォルトでは、新しいユーザーにはこの権限があります。

重要

Databricks にログインしてアクセスするには、 Databricks SQL アクセス または ワークスペースアクセス のエンタイトルメント (あるいはその両方) が必要です。

SQLスターターエンドポイントと呼ばれる小さなクラシックエンドポイントは、すべてのワークスペースで事前に構成されているため、ダッシュボード、視覚化、クエリの作成をすぐに開始できます。より複雑なワークロードを処理するには、サイズを簡単に増やす (レイテンシを減らすため) または基になるクラスタリングの数を増やす (より多くの並列ユーザーを処理するため) ことができます。コストを管理するために、スターターエンドポイントは 120 分間アイドル状態になると終了するように構成されています。

2021年9月2日

ダッシュボードに対する CAN EDIT 権限を持つユーザーは、ダッシュボードの更新スケジュールとサブスクリプションリストを管理できるようになりました。以前は、CAN MANAGE 権限が必要でした。詳細については、「ダッシュボードを自動的に更新する」を参照してください。

デフォルトでは、ビジュアライゼーションは返された結果の数に基づいて動的にサイズ変更されなくなりましたが、結果の数に関係なく同じ高さが維持されます。以前の動作に戻り、ビジュアリゼーションのサイズを動的に変更するように構成するには、ダッシュボードのビジュアリゼーションの設定で [パネルの高さを動的にサイズ変更 ] を有効にします。詳細については、「テーブルオプション」を参照してください。
同じアカウント内の複数のワークスペースにアクセスできる場合は、 Databricks SQL内からワークスペースを切り替えることができます。 Databricks ワークスペースの左下隅にある [ ] をクリックし、ワークスペースを選択して切り替えます。

2021年7月1日

新しいカタログエクスプローラーでは、データベースとテーブルに対するパーミッションを簡単に表示および管理できます。ユーザーは、スキーマの詳細を表示したり、サンプルデータをプレビューしたり、テーブルの詳細とプロパティを表示したりできます。管理者はデータ・オブジェクトの所有者を表示および変更でき、データ・オブジェクトの所有者は権限の付与および取り消しを行うことができます。詳細については、「カタログエクスプローラとは」を参照してください。
水平グラフの Y 軸が更新され、テーブルと同じ順序が反映されるようになりました。以前に逆順を選択した場合は、[Y 軸] タブの [逆順 ] トグルを使用して、新しい順序を逆にすることができます。

2021年6月23日

2021年6月17日

Photon, Databricks' 新しいベクトル化された実行エンジンは、新しく作成された SQLエンドポイント (UI と REST APIの両方) のデフォルトによってオンになりました。Photonは透過的にスピードアップします
- Parquet テーブルと Delta テーブルに書き込みます。
- 多くの SQL クエリ。制限事項を参照してください。
CREATE GROUP、DROP GROUP、ALTER GROUP、SHOW GROUPS、および SHOW USERS コマンドを使用して、ユーザーとグループを簡単に管理できます。詳細については、「セキュリティ関連のステートメント」および「表示関連のステートメント」を参照してください。
クエリエディタのスキーマブラウザは、100 を超えるテーブルを持つスキーマでより迅速で高速です。このようなスキーマでは、スキーマブラウザーはすべての列を自動的にロードしません。テーブルのリストは通常どおり表示されますが、列はテーブルをクリックしたときにのみ読み込まれます。この変更は、候補を表示するためにこの情報に依存するため、クエリエディターのクエリオートコンプリートに影響します。テーブルを展開してその列を読み込むまで、これらの提案は使用できません。

2021年6月03日

新しく有効になった Databricks ワークスペースの管理者は、デフォルトで Databricks SQL エンタイトルメントを受け取るようになり、管理コンソールを使用して自分自身に Databricks SQL アクセスエンタイトルメントを付与する必要がなくなりました。
Photon は現在パブリックプレビュー段階にあり、新しい SQLエンドポイントに対してデフォルトで有効になっています。
マルチクラスタリングの負荷分散がパブリックプレビューになりました。
ダッシュボードやクエリでのコラボレーションを、CAN EDIT 権限を使用して組織の他のメンバーと有効にできるようになりました。アクセス制御リストを参照してください。

2021年5月26日

SQL アナリティクスは Databricks SQLに名前が変更されました。この変更により、顧客に対して次のような影響が及びます。
- Web UI の参照が更新されました。
- Databricks SQL へのアクセス権を付与する権限の名前が変更されました。
  - UI: Databricks SQLアクセス(以前はアナリティクスアクセスSQL)
  - SCIM API: databricks-sql-access (以前の sql-analytics-access)
  以前の資格を持つユーザー、グループ、サービスプリンシパルは、新しい資格に移行されました。
- Databricks SQL に関連する監査ログイベントのタグが変更されました。
  - Databricks SQL イベントのプレフィックスが databrickssqlになりました。
  - changeSqlAnalyticsAcl が changeDatabricksSqlAclになりました。
ダッシュボードの更新

2021年5月13日

Databricks SQL は、列の型を推測しようとしなくなりました。以前は、 xxxx-yy-dd 形式の列は、識別コードであっても自動的に日付として扱われていました。これで、その列は自動的に日付として扱われなくなりました。必要に応じて、クエリでこれを指定する必要があります。この変更により、以前の動作に依存していた一部の視覚化が機能しなくなる可能性があります。このリリースでは、[ 設定] > [ 下位互換性] オプション >変更して、以前の動作に戻すことができます。今後のリリースでは、この機能を削除する予定です。
クエリエディタにクエリ進行状況インジケータが追加されました。状態の変更が、継続的に更新される進行状況バーに表示されるようになりました。