Google
Cloud Platform
Amazon Web Services
Microsoft AzureTransformar tipos de dados complexos
Ao trabalhar com tipos de dados aninhados, o Databricks otimiza certas transformações prontas para uso. Os exemplos de código a seguir demonstram padrões para trabalhar com tipos de dados complexos e aninhados na Databricks.
Notação de ponto para acessar dados aninhados
O senhor pode usar a notação de ponto (.) para acessar um campo aninhado.
df.select("column_name.nested_field")
SELECT column_name.nested_field FROM table_name
Selecionar todos os campos aninhados
Use o operador estrela (*) para selecionar todos os campos dentro de um determinado campo.
Observação
Isso só descompacta os campos aninhados na profundidade especificada.
df.select("column_name.*")
SELECT column_name.* FROM table_name
Criar um novo campo aninhado
Use a função struct() para criar um novo campo aninhado.
from pyspark.sql.functions import struct, col
df.select(struct(col("field_to_nest").alias("nested_field")).alias("column_name"))
SELECT struct(field_to_nest AS nested_field) AS column_name FROM table_name
Agrupar todos os campos em uma coluna
Use o operador estrela (*) para agrupar todos os campos de uma fonte de dados em uma única coluna.
from pyspark.sql.functions import struct
df.select(struct("*").alias("column_name"))
SELECT struct(*) AS column_name FROM table_name
Selecionar um campo nomeado em uma coluna aninhada
Use colchetes [] para selecionar campos aninhados de uma coluna.
from pyspark.sql.functions import col
df.select(col("column_name")["field_name"])
SELECT column_name["field_name"] FROM table_name
Explodir elementos aninhados de um mapa ou matriz
Use a função explode() para descompactar valores das colunas do tipo ARRAY e MAP.
ARRAY armazenam valores como uma lista. Quando descompactado com explode(), cada valor se torna uma linha na saída.
from pyspark.sql.functions import explode
df.select(explode("array_name").alias("column_name"))
SELECT explode(array_name) AS column_name FROM table_name
MAP As colunas armazenam valores como par ordenado key-value. Quando descompactado com explode(), cada key se torna uma coluna e os valores se tornam linhas.
from pyspark.sql.functions import explode
df.select(explode("map_name").alias("column1_name", "column2_name"))
SELECT explode(map_name) AS (column1_name, column2_name) FROM table_name
Criar uma matriz a partir de uma lista ou conjunto
Use as funções collect_list() ou collect_set() para transformar os valores de uma coluna em uma matriz. collect_list() coleta todos os valores da coluna, enquanto collect_set() coleta apenas os valores exclusivos.
Observação
O Spark não garante a ordem dos itens no array resultante de nenhuma das operações.
from pyspark.sql.functions import collect_list, collect_set
df.select(collect_list("column_name").alias("array_name"))
df.select(collect_set("column_name").alias("set_name"))
SELECT collect_list(column_name) AS array_name FROM table_name;
SELECT collect_set(column_name) AS set_name FROM table_name;
Selecionar uma coluna de um mapa em uma matriz
O senhor também pode usar a notação de ponto (.) para acessar campos em mapas que estão contidos em uma matriz. Isso retorna uma matriz de todos os valores do campo especificado.
Considere a seguinte estrutura de dados:
{
"column_name": [
{"field1": 1, "field2":"a"},
{"field1": 2, "field2":"b"}
]
}
O senhor pode retornar os valores de field1 como uma matriz com a seguinte consulta:
df.select("column_name.field1")
SELECT column_name.field1 FROM table_name
Transformar dados aninhados em JSON
Use a função to_json para converter um tipo de dados complexo em JSON.
from pyspark.sql.functions import to_json
df.select(to_json("column_name").alias("json_name"))
SELECT to_json(column_name) AS json_name FROM table_name
Para codificar todo o conteúdo de uma consulta ou DataFrame, combine isso com struct(*).
from pyspark.sql.functions import to_json, struct
df.select(to_json(struct("*")).alias("json_name"))
SELECT to_json(struct(*)) AS json_name FROM table_name
Observação
A Databricks também oferece suporte a to_avro e to_protobuf para transformar tipos de dados complexos para interoperabilidade com sistemas integrados.
Transformar dados JSON em dados complexos
Use a função from_json para converter dados JSON em tipos de dados complexos nativos.
Observação
O senhor deve especificar o esquema para os dados JSON.
from pyspark.sql.functions import from_json
schema = "column1 STRING, column2 DOUBLE"
df.select(from_json("json_name", schema).alias("column_name"))
SELECT from_json(json_name, "column1 STRING, column2 DOUBLE") AS column_name FROM table_name