Funções de ordem superior

A Databricks fornece primitivas dedicadas à manipulação de matrizes no Apache Spark SQL; elas tornam o trabalho com matrizes muito mais fácil e conciso e eliminam as grandes quantidades de código padrão normalmente necessárias. As primitivas giram em torno de dois construtos de programação funcional: funções de ordem superior e funções anônimas (lambda). Eles trabalham juntos para permitir que o senhor defina funções que manipulam matrizes no SQL. Uma função de ordem superior recebe uma matriz, implementa como a matriz é processada e qual será o resultado da computação. Ele delega a uma função lambda o processamento de cada item da matriz.

Introdução às funções de ordem superior Notebook

Abra o bloco de anotações em outra guia Copiar link para importação

Funções de ordem superior tutorial Python Notebook

Abra o bloco de anotações em outra guia Copiar link para importação

Apache Spark funções integradas

Apache Spark tem funções integradas para manipular tipos complexos (por exemplo, tipos de matriz), incluindo funções de ordem superior.

O site Notebook a seguir ilustra as funções integradas do Apache Spark.

Notebook de funções integradas do Apache Spark

Abra o bloco de anotações em outra guia Copiar link para importação