Arquivos de texto

Você pode processar arquivos com a opção de formato text para analisar cada linha em qualquer arquivo baseado em texto como uma linha em um DataFrame. Isso pode ser útil para diversas operações, incluindo análise logs . Também pode ser útil se você precisar ingerir dados CSV ou JSON como strings brutas.

Para mais informações, consulte arquivos de texto.

Opções

Consulte os seguintes artigos de referência do Apache Spark para obter as opções de leitura e gravação com suporte.