Identificando uma leitura cara no DAG do Spark
Como chegar ao DAG
Supondo que o senhor esteja olhando para um site caro Job, primeiro precisamos do ID do estágio que está fazendo a leitura. Aqui podemos ver que o ID do estágio é 194:
Agora precisamos acessar o SQL DAG. Role a tela até a parte superior da pági na Job e clique em Associated SQL Query (Consulta associada):
Agora o senhor deve ver o DAG. Caso contrário, role a tela um pouco e o senhor a verá:
Em alguns casos, o senhor pode seguir o DAG e ver de onde os dados estão vindo. Em outros casos, procure a ID do estágio que o senhor anotou:
Em seguida, o senhor precisa procurar o nó "Scan". Nesse caso, é muito simples dizer que estamos lendo uma tabela chamada transactions
:
Em alguns casos, talvez seja necessário clicar ou passar o mouse sobre o nó para obter a localização dos dados que o senhor está lendo.