Otimização de custos para o data lakehouse

Este artigo aborda os princípios arquiteturais do pilar de otimização de custos , visando possibilitar a gestão de custos de forma a maximizar o valor entregue. Dado um orçamento, a eficiência de custos é impulsionada pelos objetivos de negócios e pelo retorno do investimento. Os princípios de otimização de custos podem ajudar a atingir os objetivos de negócios e a justificativa de custos.

Diagrama de arquitetura de lakehouse de otimização de custos para Databricks.

Princípios de otimização de custos

  1. Escolha o recurso ideal

    Escolha os recursos certos que se alinham com os objetivos de negócios e podem lidar com o desempenho da carga de trabalho. Ao integrar novas cargas de trabalho, explore as diferentes opções de implantação e escolha aquela com a melhor relação preço/desempenho.

  2. Alocar recurso dinamicamente

    Aloque e libere recursos dinamicamente para atender aos requisitos de desempenho. Identifique recursos não utilizados ou subutilizados e reconfigure, consolide ou desligue-os.

  3. Monitore e controle os custos

    O custo de suas cargas de trabalho depende da quantidade de recursos consumidos e das taxas cobradas por esses recursos. Para entender o custo dessas cargas de trabalho, monitore-as para cada recurso envolvido. Isso fornece uma linha de base para controlar o consumo e os custos.

    Além disso, o site lakehouse facilita a identificação do uso da carga de trabalho e dos custos com precisão. Isso permite a alocação transparente de custos para proprietários de cargas de trabalho individuais. Eles podem então medir o retorno sobre o investimento e otimizar seus recursos para reduzir os custos, se necessário.

  4. Projetar cargas de trabalho econômicas

    Uma das key vantagens da lakehouse é sua capacidade de escalar dinamicamente. Como ponto de partida, as métricas de uso e desempenho são analisadas para determinar o número inicial de instâncias. Com o dimensionamento automático, custos adicionais podem ser economizados escolhendo instâncias menores para uma carga de trabalho altamente variável ou expandindo em vez de aumentar para atingir o nível de desempenho necessário.

Próximo: Melhores práticas para otimização de custos

Consulte Melhores práticas para otimização de custos.