Descrição:
Sólida experiência prévia com engenharia de dados;
Superior em Ciência da Computação, Engenharias, Sistemas de Informação ou áreas correlatas.
Experiência com análise e desenvolvimento de sistemas, definições de arquitetura e orientação a objetos.
Experiência com construção de serviços de integração de dados em qualquer camada (captura, ingestão, armazenamento, processamento e delivery).
Experiência comprovada na plataforma Databricks.
Desenvolvimento de pipelines com SQL, Spark (Python/Scala) e Delta Lake (merge, vacuum, time travel).
Otimização de workloads (performance tuning, cluster configuration, custo-eficiência).
Uso de ferramentas como Unity Catalog (governança) e Databricks Workflows (orquestração).
Experiência em SQL analítico para transformação de dados (CTEs, window functions, otimização de queries).
Arquitetura de pipelines ETL/ELT modernos (incremental loads, SCDs, streaming).
Práticas de DevOps/DataOps: CI/CD, IaC (Terraform, ARM Templates), e versionamento (Git).
Arquitetura e Mapeamento/Modelagem de dados;
Conhecimento em Power BI para integração com Databricks (conexão direta, import/export de dados, segurança).
Vivência com Azure Data Factory (ou similares como SSIS ) para ingestão e orquestração de dados.
Ciência de dados (diferencial);
Microsoft Fabric;
Conhecimento em Linux, Shell Script, YAML e Terraform.
Construir uma plataforma de dados resiliente que abranja todos os quesitos de qualidade de dados. A garantia desta qualidade deve ser aplicada desde a coleta dos dados de sistemas, fornecedores e clientes até processamento e disponibilização na camada curada para uso em análises e sustentação de modelos matemáticos.
Manter e desenvolver funcionalidades da plataforma de dados.
Auxiliar na análise e definição de implementação de novas tecnologias.
Auxiliar na definição da arquitetura dos serviços mantidos pela equipe.
Atuar em equipes de desenvolvimento que utilizam métodos ágeis.
Avaliar novas tecnologias e frameworks de mercado para melhoria contínua de produtos e processos, realizando provas de conceito.
Auxílio em definições de políticas de governança.
Estabelecer os stakeholders todos os processos e contratos de modelagem de dados e governança.