Data Platform Consultant

Descrição da vaga

Candidate-se rapidamente pelo email: [email protected]
Nível: Sênior
Cursos de: ANÁLISE E DESENVOLVIMENTO DE SISTEMAS
Escolaridade: Graduação - ANÁLISE E DESENVOLVIMENTO DE SISTEMAS - Completo
Tipo de contrato: PJ
Jornada de trabalho: 168 horas mensais
Disponibilidade para home-office

Responsabilidades da posição:
Buscamos uma pessoa Data Platform Consultant para ajudar a evoluir nossa plataforma de dados e, principalmente, acelerar a capacidade dos times e domínios de negócio de construir e disponibilizar produtos de dados de forma autônoma, segura e escalável. Essa posição terá um papel importante na construção de uma plataforma cada vez mais self-service, governada e orientada a produtos de dados, atuando como referência técnica e conectando arquitetura, engenharia, governança e necessidades dos diferentes times da companhia.

Responsabilidades

Evoluir a arquitetura da plataforma de dados, garantindo escalabilidade, segurança, performance e eficiência de custos;

Apoiar os times na definição e implementação de arquiteturas para novos domínios e produtos de dados;

Atuar como referência técnica e consultiva para Data Engineers, Analytics Engineers, Data Scientists e times de Analytics;

Criar padrões, frameworks, templates e aceleradores que reduzam o tempo necessário para desenvolver e colocar novos produtos de dados em produção;

Estruturar e evoluir padrões para ingestão, processamento, transformação, armazenamento e disponibilização de dados;

Apoiar a evolução da arquitetura Lakehouse e das diferentes camadas da plataforma;

Desenvolver boas práticas de DataOps, versionamento, testes, CI/CD e automação de deploy;

Apoiar estratégias de observabilidade, monitoramento, qualidade e confiabilidade dos pipelines e produtos de dados;

Implementar e evoluir padrões de segurança, controle de acesso, catálogo, metadados e linhagem de dados;

Identificar oportunidades de otimização de processamento, armazenamento e custos da plataforma;

Avaliar novas tecnologias, arquiteturas e serviços de dados através de estudos e provas de conceito;

Produzir documentação técnica e promover compartilhamento de conhecimento e capacitação dos times;

Trabalhar junto aos times de Plataforma, Engenharia, Governança e áreas de negócio para acelerar a adoção de uma arquitetura orientada a Data Products e domínios de dados.

Requisitos obrigatórios para a posição:
Experiência sólida com arquitetura e engenharia de plataformas de dados em cloud;

Experiência com Azure e Databricks em ambientes corporativos;

Conhecimentos de Spark/PySpark, SQL e Python;

Experiência com arquiteturas Data Lake, Lakehouse e Delta Lake;

Conhecimento de pipelines de ingestão, transformação e orquestração de dados;

Experiência com práticas de CI/CD, Git e automação de ambientes de dados;

Conhecimento de segurança, governança, observabilidade e Data Quality;

Capacidade de analisar requisitos e propor soluções arquiteturais escaláveis;

Capacidade de atuar de maneira consultiva, influenciando decisões técnicas e apoiando diferentes times;

Boa comunicação e capacidade de traduzir temas técnicos complexos para diferentes públicos.