Data Engineer Pleno

Descrição da vaga

Descrição

O time de engenharia de dados da EvcomX é responsável por construir e manter toda a infraestrutura que permite aos nossos cientistas de dados e clientes transformarem dados brutos em valor de negócio. Trabalhamos com arquitetura medallion em ambientes Databricks, processando grandes volumes de dados industriais e garantindo que pipelines críticas de produção operem com alta disponibilidade.

Nossos engenheiros de dados atuam próximos aos cientistas de dados, apoiando desde a experimentação até a operacionalização de modelos em produção, incluindo pipelines de inferência em near-real-time que impactam diretamente as operações dos nossos clientes.

Responsabilidades e atribuições

Desenvolver e manter pipelines de dados escaláveis utilizando Spark e Delta Lake,

Garantir a qualidade e disponibilidade dos dados para times de ciência de dados e para as aplicações,

Construir e operar pipelines de produção para inferência de modelos de ML,

Implementar estratégias de data quality e testes em pipelines de dados,

Colaborar na evolução da arquitetura de dados seguindo padrões como medalhão,

Otimizar performance das pipelines,

Arquiteturas de dados em larga escala para indústria,

Pipelines de produção para aplicações de machine learning,

Boas práticas de data quality e governança de dados,

Visão de negócio aplicada a problemas industriais reais.

Requisitos e qualificações

Experiência de 2 a 4 anos atuando com engenharia de dados,

Experiência sólida com Apache Spark (preferencialmente PySpark),

Familiaridade com arquiteturas de Data Lakehouse e formatos colunares (Delta, Parquet),

Experiência com controle de versão usando Git e boas práticas de programação e código limpo,

Capacidade de comunicar e discutir soluções técnicas com diferentes perfis.

Informações da vaga

Modalidade de trabalho: Remote