Tech Lead - Data Platform

Candidate-se rapidamente pelo email: vaga-399404@vagas.abler.in

Requisitos e qualificações

• Liderar tecnicamente o time de Engenharia de Dados, promovendo boas práticas e apoiando o desenvolvimento da equipe;

• Definir e evoluir a arquitetura da plataforma de dados, garantindo escalabilidade, performance, segurança, governança e eficiência de custos;

• Projetar, revisar e orientar a implementação de pipelines de dados (ETL/ELT, batch e streaming), assegurando qualidade, disponibilidade e confiabilidade das informações;

• Definir padrões de desenvolvimento, arquitetura, modelagem de dados e integração entre sistemas;

• Desenvolver e evoluir soluções para ingestão e processamento de dados provenientes de APIs, bancos relacionais, sistemas legados e serviços em cloud;

• Evoluir Data Lakes, Data Warehouses e Data Marts para suportar Analytics, Inteligência Artificial e aplicações de negócio;

• Implementar estratégias de observabilidade, monitoramento e alertas para pipelines, aplicações e infraestrutura de dados;

• Garantir a adoção de boas práticas de engenharia, incluindo versionamento, testes automatizados, CI/CD e Infraestrutura como Código (IaC);

• Conduzir code reviews e design reviews, elevando continuamente a qualidade técnica das entregas;

• Trabalhar em conjunto com Produto, Engenharia de Software e áreas de negócio na definição e priorização de soluções;

• Apoiar decisões estratégicas da plataforma, identificando oportunidades de melhoria contínua em arquitetura, performance, custos e escalabilidade.

Desejável:

- Experiência sólida em Engenharia de Dados, atuando como Tech Lead ou referência técnica de equipes;

- Domínio de Python para desenvolvimento de aplicações e pipelines de dados;

- Experiência prática com Google Cloud Platform (GCP);

- Conhecimento sólido em BigQuery, Cloud Storage, Pub/Sub, Cloud Run e Dataproc;

- Experiência com arquitetura de Data Lake, Data Warehouse e Data Marts;

- Conhecimento avançado em bancos de dados SQL e NoSQL;

- Experiência com arquiteturas distribuídas, microsserviços e arquiteturas orientadas a eventos;

- Vivência com CI/CD, Git e Infraestrutura como Código (Terraform ou similar);

- Experiência com monitoramento, observabilidade e troubleshooting de pipelines de dados;

- Capacidade de conduzir discussões técnicas, definir padrões de engenharia e apoiar a evolução técnica da equipe.

Responsabilidades e atribuições:

- Experiência com Apache Spark (PySpark);

- Experiência com Apache Airflow ou orquestradores de workflows;

- Vivência com processamento de dados em tempo real (streaming);

- Experiência em ambientes de alta volumetria de dados;

- Conhecimento em arquiteturas Lakehouse;

- Experiência com plataformas de Inteligência Artificial e Machine Learning;

- Vivência com otimização de custos em ambientes cloud (FinOps).

Nossa Stack

- Python

- Google Cloud Platform (GCP)

- BigQuery

- Dataproc (PySpark)

- Cloud Run

- Pub/Sub

- Cloud Storage

- GitHub / Bitbucket

- Arquiteturas orientadas a eventos

Jornada de trabalho: Segunda a Sexta-feira
Conhecimentos:
Escolaridade: Graduação - Especialização em Especialização em Computação Forense. (Carga Horária: 360h)., Administração, Administração, Administração de Empresas, Administração de Empresas , Bacharelado , Bachelor's Degree in Internet Systems Engineering, Tecnologia da Informação, Tecnologia da Informação - Completo