Descrição da vaga
.Responsabilidades e atribuiçõesDesenvolvimento de uma plataforma de Crédito Comercial e de Agronegócio;Elaborar modelagem funcional e de dados levando em consideração as necessidades de negócio;Construção e manutenção de pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento;Ingestão, transformação e disponibilização de dados com qualidade e performance;Requisitos e qualificaçõesExperiência com Apache Spark para processamento distribuído de dados;Experiência com Apache Airflow para orquestração de pipelines de dados;Conhecimento em Apache Kafka para processamento e integração de dados em tempo real;Experiência com dbt (Data Build Tool) para transformação e modelagem de dados;Vivência com bancos de dados SQL e NoSQL, como PostgreSQL, MongoDB e Cassandra;Experiência com plataformas de dados em nuvem, como Databricks, AWS Glue e BigQuery;Conhecimento em implementação e manutenção de arquiteturas Data Lake e Data Lakehouse;