Engenheiro de Dados

O que faz um engenheiro de dados?

Com o aumento da quantidade de dados dispon√≠veis e a demanda por cientistas de dados para analis√°-los, a profiss√£o de engenheiro de dados se consolida, tornando-se essencial para as organiza√ß√Ķes.

Por ser uma profiss√£o relativamente nova, a engenharia de dados √© composta por uma s√©rie de conhecimentos dif√≠ceis de se encontrar em um √ļnico profissional. Estas habilidades est√£o diretamente relacionadas ao desenvolvimento e arquitetura de software, al√©m de s√≥lidos conhecimentos em bancos de dados, DevOps e infraestrutura de TI.

De acordo com a defini√ß√£o do DataCamp, um engenheiro de dados desenvolve, constr√≥i, testa e mant√©m arquiteturas, como bancos de dados e sistemas de processamento em larga escala. Ele trabalha em conjunto com o cientista de dados para prover insights para embasar as decis√Ķes empresariais.

Neste artigo explicaremos tudo sobre a profiss√£o de engenheiro de dados. Continue acompanhando!

 

Atribui√ß√Ķes de um Engenheiro de Dados

Diante da exig√™ncia de mercado de tratar grandes volumes de dados, surge a necessidade de organiz√°-los em sua origem e, dessa forma, poupar recursos com solu√ß√Ķes complexas.

Um data engineer possui o compromisso de garantir que os dados da empresa estejam disponíveis para análise, de forma consistente e segura. Ele é responsável por coletar, transformar, armazenar e disponibilizar os dados.

De acordo com Nathan Marz, criador do Apache Storm, ‚Äúo engenheiro de dados √© um tipo especializado de engenheiro de software que possibilita outros a responderem quest√Ķes sobre grandes datasets com restri√ß√Ķes espec√≠ficas de lat√™ncia e tempo.‚ÄĚ Trecho retirado do DataHackers.

Entre suas fun√ß√Ķes est√° a constru√ß√£o de reservat√≥rios de dados, conhecidos como data warehouses e data lakes. Embora seu trabalho n√£o tenha tanta visibilidade, ele trabalha em backoffice para simplificar a vida de um cientista de dados.

Com sua ajuda, o cientista de dados pode realizar análises preditivas de modo mais fácil, extraindo conhecimento para a organização. Enquanto o cientista de dados se preocupa com análises de negócios, como a criação de modelos preditivos, o engenheiro de dados é o cara que disponibiliza esses dados para serem consumidos de um modo que faça sentido.

O engenheiro de dados deve trabalhar proativamente para reagir aos problemas, trabalhando na an√°lise, modelagem, desenvolvimento e monitoramento. Ou seja, em toda a cadeia do desenvolvimento de um pipeline de dados.

 

Quais ferramentas esse profissional precisa conhecer?

O engenheiro de dados precisa conhecer uma grande quantidade de ferramentas, bancos de dados e serviços cloud, como: Google Big Query, Spark, Kafka, SQL, MongoDB, MySQL, Cassandra, Storm, Spark, Hadoop, Hive, Map Reduce, Neo4j, Redis, Logstash, AWS Kinesis, AWS RDS, entre outras. Além disso, precisa ter conhecimentos em diferentes linguagens de programação, como Python, Java e Scala.

De modo geral, não é necessário que um engenheiro de dados domine todas essas ferramentas. No entanto, ele precisa ter um conhecimento generalista a respeito delas, um conhecimento que lhe permita debruçar-se sobre problemas que vão surgindo para buscar a ferramenta mais adequada para resolvê-los.

 

Como se tornar um engenheiro de dados?

Por ser uma profiss√£o t√£o nova, criada a partir da consolida√ß√£o do Big Data e dos desafios que ele traz, n√£o existem tantos cursos espec√≠ficos nem trajet√≥ria √ļnica para esse profissional.

As principais forma√ß√Ķes dispon√≠veis s√£o online e a maior parte do conhecimento n√£o est√° em l√≠ngua portuguesa. Duas op√ß√Ķes s√≥lidas e em portugu√™s s√£o os cursos online da DataScience Academy e o MBA IGTI:

→ Formação em engenharia de dados РDSA
‚Üí MBA em engenharia de dados – IGTI
→ Become a Data Engineer РUdacity (inglês)
→ Data Engineering on Google Cloud Platform РCoursera (inglês)
→ Big Data for Data Engineers РCoursera (inglês)
→ Hadoop Fundamentals Р(inglês)

Para cursos sobre ciência de dados, acesse este outro post.

Al√©m das forma√ß√Ķes especializadas na √°rea, o profissional pode buscar as seguintes certifica√ß√Ķes para ajudar na busca por vagas:

‚Üí Google Cloud Certified Professional Data Engineer
‚Üí Cloudera Certified Professional (CCP): Data Engineer
‚Üí Certificate in Engineering Excellence Big Data Analytics Optimization
‚Üí IBM Certified Data Engineer ‚Äď Big Data

 

Quanto ganha um engenheiro de dados?

√Č dif√≠cil estimar quanto ganha um engenheiro de dados no Brasil. Segundo dados da PayScale, o profissional ganha entre $64k e $134k nos Estados Unidos. Embora os sal√°rios sejam bons no Brasil, a nossa realidade ainda est√° muito distante da norte-americana.

Para obter mais informa√ß√Ķes sobre esse mercado nos Estados Unidos, acesse o report disponibilizado pela PayScale.

 

Conclus√£o

Por fim, o engenheiro de dados, assim como o cientista de dados, √© um unic√≥rnio. Ou seja, um profissional raro que necessita de um grande range de skills para conseguir arquitetar sistemas distribu√≠dos, criar pipelines confi√°veis, combinar fontes de dados, criar a arquitetura de solu√ß√Ķes e colaborar com a equipe de data science, que ser√° a principal consumidora de suas solu√ß√Ķes.

Para saber mais sobre essa carreira recomendo muito a leitura de dois artigos: The Rise of the Data Engineer e The Downfall of the Data Engineer.

Curtiu o artigo? Ficou com alguma d√ļvida sobre a engenharia de dados? Ent√£o deixe um coment√°rio ou compartilhe nas redes sociais! Caso queira trocar uma ideia pelo LinkeIN, pode me adicionar pelo link.

 
Conte√ļdo recomendado: Podcast do DataHackers

Avatar

About the Author: Pedro César Tebaldi Gomes

Atua há 8 anos no mercado B2B de tecnologia da informação como gerente de marketing, tendo escrito mais de 300 artigos sobre tecnologia durante esse período. Estuda ciência de dados, machine learning e estatística para atingir melhores resultados de negócios.

3 Comments

Deixe uma resposta

O que faz um engenheiro de dados?

tempo de leitura: 5 min