Desafio técnico proposto pela potencial futura "Nave Mãe".

Overview

28503069648_20636e4bb3_c

mothership-challenge

Desafio técnico proposto pela potencial futura "Nave Mãe".

Teste - Engenharia de Dados (Short Track)

Teste técnico para posições em Engenharia de Dados (short track)

O seguinte teste tem por premissa ser um problema base (Ref. problem based learning) de modo que você pode usá-lo como achar adequado tendo em vista a demonstração de seus conhecimentos técnicos.

Queremos entender melhor seu jeito de atacar problemas desafiadores em amostras de mundo real, além de que, do modo que está estruturada, a entrega, apesar de rápida, nos permite verificar mais detalhes de seu perfil profissional tais como organização, pontualidade e percepção quanto a suas skills de data wrangling, validação e governança, programação Python e entendimento dos serviços GCP (em especial Clod Run, BigQuery e BigTable).

Recomendamos ainda que o teste seja feito em no máximo 6 horas (não se preocupe em respostas muito detalhadas ou em complexidades que simplesmente não funcionariam no mundo real!).

As entregas devem ser via envio de link para um github público (ou similar) o qual contenha sua solução para o cenário a seguir:

Cenário

No seguinte cenário você é a pessoa engenheira de dados por trás do projeto de data ops junto a uma grande operadora de cartões de crédito.

Os dados a serem ingeridos e analisados em nossa plataforma de Big Data são dados de compras (trasacao), documentos (contrato) e dados de compradores (cliente).

Entregáveis

-1) Sua primeira tarefa consiste em escrever uma aplicação para calcular o ganho total da empresa, o qual é obtido a partir da taxa administrativa do serviço de cartão de crédito para seus clientes. Esse ganho é calculado sobre um percentual das transações de cartão de crédito realizadas por eles. O cálculo é baseado no conjunto de dados abaixo, transacao, contrato e cliente da Figura 1.

O resultado esperado é uma consulta que retorne o ganho total da empresa por cliente que é 1.198,77 para o cliente A e 1,08 para o cliente B, conforme a Figura 2.

Assim sendo, seguem snippet de código para criação da base de dados e dos dados exemplos (via SQL Server).

-2) A segunda tarefa consiste em calcular o total líquido da empresa. Esse total é calculado da seguinte forma total_liquido = soma(total_bruto – desconto_percentual). O cálculo é baseado no conjunto de dados da Figura 3

O resultado esperado é uma código com pyspark que retorne o total liquido da empresa que é 59973.46.

-3) O terceiro entregável consiste na transformação de dados disponíveis em arquivo Json para o formato de dataframe, algo comum no dia a dia da empresa. Após transformar esse Json em dataframe é possível perceber que a coluna "item_list" está como dicionário. Seu gestor pediu dois pontos de atenção nessa tarefa:

  • Expandir a coluna num mesmo dataframe;
  • Normalizar os itens dessa coluna de dicionário e dividí-los em dois dataframes separados, seguindo o modelo relacional.

-4) Imagine que o Json das notas fiscais é disponibilizado em uma API. Como você utilizaria as tecnologias da GCP para ingerir, transformar e, eventualmente, carregar esses dados em um banco de dados Redshift? O quarto entregável consiste na construção de uma arquitetura de ingestão dos dados de nota fiscal do entregável anterior (como visto aqui), a qual deve atender aos seguintes pontos:

  • Esquemas de fluxo de dados;
  • Descrições de funcionamento (se necessário);
  • Nomes de tecnologias em ecossistema GCP (serviços, conectores, bibliotecas e módulos).

Será apreciado como esforço extra se você conseguir avançar mais na aplicação além desse ponto.

Lembre-se que, como parte dos entregáveis anteriores, esperamos que alguns comentários sejam incluídos em suas soluções prévias; queremos entender melhor como foi seu processo de solução de problemas, quais as hipóteses levantadas e, se tivesse mais tempo, como você poderia melhorar a implementação proposta (desenvolvimento incremental).

Ou seja, temos quatro entregáveis:

  • Consulta que retorne o ganho total da empresa por cliente;
  • Código com pyspark que retorne o total liquido;
  • Resolução de problema de transformação de dados (NF-e);
  • Arquitetura exemplo da ingestão anterior (ecossistema GCP);

O que será avaliado?

  1. Buscamos soluções bem definidas e baseadas em método: soube mostrar quais as hipóteses levantadas? Precisou ao menos de modo resumido o por que escolheu determinado caminho? Quais os prós e contras usados para se basear essa solução e quais os passos para implementá-la?
  2. Qualidades dos entregáveis, tanto as soluções quanto a arquitetura proposta.
  3. Se tivesse mais tempo, o que você faria para melhorar a sua solução?

“Perception is strong and sight weak. In strategy it is important to see distant things as if they were close and to take a distanced view of close things.”

Miyamoto Musashi. Japanese martial artist, philosopher, strategist, writer, artist (1584-1645).

がんばろう

"Se impulsiona na direção de sua meta, ainda que sob certas condições excepcionais; produz sua matéria com base naquilo que lhe faz oposição, assim como o fogo quando se apodera do que nele é lançado."

Marcus Aurelius. Imperador romano (121-180).

You might also like...
Owner
Aurelius Oliveira
Mechanical Engineer engaged in a new career path as Data Engineer. Chess player, finance lover, good son and animal protector. :-)
Aurelius Oliveira
João Pedro Duarte 4 Sep 25, 2022
Desafio seletivo de QA.

Desafio QA Justa ?? Começando Projeto contendo 3 casos de teste para a funcionalidade de Compra. ?? Pré-requisitos Python versão 3.10.5 Pip instalado

Luiz Nelson 1 Jul 25, 2022
Desafio dos 100 dias de código Python

Desafios 100 dias de programação em Python Desafio dos 100 dias de codificação em Python, contemplando todos os aspectos da programação Python desde D

Levi Sange 0 Dec 19, 2022
Repositório contendo o desafio técnico para vaga de Analista DevOps Júnior.

Desafio Técnico DevOps Júnior Esse é um desafio feito para conhecer um pouco mais de cada candidato a vaga de DevOps na Varsomics. Não se trata de um

null 1 Sep 13, 2022
João Pedro Duarte 4 Sep 25, 2022
Desafio seletivo de QA.

Desafio QA Justa ?? Começando Projeto contendo 3 casos de teste para a funcionalidade de Compra. ?? Pré-requisitos Python versão 3.10.5 Pip instalado

Luiz Nelson 1 Jul 25, 2022
Desafio dos 100 dias de código Python

Desafios 100 dias de programação em Python Desafio dos 100 dias de codificação em Python, contemplando todos os aspectos da programação Python desde D

Levi Sange 0 Dec 19, 2022