Neste projeto você encontrará 3 arquivos com a extensão .py onde cada código python possui uma finalidade diferente dentro da engenharia de dados, ambos projetos usando controle de log e usando boas práticas de desenvolvimento de código. Todos os dados são exportável para .csv

Overview
Fundamentos De Engenharia De Dados

 

Python para : API, Web Scrapting, Log, Tratamento de Erro, Ingestão e Tratamento de Dado

Engenharia De Dados

Tratatamento de Erro + Log   |   Api + Web Scrapting + Log   |   Web Scrapting + log   |   Requirements   |   Starting   |   License   |  


    Neste projeto você encontrará 3 arquivos com a extensão .py onde cada código python possui uma finalidade diferente dentro da engenharia de dados, ambos projetos usando controle de log e usando boas práticas de desenvolvimento de código. Todos os dados são exportável para .csv

Requirements

Tenha certeza de tenha instalado Git e Python , seguir a etapa Starting.

🏁 Starting

# Clone this project
$ git clone https://github.com/Wellikiandre/Python-IApi-Log-Tratamento-de-Erro-Web-Scrapting-.git


# Install dependencies
$ pip install -r requirements.txt

📝 License

Made with ❤️ by {{Wee Wellikiandre}}  

🍒 TratamentoDeErro

Arquivo: Moeda.py

  • Neste código você vai encontrar uma função chamada "checarErroFuncao" onde a mesma pode ser usada como anotação em cima de qualquer outra função, classe dentro do seu código. Sua função principal e melhorar na identificação da do erro/falha de forma muito mais intuitiva conforme foto abaixo. Neste Exemplo foi passado através da função "cotacao(600, 'BRLUSD')" o valor de conversão de 600 reis para dólar americano. Como podemos ver abaixo é muito mais simples identificar o erro, no casso abaixo podemos observar o nome da função com erro e qual parâmetro está errado.
  • Implementação
    Implementação
  • Resultado
    Implementação

🍷 Api

Arquivo: imoveisApi.py

  • Este projeto tem a finalidade de raspas os dados do site Viva real capturando os dados imóveis trazendo a localização, valor, quantidade de quartos quantidade banheiros, quantidade de garangens, ou seja, todos os dados do anúncio .
  • Projeto usando pyhon e as bibliotecas [requests, BeautifulSoup e pandas], exemplo resultado final.
    Preview

🍕 Web Scrapting

Arquivo: podcast.py

  • Este projeto tem a finalidade de raspas os dados do site café Brasil capturando os dados dos podcaste e seus link de acesso gerando uma bibliotecxa de acesso.
  • Projeto usando pyhon e as bibliotecas [requests, BeautifulSoup, logging e pandas], exemplo resultado final.
    Preview

You might also like...

Criei uma calculadora de media ponderada, para me auxiliar no 1º periodo da faculdade de engenharia em saber meu CR - coeficiente de rendimento

# Projeto_python-Media_1periodo #Criei uma calculadora de media ponderada, para me auxiliar no 1º periodo da faculdade de engenharia em saber meu CR -

Sep 17, 2022

Aplicação pratica do pyspark e utilização da massa de dados do antigo modulo do curso "Formação Engenharia de Dados [2022]: Domine Big Data! - Udemy"

Aplicação pratica do pyspark e utilização da massa de dados do antigo modulo do curso

Spark/PySpark - Atividades com Banco de Dados de Loja do Varejo (Produtos de Ciclismo) Resolução de problemas de negócio e soluções de atividades envo

Oct 27, 2022

Através da API do Google Places, faz uma busca pelos estabelecimentos que estão próximos ao usuário, retornando todos os resultados que possuem número de telefone e um link direto para o whatsapp.

Buscador Busca estabelecimentos próximos ao usuário, retornando-os com número de telefone e link direto para o Whatsapp. 🚀 Instalando as dependências

Nov 6, 2022

codigo pra automação de processos de backup automatico e pode ser usado em rede, excelente auternativa para transferencias de arquivos entre servidores

Automacao-Python codigo pra automação de processos de backup automatico e pode ser usado em rede, excelente auternativa para transferencias de arquivo

Aug 26, 2022

Executa todos os passos para criação de um projeto Python

Executa todos os passos para criação de um projeto Python

Automatizando a criação de projetos em Python Linha de comandos Windows Idéia e deploy por Robinson Enedino Visite meu WebSite https://www.enedino.com

May 28, 2022

Código para preencher documentos utilizando tags associadas a dados em um arquivo .csv

Gerador-de-Documentos Código para preencher documentos utilizando tags associadas a dados em um arquivo .csv Para utiliza-lo, basta ter um documento b

Aug 11, 2022

Web Scraper simples para coletar os dados de todos os pokemons do website pokemondb

Web Scraper simples para coletar os dados de todos os pokemons do website pokemondb

May 30, 2022

Robô LEGO Mindstorms EV3 coletor de caças dispostas em um tabuleiro. Desenvolvido na disciplina Projeto Integrador II do IFSC - câmpus São José

Projeto Integrador II - LEGO Mindstorms EV3 Grupo 2 Ameliza Souza Corrêa Marcone Augusto de Paula Louzada Yan Lucas Martins Este projeto foi desenvolv

Aug 8, 2022
Owner
Wellikiandre Martins
👨🏼‍💻 Olá! https://www.linkedin.com/in/wellikiandre
Wellikiandre Martins
Com essa biblioteca Python, você pode implementar uma barra de Progresso elegante e customizável para seus projetos em Python.

PGB-CLI Module Python PGBCLI é? uma biblioteca python, construida para que você? tenha uma bela e rapida barra de progresso em seus codigos, você? pod

MatheusTGP ツ 3 Apr 22, 2022
Criar uma aplicação de Controle de Estoque onde a mesma tenha um design simples e belo, com intuito de promover o aprendizado utilizando o framework Django

Controle de Estoque Criar uma aplicação de Controle de Estoque onde a mesma tenha um design simples e belo, com intuito de promo/b ver o aprendizado u

Camila Adriana Gomes 1 Mar 24, 2022
Projeto criado para implementação de melhorias, criando um sistema que gerasse relatórios com algumas informações e criando também um controle do estoque para um restaurante ficticio

Projeto Restaurant Orders Dada a informação (fictícia): A lanchonete 'Pão na Chapa' possui um sistema de faturamento de pedidos de clientes que salva

Ana Luisa 1 Sep 9, 2022
Projeto realizado nos cursos de Python (prof. Nico Steppat) da Formação: Iniciando com Engenharia de Dados da Alura com modificações feitas por mim.

jogos Projeto realizado nos cursos de Python (prof. Nico Steppat) da Formação: Iniciando com Engenharia de Dados da Alura com modificações feitas por

Juliana 1 Sep 12, 2022
Uma aplicação de estudo que fornece uma API mínima escrita em Python e com banco de dados MongoDB para o que seria um sistema de agendamento de vacinas.

Uma aplicação de estudo que fornece uma API mínima escrita em Python e com banco de dados MongoDB para o que seria um sistema de agendamento de vacinas.

Paulo Freitas 4 Oct 21, 2022
Olá pessoal, esse é um repositório tratando de fim a fim, uma pipeline de dados relacionados a produtos e suas subcategorias, onde simulo que isso seja um pedido do time de negócios, com granularidade diária a ser entregue.

Olá pessoal, esse é um repositório tratando de fim a fim, uma pipeline de dados relacionados a produtos e suas subcategorias, onde simulo que isso sej

Victor Andrade 3 May 2, 2022
Overlay para chats de livestreams. Inicialmente para rodar dentro do browser do obs-studio.

livestream-chat Overlay para chats de livestreams. Inicialmente para rodar dentro do browser do obs-studio. TODO: Issues iniciais Suporte a API do You

Eduardo Mendes 10 Dec 16, 2022
Projeto Python para obter dados através de uma página de pesquisa OLX

olx_news Projeto Python para obter dados através de uma página de pesquisa OLX O que voce precisa saber para utilizar este projeto? Ter um bot criado

Walison Silva 1 Jul 25, 2022