Skip to main content

Dev Log 1

· 4 min read
Paulo Hernane
Paulo Hernane
Software Engineer, Co-founder and CTO @ Takeode

Essa semana de foi intensa e cheia de aprendizados. Estou animado para compartilhar o que fiz, o que aprendi e o que ainda está pendente. Vamos lá!

🧪 LACINA​

✅ Concluído​

  • Esta semana trabalhei realizando a implementação de um novo recurso que permitirar os usuários do nosso sistema de ETL realizar a Transposição dos dados, ou seja, transformar linhas em colunas e vice-versa. Comecei pelo back end realizando a integração do código C# do nosso sistema com o Python do PySpark, que é a ferramenta que utilizamos para realizar o processamento dos dados. Ainda estou com um problema para fechar esse fluxo para avaliar a execução.

📖 Aprendizado​

  • Com essa implementação, aprendi mais sobre Parquet, PySpark, Pandas, Polars e a diferença entre eles. Também aprendi mais sobre o funcionamento do nosso sistema de ETL e como ele se integra com o PySpark.
  • Aprendi sobre processamento de dados em massa e como otimizar o desempenho do sistema.

📌 Pendências​

  • Fechar a integração do código C# com o PySpark.
  • Realizar testes de desempenho e validação dos dados após a transposição.
  • Criar a documentação do novo recurso.
  • Criar o front end para o novo recurso.

💭 Observações​

  • Sinto que demorei muito essas semana para decidir o que implementar como teste inicial, sinto que eu já deveria está realizando testes de desempenho e validação dos dados. Mas como é a primeira vez que estou implementando algo assim, acabei me perdendo um pouco no meio do caminho. Será meu objetivo da semana que vem.

🚀 Takeode​

✅ Concluído​

  • Avancei com a construção do nosso site institucional, ainda tem muita coisa de design que a gente tem que ajustar, mas a estrutura básica já está pronta. O próximo passo é começar a trabalhar na parte de conteúdo e SEO.
  • Também finalizei a integração do nosso site com o Google Analytics e o Google Search Console, para acompanhar o desempenho do site e as métricas de SEO. Mas ainda tá com um problema que ainda vou investigar.
  • Dei uma avaliada em um repositório que é um starter de aplicativo com Expo + Supabase, que é a nossa stack de desenvolvimento. O repositório é bem legal e tem várias funcionalidades que podem ser úteis para o nosso projeto. Vou continuar explorando ele e ver como podemos integrar no nosso projeto.

📖 Aprendizado​

  • Aprendi mais sobre SEO e como otimizar o site para os motores de busca. Também aprendi mais sobre o Google Analytics e o Google Search Console, como configurar e acompanhar as métricas do site.

📌 Pendências​

  • Ainda tenhos que trabalhar na finalização do site institucional.

💭 Observações​

  • Acho que o site institucional vai ficar bem legal, mas ainda tem muito trabalho pela frente. Estou animado para ver como ele vai ficar quando estiver pronto.
  • Também estou animado para ver como o repositório do Expo + Supabase vai se integrar ao nosso projeto. Acredito que vai facilitar bastante o desenvolvimento e a manutenção do aplicativo.

🛠️ Projetos Pessoais​

✅ Concluído​

  • Troquei o cooler do meu homelab, que estava muito barulhento e não estava dando conta do calor do processador. O novo cooler é muito mais silencioso e eficiente, o que melhorou bastante o desempenho do homelab.
  • Subi o jupyter no meu homelab e tô rodando alguns testes com ele, atualmente estou fazendo uma RAG com os chats que exportei do Whatsapp com meus amigos.

📖 Aprendizado​

  • Aprendi mais sobre LangChain, LLMs, Vectors databases, Ollama, Jupyter e como integrar tudo isso com o meu homelab.
  • Aprendi mais sobre o funcionamento do meu homelab e como otimizar o desempenho dele. Também aprendi mais sobre o funcionamento do cooler e como ele afeta o desempenho do processador.
  • Aprendi a configurar o Alert do Grafana para me avisar quando a temperatura do processador passar de 80 graus, o que me ajudou a evitar problemas de superaquecimento.

📌 Pendências​

  • Ainda tenho que configurar backups automáticos para o meu homelab, atualmente estou fazendo manualmente e não é muito prático.

💭 Observações​

  • Estou satisfeito com as melhorias que fiz no meu homelab e estou animado para continuar explorando novas tecnologias e otimizações.

Ainda teve muitas outras coisas que fiz essa semana mas acabei não anotando, então não vou lembrar de tudo. Mas no geral foi uma semana produtiva e cheia de aprendizados. Estou animado para ver o que a próxima semana vai trazer, vou tentar anotar mais as coisas que fiz e aprendi para compartilhar com vocês.