File Loader In Golang

Infraestrutura

A infraestrutura para deploy consiste em 3 partes:

• Aplicação: se trata do sistema em si, que é conteinerizado dentro de um container do Python
• Banco de dados: container à parte com o database do sistema
• Proxy Reverso: container com o serviço do NGINX que vai ser responsável por receber as requisições e encaminhar ao serviço

Diagrama da Estrutura::

Docker file

    FROM golang:1.22.5-alpine AS builder

    WORKDIR /app

    COPY go.mod ./
    COPY go.sum ./

    RUN go mod download

    COPY . .

    #DESABILITA OS COPILADORES DO C QUE NÃO ESTÁ PRESENTE NA IMAGEM FINAL
    RUN CGO_ENABLED=0 GOOS=linux go build -o fileloader

    FROM alpine:latest

    WORKDIR /app

    COPY --from=builder /app .

    EXPOSE 8080

    CMD ["./fileloader"]

O Dockerfile consiste em uma imagem criada a partir da imagem python:3.9-slim. Ele vai:

• criar o workdir da aplicação
• enviar o arquivo de requirements e instalar os mesmos
• copiar os arquivos da aplicação e enviar para o container
• expor a porta da aplicação
• Por último, vai chamar o Gunicorn para subir o serviço.

OBS: caso seja alterado algo do código da aplicação, da forma que está, esse container precisará ser buildado novamente. Execute: docker-compose down -v docker-compose up --build

Docker compose file

    version: "3.9"

    services:
    db:
        image: postgres:13
        command: -c 'max_connections=5000'
        environment:
        - POSTGRES_USER=${POSTGRES_USER}
        - POSTGRES_PASSWORD=${POSTGRES_PASSWORD}
        - POSTGRES_DB=${POSTGRES_DB}
        - DATABASE_HOST=${DATABASE_HOST}
        - DATABASE_PORT=${DATABASE_PORT}
        
        ports:
        - '5432:5432'
        volumes:
        - ./data:/var/lib/postgresql/data
        networks:
        - database
    
    fileloader:
        build: .
        ports:
        - "8080:8080"
        depends_on:
        - db
        networks:
        - database

    volumes:
    postgres_data:

    networks:
    database:
        driver: bridge

O docker-compose vai definir 3 serviços em sua estrutura, web(aplicacao) db(database) e nginx(proxy). Os serviço web está tanto na rede do database quando na do proxy devido a necessidade de comunicação com ambos os serviços, enquando o proxy e o database encontran-se em suas respectivas redes apenas.

Proxy web:

 events {
     worker_connections 1024;
 }

 http {
     upstream web {
         server web:5000;
     }

     server {
         listen 80;

         location / {
             proxy_pass http://web;
             proxy_set_header Host $host;
             proxy_set_header X-Real-IP $remote_addr;
             proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
             proxy_set_header X-Forwarded-Proto $scheme;
             proxy_connect_timeout 3600s;
             proxy_send_timeout 3600s;
             proxy_read_timeout 3600s;
             send_timeout 3600s;
         }

         # Ajuste para tamanhos de upload
         client_max_body_size 16M;
     }
 }

O arquvo de configuração do NGINX define uma configuração de proxy simples, o timeout pode ser ajustado para menos, dependendo da situação, caso o arquivo enviado seja muito grande e demore a carregar demais a aplicação pode dar timeout.

Testes

Foram implementados tests para validacao de funcionalidades do sistema, eles se encontram na raiz do projeto dentro do diretorio tests:

  tests/
  ├── test_vendas.py
  └── test_views.py

Para execução dos testes do projeto vá até a raiz e execute: python3 -m unittest discover -s tests

A arquivo test_vendas.py possui os testes da classe Vendas do modulo etl, já o arquivo test_views.py executa alguns testes basicos nas rotas do sistema que se encontram no arquivo main.py.