Curry é um WebCrawler escrito em Golang com finalidade de verificar o valor do câmbio de Dólar para Real (USDxBRL) em algumas lojas no Paraguay.

:tada: Features

:white_check_mark: Web Crawler.
:white_check_mark: API JSON Endpoint.
:white_check_mark: In-Memory Cache.
:white_check_mark: Scheduler.
:white_check_mark: SQLite Database to keep history.
:white_check_mark: Custom settings.
:white_check_mark: Easy to add new spiders.

📌 Uso

Para utilizar, basta seguir os passos abaixo:

📜 Rodando

git clone https://github.com/bitebait/curry.git
cd curry/
go run .

Exemplo de saida do terminal:

 ██████╗██╗   ██╗██████╗ ██████╗ ██╗   ██╗
██╔════╝██║   ██║██╔══██╗██╔══██╗╚██╗ ██╔╝
██║     ██║   ██║██████╔╝██████╔╝ ╚████╔╝ 
██║     ██║   ██║██╔══██╗██╔══██╗  ╚██╔╝  
╚██████╗╚██████╔╝██║  ██║██║  ██║   ██║   
 ╚═════╝ ╚═════╝ ╚═╝  ╚═╝╚═╝  ╚═╝   ╚═╝   
2021/11/27 19:06:00 Running and Listening on :8000
2021/11/27 19:06:00 API Endpoint: /api
2021/11/27 19:06:01 Running crawler...
...
2021/11/27 19:06:09 FINISHED: 30 of 30 urls visited.
2021/11/27 19:06:09 CRAWLER function took 8.403559105s.

Agora basta acessar http://127.0.0.1:8000/api. Caso tenha alterado o endpoint favor verifique o log de saida do terminal ou o arquivo config.yml.

⚠️️ Não esqueça de configurar o arquivo config.yml conforme as suas necessidades! ⚠️

API Json Result:

{
  "createdAt": "2021-11-27T15:21:06.343499301-03:00",
  "items": [
    {
      "name": "example_store1",
      "currency": "BRL",
      "value": "5.7",
      "url": "https://www.example_store1.com/"
    },
    {
      "name": "example_store2",
      "currency": "BRL",
      "value": "5.72",
      "url": "https://www.example_store2.com/"
    }
  ]
}

config.yml:

api:
  port: 8000 # api listen port
  endpoint: /api # api endpoint

db:
  file_name: database.db # sqlite file name

cache:
  max_age: 12  # Refresh cache every 12 hours

currency:
  currency: BRL # Don't change

🕷️ Para mais informações sobre spiders disponíveis e como adicionar uma nova spider, de uma olhada em /spiders e func NewSpider().

✅ Lista de lojas monitoradas

📄 Exoneração de responsabilidade e problemas conhecidos

Qualquer uso do script é de responsabilidade apenas do usuário. Os usuários do script devem agir de acordo com os termos dos sites acessados.
Como acontece com todos os sites, a estrutura do site pode mudar no futuro e, portanto, como costuma acontecer com scripts de scraping, descontinue-o. Não é realmente uma questão de saber se o código-fonte do site irá mudar, mas sim quando (então aproveite enquanto ainda está funcionando)

🔒 Licença

Todo o conteúdo apresentado nos sites pertence aos criadores originais.

A licença abaixo se refere apenas ao script e não ao conteúdo scrapado.

Licença - MIT

# Packages

# README

🍛 Curry Câmbios

Valor do câmbio(USDxBRL) em lojas no Paraguay