Skip to content

Crawler para legislação completa encontrada no site planalto.gov.br

License

Notifications You must be signed in to change notification settings

rogeriob2br/LegisCrawler.br

 
 

Repository files navigation

Crawler completo para a legislação brasileira

##Sobre LegisCrawler.br foi criado para capturar e organizar a legislação brasileira encontrada no site do Planalto e entregar uma API com seus dados.

A ferramenta é formada por duas partes, o crawler – que lê, captura e organiza os dados das legislações – e a API – que entrega os separados por legislação e artigo.

##Instalação

O sistema foi criado em Node.js utilizando ECMA 6, portanto deve usar Node.js 6.5 em diante para funcionar corretamente.

Para instalar, siga os próximos passos:

git clone [email protected]:russoedu/LegisCrawler.br.git
cd LegisCrawler.br

Caso use o Yarn, execute

yarn

Caso utilize NPM, execute

npm install

Esses comandos instalarão as dependências do projeto.

##Configuração

TODO Variáveis de ambiente Mongo / File Lista de legislações

##Debug

##Crawler node crawl

##API npm start

###Crawler

##Configuration

##Debugging LegisCrawler uses (debug)[https://github.com/visionmedia/debug] for debugging.

To debug the scrap utility, run:

$ DEBUG=scrap,scrap-parser node scrap/index.js

The following debug options are set:

  1. scrap
  2. scrap-cleaner
  3. scrap-parser
  4. scrap-getter
  5. split

To debug the API, run:

$ DEBUG=api,DB npm start

The following debug options are set:

  1. api
  2. DB

Most debugs are commented in the code and you must uncomment the ones you want to debug.

About

Crawler para legislação completa encontrada no site planalto.gov.br

Resources

License

Stars

Watchers

Forks

Packages

No packages published

Languages

  • HTML 57.1%
  • JavaScript 34.4%
  • CSS 8.2%
  • Nginx 0.3%