[pull] main from okfn-brasil:main #76
Open
Conversation
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
![pull[bot]](https://avatars.githubusercontent.com/in/12910?s=60&v=4){kind=small}
- Alguns atributos de classe dos raspadores estavam errados ou faltantes - O start_date dinâmico gera problemas no banco ao cadastrar spiders sem start_date - Em algumas datas em Correntina, o isoformat estava quebrando nos milissegundos. Usar dateutil.parser.parse resolve o problema - Substitui extract_first por get
#### Checklist - Novo spider * [x] Você executou uma extração completa do spider localmente e os dados retornados estavam corretos. * [x] Você executou uma extração por período (`start_date` e `end_date` definidos) ao menos uma vez e os dados retornados estavam corretos. * [x] Você verificou que não existe nenhum erro nos logs (`log_count/ERROR` igual a zero). * [x] Você definiu o atributo de classe `start_date` no seu spider com a data do Diário Oficial mais antigo disponível na página da cidade. * [x] Você garantiu que todos os campos que poderiam ser extraídos foram extraídos [de acordo com a documentação](https://docs.queridodiario.ok.org.br/pt/latest/escrevendo-um-novo-spider.html#definicao-de-campos). #### Descrição Implementação do raspador para sites produzidos pelo SAI, presentes na Issue #907
Signed-off-by: Luísa F. Coelho <[email protected]> Update CONTRIBUTING-en-US.md Signed-off-by: Luísa F. Coelho <[email protected]> Update README-en-US.md Signed-off-by: Luísa F. Coelho <[email protected]> Update README.md Signed-off-by: Luísa F. Coelho <[email protected]> Update TROUBLESHOOTING.md Signed-off-by: Luísa F. Coelho <[email protected]> Update TROUBLESHOOTING-en-US.md Signed-off-by: Luísa F. Coelho <[email protected]> Update docs/README.md Signed-off-by: Juliana Trevine <[email protected]> Update docs/README-en-US.md Signed-off-by: Juliana Trevine <[email protected]>
Adiciona link para as metas no guia de contribuição, resolve #499 Retrocede subtítulo para redação anterior Signed-off-by: Juliana Trevine <[email protected]> Ajusta texto para ficar neutro de gênero Signed-off-by: Juliana Trevine <[email protected]>
Adiciona checklist em en Atualiza readme en Ajusta texto em pt
Para padronizar o nome das bases, nos casos em que há um segundo layout, o arquivo `atende_layoutdois.py` foi renomeado para `atende_v2.py`, assim como `adiarios_v1.py` e `adiarios_v2.py` A modificação foi feita em ae8ce8e, porém ficou faltando refletir o ajuste em outros 3 raspadores replicados de `atende_v2`. Esta PR os corrigem.
feat: Adiciona raspador para Carmo do Rio Claro (MG) feat: Adiciona raspador para Juatuba (MG) feat: Adiciona raspador para Onça do Pitangui (MG)
Experimenta corrigir um item da lista de casos em #1172.
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
See Commits and Changes for more details.
Created by
pull[bot]
Can you help keep this open source service alive? 💖 Please sponsor : )