[pull] main from okfn-brasil:main

.github/ISSUE_TEMPLATE/revisao_retroativa.yaml

@@ -1,6 +1,6 @@
 name: Revisão retroativa
 description: Dar manutenção em código legado de raspadores no repositório
-title: "[Revisão retroativa]: Raspador de <MUNICÍPIO-UF>"
+title: "[Revisão retroativa]: <MUNICÍPIO-UF>"
 labels: ["refactor"]
 body: 
  - type: dropdown
@@ -10,7 +10,7 @@ body:
  description: Selecione a opção abaixo
  multiple: false
  options:
- - Neste repositório, há muitos códigos de raspadores que foram desenvolvidos no começo do projeto e não estão sendo usados. Para passar a usar o raspador deste município, é necessário testar para verificar se segue funcionando e revisá-lo caso não esteja. 
+ - Neste repositório, há muitos códigos de raspadores que foram desenvolvidos no começo do projeto e não estão sendo usados. Para passar a usar o raspador deste município, é necessário testar para verificar se segue funcionando e revisá-lo caso não esteja. Consulte a <a href='https://docs.queridodiario.ok.org.br/pt-br/latest/contribuindo/raspadores.html'>documentação</a> para te ajudar.
  validations:
  required: true
  - type: input
@@ -39,10 +39,3 @@ body:
  placeholder: ex. mês/ano até atualmente; de 2016 à 2020
  validations:
  required: true
- - type: textarea
- id: test-list
- attributes:
- label: Lista de testes
- description: "Utilize a lista a seguir de referência para teste. O raspador precisa atender todos os itens para estar pronto para ser usado. \n 1. [ ] Você executou uma extração completa do spider localmente e os dados retornados estavam corretos.\n 2. [ ] Você executou uma extração por período (start_date e end_date definidos) ao menos uma vez e os dados retornados estavam corretos. \n 3. [ ] Você verificou que não existe nenhum erro nos logs (log/ERROR igual a zero).\n 4. [ ] Você definiu o atributo de classe start_date no seu spider com a data do Diário Oficial mais antigo disponível na página da cidade.\n 5. [ ] Você garantiu que todos os campos que poderiam ser extraídos foram extraídos <a href='https://docs.queridodiario.ok.org.br/pt-br/latest/escrevendo-um-novo-spider.html#definicao-de-campos'>de acordo com a documentação</a>. \n \n Por favor, inclua qualquer informação relevante para o desenvolvimento."
- validations:
- required: false

.github/pull_request_template.md

@@ -1,12 +1,27 @@
-**AO ABRIR** um Pull Request de um novo raspador (spider), marque com um `X` cada um dos items do checklist 
-abaixo. **NÃO ABRA** um novo Pull Request antes de completar todos os items abaixo.
-
-#### Checklist - Novo spider
-- [ ] Você executou uma extração completa do spider localmente e os dados retornados estavam corretos.
-- [ ] Você executou uma extração por período (`start_date` e `end_date` definidos) ao menos uma vez e os dados retornados estavam corretos.
-- [ ] Você verificou que não existe nenhum erro nos logs (`log_count/ERROR` igual a zero).
-- [ ] Você definiu o atributo de classe `start_date` no seu spider com a data do Diário Oficial mais antigo disponível na página da cidade.
-- [ ] Você garantiu que todos os campos que poderiam ser extraídos foram extraídos [de acordo com a documentação](https://docs.queridodiario.ok.org.br/pt-br/latest/escrevendo-um-novo-spider.html#definicao-de-campos).
+**AO ABRIR** uma *Pull Request* de um novo raspador (*spider*), marque com um `X` cada um dos items da checklist abaixo. Caso algum item não seja marcado, JUSTIFIQUE o motivo.
+
+#### Layout do site publicador de diários oficiais
+Marque apenas um dos itens a seguir:
+- [ ] O *layout* não se parece com nenhum caso [da lista de *layouts* padrão](https://docs.queridodiario.ok.org.br/pt-br/latest/contribuindo/lista-sistemas-replicaveis.html)
+- [ ] É um *layout* padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
+- [ ] É um *layout* padrão e todos os municípios adicionados usam a [classe de spider base](https://github.com/okfn-brasil/querido-diario/tree/main/data_collection/gazette/spiders/base) adequada para o padrão.
+
+#### Código da(s) spider(s)
+- [ ] O(s) raspador(es) adicionado(s) tem os [atributos de classe exigidos](https://docs.queridodiario.ok.org.br/pt-br/latest/contribuindo/raspadores.html#UFMunicipioSpider).
+- [ ] O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos [os metadados necessários](https://docs.queridodiario.ok.org.br/pt-br/latest/contribuindo/raspadores.html#Gazette).
+- [ ] O atributo de classe [start_date](https://docs.queridodiario.ok.org.br/pt-br/latest/contribuindo/raspadores.html#UFMunicipioSpider.start_date) foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
+- [ ] Explicitar o atributo de classe [end_date](https://docs.queridodiario.ok.org.br/pt-br/latest/contribuindo/raspadores.html#UFMunicipioSpider.end_date) não se fez necessário.
+- [ ] Não utilizo `custom_settings` em meu raspador.
+
+#### Testes
+- [ ] Uma coleta-teste **da última edição** foi feita. O arquivo de `.log` deste teste está anexado na PR.
+- [ ] Uma coleta-teste **por intervalo arbitrário** foi feita. Os arquivos de `.log`e `.csv` deste teste estão anexados na PR.
+- [ ] Uma coleta-teste **completa** foi feita. Os arquivos de `.log` e `.csv` deste teste estão anexados na PR.
+
+#### Verificações
+- [ ] Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles [conforme a documentação](https://docs.queridodiario.ok.org.br/pt-br/latest/contribuindo/raspadores.html#diarios-oficiais-coletados) não encontrando problemas.
+- [ ] Eu verifiquei os arquivos `.csv` gerados pela minha coleta [conforme a documentação](https://docs.queridodiario.ok.org.br/pt-br/latest/contribuindo/raspadores.html#arquivos-auxiliares) não encontrando problemas.
+- [ ] Eu verifiquei os arquivos de `.log` gerados pela minha coleta [conforme a documentação](https://docs.queridodiario.ok.org.br/pt-br/latest/contribuindo/raspadores.html#arquivos-auxiliares) não encontrando problemas.
 
 #### Descrição
 

data_collection/gazette/database/models.py

@@ -49,28 +49,28 @@ def load_territories(engine):
  logger.info("Populating 'territories' table - Done!")
 
 
-def get_new_spiders(session, territory_spider_map):
+def get_new_or_modified_spiders(session, territory_spider_map):
  registered_spiders = session.query(QueridoDiarioSpider).all()
  registered_spiders_set = {
  (spider.spider_name, territory.id, spider.date_from)
  for spider in registered_spiders
  for territory in spider.territories
  }
- only_new_spiders = [
+ only_new_or_modified_spiders = [
  spider_info
  for spider_info in territory_spider_map
  if spider_info not in registered_spiders_set
  ]
- return only_new_spiders
+ return only_new_or_modified_spiders
 
 
 def load_spiders(engine, territory_spider_map):
  Session = sessionmaker(bind=engine)
  session = Session()
 
  table_is_populated = session.query(QueridoDiarioSpider).count() > 0
- new_spiders = (
- get_new_spiders(session, territory_spider_map)
+ spiders_to_persist = (
+ get_new_or_modified_spiders(session, territory_spider_map)
  if table_is_populated
  else territory_spider_map
  )
@@ -80,20 +80,18 @@ def load_spiders(engine, territory_spider_map):
  territories = session.query(Territory).all()
  territory_map = {t.id: t for t in territories}
 
- spiders = []
- for info in new_spiders:
+ for info in spiders_to_persist:
  spider_name, territory_id, date_from = info
  territory = territory_map.get(territory_id)
  if territory is not None:
- spiders.append(
+ session.merge(
  QueridoDiarioSpider(
  spider_name=spider_name,
  date_from=date_from,
  territories=[territory],
  )
  )
 
- session.add_all(spiders)
  session.commit()
  logger.info("Populating 'querido_diario_spider' table - Done!")
 

data_collection/gazette/pipelines.py

@@ -1,6 +1,7 @@
 import datetime as dt
 from pathlib import Path
 
+import filetype
 from itemadapter import ItemAdapter
 from scrapy import spiderloader
 from scrapy.exceptions import DropItem
@@ -164,11 +165,34 @@ def item_completed(self, results, item, info):
 
  def file_path(self, request, response=None, info=None, item=None):
  """
- Path to save the files, modified to organize the gazettes in directories.
- The files will be under <territory_id>/<gazette date>/.
+ Path to save the files, modified to organize the gazettes in directories
+ and with the right file extension added.
+ The files will be under <territory_id>/<gazette date>/<filename>.
  """
- filepath = super().file_path(request, response=response, info=info, item=item)
+ filepath = Path(
+ super().file_path(request, response=response, info=info, item=item)
+ )
  # The default path from the scrapy class begins with "full/". In this
  # class we replace that with the territory_id and gazette date.
- filename = Path(filepath).name
+ filename = filepath.name
+
+ if response is not None and not filepath.suffix:
+ filename = self._get_filename_with_extension(filename, response)
+
  return str(Path(item["territory_id"], item["date"], filename))
+
+ def _get_filename_with_extension(self, filename, response):
+ # The majority of the Gazettes are PDF files, so we can check it
+ # faster validating document Content-Type before using a more costly
+ # check with filetype library
+ file_extension = (
+ ".pdf" if response.headers.get("Content-Type") == b"application/pdf" else ""
+ )
+
+ if not file_extension:
+ # Checks file extension from file header if possible
+ max_file_header_size = 261
+ file_kind = filetype.guess(response.body[:max_file_header_size])
+ file_extension = f".{file_kind.extension}" if file_kind is not None else ""
+
+ return f"{filename}{file_extension}"

data_collection/gazette/settings.py

@@ -16,6 +16,8 @@
  "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:108.0) Gecko/20100101 Firefox/108.0"
 )
 
+TEMPLATES_DIR = "templates"
+
 DOWNLOAD_TIMEOUT = 360
 
 FILES_STORE = config("FILES_STORE", default="data")

data_collection/gazette/spiders/al/al_igaci.py

@@ -0,0 +1,11 @@
+from datetime import date
+
+from gazette.spiders.base.sai import SaiGazetteSpider
+
+
+class AlIgaciSpider(SaiGazetteSpider):
+ TERRITORY_ID = "2703106"
+ name = "al_igaci"
+ allowed_domains = ["igaci.al.gov.br"]
+ base_url = "https://www.igaci.al.gov.br"
+ start_date = date(2015, 7, 17)

data_collection/gazette/spiders/al/al_maceio.py

@@ -1,7 +1,10 @@
+from datetime import date
+
 from gazette.spiders.base.sigpub import SigpubGazetteSpider
 
 
 class AlMaceioSpider(SigpubGazetteSpider):
  name = "al_maceio"
  TERRITORY_ID = "2704302"
  CALENDAR_URL = "https://www.diariomunicipal.com.br/maceio"
+ start_date = date(2018, 8, 9)

data_collection/gazette/spiders/am/am_manaus.py

@@ -8,6 +8,8 @@
 
 
 class AmManausSpider(BaseGazetteSpider):
+ zyte_smartproxy_enabled = True
+
  name = "am_manaus"
  allowed_domains = ["dom.manaus.am.gov.br"]
  start_date = datetime.date(2000, 4, 3)

data_collection/gazette/spiders/ba/ba_abare.py

@@ -0,0 +1,11 @@
+from datetime import date
+
+from gazette.spiders.base.sai import SaiGazetteSpider
+
+
+class BaAbareSpider(SaiGazetteSpider):
+ TERRITORY_ID = "2900207"
+ name = "ba_abare"
+ allowed_domains = ["sai.io.org.br"]
+ base_url = "https://sai.io.org.br/ba/abare"
+ start_date = date(2007, 1, 9)

data_collection/gazette/spiders/ba/ba_acajutiba.py

@@ -6,5 +6,5 @@
 class BaAcajutibaSpider(DoemGazetteSpider):
  TERRITORY_ID = "2900306"
  name = "ba_acajutiba"
- start_date = date(2018, 1, 2)
  state_city_url_part = "ba/acajutiba"
+ start_date = date(2013, 1, 30)

data_collection/gazette/spiders/ba/ba_adustina.py

@@ -0,0 +1,11 @@
+from datetime import date
+
+from gazette.spiders.base.sai import SaiGazetteSpider
+
+
+class BaAdustinaSpider(SaiGazetteSpider):
+ TERRITORY_ID = "2900355"
+ name = "ba_adustina"
+ allowed_domains = ["adustina.ba.gov.br"]
+ base_url = "https://www.adustina.ba.gov.br"
+ start_date = date(2017, 1, 3)

data_collection/gazette/spiders/ba/ba_alagoinhas.py

@@ -6,5 +6,5 @@
 class BaAlagoinhasSpider(DoemGazetteSpider):
  TERRITORY_ID = "2900702"
  name = "ba_alagoinhas"
- start_date = date(2018, 1, 2) # edition_number 1.950
  state_city_url_part = "ba/alagoinhas"
+ start_date = date(2015, 1, 28)

data_collection/gazette/spiders/ba/ba_almadina.py

@@ -0,0 +1,11 @@
+from datetime import date
+
+from gazette.spiders.base.sai import SaiGazetteSpider
+
+
+class BaAlmadinaSpider(SaiGazetteSpider):
+ TERRITORY_ID = "2900900"
+ name = "ba_almadina"
+ allowed_domains = ["almadina.ba.gov.br"]
+ base_url = "https://www.almadina.ba.gov.br"
+ start_date = date(2005, 1, 3)

data_collection/gazette/spiders/ba/ba_anage.py

@@ -0,0 +1,11 @@
+from datetime import date
+
+from gazette.spiders.base.sai import SaiGazetteSpider
+
+
+class BaAnageSpider(SaiGazetteSpider):
+ TERRITORY_ID = "2901205"
+ name = "ba_anage"
+ allowed_domains = ["anage.ba.gov.br"]
+ base_url = "https://www.anage.ba.gov.br"
+ start_date = date(2007, 1, 12)

data_collection/gazette/spiders/ba/ba_andorinha.py

@@ -0,0 +1,11 @@
+from datetime import date
+
+from gazette.spiders.base.sai import SaiGazetteSpider
+
+
+class BaAndorinhaSpider(SaiGazetteSpider):
+ TERRITORY_ID = "2901353"
+ name = "ba_andorinha"
+ allowed_domains = ["andorinha.ba.gov.br"]
+ base_url = "https://www.andorinha.ba.gov.br"
+ start_date = date(2013, 1, 2)

data_collection/gazette/spiders/ba/ba_angical.py

@@ -6,5 +6,5 @@
 class BaAngicalSpider(DoemGazetteSpider):
  TERRITORY_ID = "2901403"
  name = "ba_angical"
- start_date = date(2021, 1, 4)
  state_city_url_part = "ba/angical"
+ start_date = date(2021, 1, 4)

data_collection/gazette/spiders/ba/ba_caetite.py

@@ -6,5 +6,5 @@
 class BaCaetiteSpider(DoemGazetteSpider):
  TERRITORY_ID = "2905206"
  name = "ba_caetite"
- start_date = date(2021, 4, 27)
  state_city_url_part = "ba/caetite"
+ start_date = date(2021, 4, 27)

data_collection/gazette/spiders/ba/ba_campo_alegre_de_lourdes.py

@@ -0,0 +1,10 @@
+from datetime import date
+
+from gazette.spiders.base.doem import DoemGazetteSpider
+
+
+class BaCampoAlegreDeLourdesSpider(DoemGazetteSpider):
+ TERRITORY_ID = "2905909"
+ name = "ba_campo_alegre_de_lourdes"
+ state_city_url_part = "ba/campoalegredelourdes"
+ start_date = date(2020, 11, 30)

data_collection/gazette/spiders/ba/ba_campo_formoso.py

@@ -6,5 +6,5 @@
 class BaCampoFormosoSpider(DoemGazetteSpider):
  TERRITORY_ID = "2906006"
  name = "ba_campo_formoso"
- start_date = date(2018, 1, 3) # edition_number 873
  state_city_url_part = "ba/campoformoso"
+ start_date = date(2013, 1, 31)

data_collection/gazette/spiders/ba/ba_canudos.py

@@ -6,5 +6,5 @@
 class BaCanudosSpider(DoemGazetteSpider):
  TERRITORY_ID = "2906824"
  name = "ba_canudos"
- start_date = date(2013, 1, 4) # edition number 444
  state_city_url_part = "ba/canudos"
+ start_date = date(2013, 1, 4)

data_collection/gazette/spiders/ba/ba_cipo.py

@@ -6,5 +6,5 @@
 class BaCipoSpider(DoemGazetteSpider):
  TERRITORY_ID = "2907905"
  name = "ba_cipo"
- start_date = date(2021, 1, 4)
  state_city_url_part = "ba/cipo"
+ start_date = date(2021, 1, 4)

data_collection/gazette/spiders/ba/ba_correntina.py

@@ -0,0 +1,11 @@
+from datetime import date
+
+from gazette.spiders.base.sai import SaiGazetteSpider
+
+
+class BaCorrentinaSpider(SaiGazetteSpider):
+ TERRITORY_ID = "2909307"
+ name = "ba_correntina"
+ allowed_domains = ["sai.io.org.br"]
+ base_url = "https://sai.io.org.br/ba/correntina"
+ start_date = date(2007, 11, 30)

data_collection/gazette/spiders/ba/ba_cotegipe.py

@@ -6,5 +6,5 @@
 class BaCotegipeSpider(DoemGazetteSpider):
  TERRITORY_ID = "2909406"
  name = "ba_cotegipe"
- start_date = date(2023, 1, 5)
  state_city_url_part = "ba/cotegipe"
+ start_date = date(2023, 1, 5)

data_collection/gazette/spiders/ba/ba_cristopolis.py

@@ -6,5 +6,5 @@
 class BaCristopolisSpider(DoemGazetteSpider):
  TERRITORY_ID = "2909703"
  name = "ba_cristopolis"
- start_date = date(2021, 1, 12)
  state_city_url_part = "ba/cristopolis"
+ start_date = date(2021, 1, 12)

data_collection/gazette/spiders/ba/ba_cruz_das_almas.py

@@ -6,5 +6,5 @@
 class BaCruzDasAlmasSpider(DoemGazetteSpider):
  TERRITORY_ID = "2909802"
  name = "ba_cruz_das_almas"
- start_date = date(2021, 4, 1)
  state_city_url_part = "ba/cruzdasalmas"
+ start_date = date(2021, 4, 1)

data_collection/gazette/spiders/ba/ba_esplanada.py

@@ -6,5 +6,5 @@
 class BaEsplanadaSpider(DoemGazetteSpider):
  TERRITORY_ID = "2910602"
  name = "ba_esplanada"
- start_date = date(2021, 1, 4)
  state_city_url_part = "ba/esplanada"
+ start_date = date(2021, 1, 4)

data_collection/gazette/spiders/ba/ba_formosa_do_rio_preto.py

@@ -6,5 +6,5 @@
 class BaFormosaDoRioPretoSpider(DoemGazetteSpider):
  TERRITORY_ID = "2911105"
  name = "ba_formosa_do_rio_preto"
- start_date = date(2021, 1, 4)
  state_city_url_part = "ba/formosadoriopreto"
+ start_date = date(2021, 1, 4)

data_collection/gazette/spiders/ba/ba_irara.py

@@ -6,5 +6,5 @@
 class BaIraraSpider(DoemGazetteSpider):
  TERRITORY_ID = "2914505"
  name = "ba_irara"
- start_date = date(2018, 1, 3)
  state_city_url_part = "ba/irara"
+ start_date = date(2014, 4, 24)

data_collection/gazette/spiders/ba/ba_itaberaba.py

@@ -6,5 +6,5 @@
 class BaItaberabaSpider(DoemGazetteSpider):
  TERRITORY_ID = "2914703"
  name = "ba_itaberaba"
- start_date = date(2022, 7, 4)
  state_city_url_part = "ba/itaberaba"
+ start_date = date(2022, 7, 4)

data_collection/gazette/spiders/ba/ba_itamaraju.py

@@ -6,5 +6,5 @@
 class BaItamarajuSpider(DoemGazetteSpider):
  TERRITORY_ID = "2915601"
  name = "ba_itamaraju"
- start_date = date(2008, 3, 28)
  state_city_url_part = "ba/itamaraju"
+ start_date = date(2008, 3, 28)