Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Feature - Novo spider para Parnaíba/PI [Fixes #719] #1270

Open
wants to merge 10 commits into
base: main
Choose a base branch
from

Conversation

jjpaulo2
Copy link
Contributor

@jjpaulo2 jjpaulo2 commented Sep 19, 2024

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

Código da(s) spider(s)

  • O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
  • O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
  • O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
  • Explicitar o atributo de classe end_date não se fez necessário.
  • Não utilizo custom_settings em meu raspador.

Testes

  • Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
  • Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
  • Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.

Verificações

  • Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
  • Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
  • Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

Descrição

Adicionando spider para Parnaíba-PI conforme #719.

Anexos

Houveram apenas alguns erros relacionados com formatação de data para algumas datas específicas, mas apenas erros de digitação do cadastro, como 14--12-2017 e 18-0502020.

Coleta última edição

scrapy crawl pi_parnaiba -a start_date=2024-09-19 -s LOG_FILE=pi_parnaiba.log -o pi_parnaiba.csv

Coleta intervalo

scrapy crawl pi_parnaiba -a start_date=2024-09-17 -a end_date=2024-09-19 -s LOG_FILE=pi_parnaiba.log -o pi_parnaiba.csv

Coleta completa

scrapy crawl pi_parnaiba -s LOG_FILE=pi_parnaiba.log -o pi_parnaiba.csv

@jjpaulo2 jjpaulo2 changed the title Cria spider para Parnaíba/PI [wip] Cria spider para Parnaíba/PI [Fixes #719] Sep 19, 2024
@jjpaulo2 jjpaulo2 changed the title [wip] Cria spider para Parnaíba/PI [Fixes #719] Cria spider para Parnaíba/PI [Fixes #719] Sep 19, 2024
@jjpaulo2 jjpaulo2 marked this pull request as ready for review September 19, 2024 01:23
@trevineju trevineju linked an issue Sep 19, 2024 that may be closed by this pull request
@jjpaulo2 jjpaulo2 changed the title Cria spider para Parnaíba/PI [Fixes #719] Feature - Novo spider para Parnaíba/PI [Fixes #719] Sep 21, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
Development

Successfully merging this pull request may close these issues.

Parnaíba-PI
1 participant