Descrição

nestjs-crawlle - É um sistema autônomo para verificação e validação de disponibilidade e integridade de informações em todas as páginas e arquivos dentro de um domínio principal. Esta feramenta foi desenvolvido com a linguagem TypeScript e os frameworks: NestJS para diponibilizar as APIs do projeto, Crawlee para realizar as operações de coleta e verificação das informações de um site e TypeORM para armazenamento das informações em um banco de dados relacional PortgreSQL.

Instalação

$ git clone https://github.com/josedossantos10/nestjs-crawlee.git
$ cd nestjs-crawlee

Atualize as variáveis de ambiente no arquivo .env para os de suua preferência.

Construindo e levantando a ferramenta

# Modo de desenvolvimento, altere /.docker/entrypoint.sh para outros modos
$ docker compose up

Modos e comandos para levantando a ferramenta

# Modo de desenvolvimento
$ npm run start

# Modo de observação
$ npm run start:dev

# Modo de produção
$ npm run start:prod

Testes

# Testes unitários
$ npm run test

## Cobertura de testes
$ npm run test:cov

A progressive Node.js framework for building efficient and scalable server-side applications.

A web scraping and browser automation library