Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[Feature] improving scraper #8

Open
wants to merge 3 commits into
base: main
Choose a base branch
from

Conversation

isaac152
Copy link

Description

  • Eliminando la dependencia de Linkout ya que en realidad no era necesaria

To do

  • Separar obtencion de datos en funciones diferentes

Copy link
Collaborator

@matigumma matigumma left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Lo bueno q tenia linkout es que se ocupaba de ghostear el cursor del mouse para prevenir la deteccion del bot...

@isaac152
Copy link
Author

@matigumma Y en realidad eso no servia de mucho para evitar el bloqueo, lo que mas funcionaba es el viewport segun las pruebas que hice, sin embargo podemos emular eso tambien con un

await page.mouse.move(100, 100);
Cambiando las coordenadas de forma random claramente haha

@matigumma
Copy link
Collaborator

@matigumma Y en realidad eso no servia de mucho para evitar el bloqueo, lo que mas funcionaba es el viewport segun las pruebas que hice, sin embargo podemos emular eso tambien con un

await page.mouse.move(100, 100); Cambiando las coordenadas de forma random claramente haha

encontre que se tomaron el trabajo de hacer este helper para el mouse que hace algo mas q un mouse.move()
me imagino que no lo habran hecho de gusto,

image

@isaac152
Copy link
Author

@matigumma Y en realidad eso no servia de mucho para evitar el bloqueo, lo que mas funcionaba es el viewport segun las pruebas que hice, sin embargo podemos emular eso tambien con un
await page.mouse.move(100, 100); Cambiando las coordenadas de forma random claramente haha

encontre que se tomaron el trabajo de hacer este helper para el mouse que hace algo mas q un mouse.move() me imagino que no lo habran hecho de gusto,

image

Y obvio no lol, pero para lo que nos interesa nos sirve sin ello, literalmente ellos mismos dicen que es un extra

// add ghost-cursor for maximum safety

Y el objetivo principal del pr es acomodar un poco scraper, eliminar esta dependencia nos vendria bien porque en realidad no se usa practicamente ni un cuarto de todo lo que tiene y lo que si usamos lo podemos hacer nosotros sin mas de 10 lineas de codigo.

Aun si se quisiera emular el mouse track, podriamos literalmente importar createCursor y ya.

Pero bueno, es solo mi opinion haha

@lautidevv
Copy link
Owner

Has conflicts, resolve

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

3 participants