Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

Proxy Server WebScraping

Scheduler

Bonjour,

Je suis en train de faire pas mal de web scraping sur plusieurs sites mais je me retrouve très vite bloqué à cause de mon ip... J'ai très vite compris que les proxies seront donc mes amis pour ce genre programme. Cependant, j'ai toujours la même erreur 'Cannot connect to proxy' ou un timeout...

Voici un exemple d'erreur :

Pour obtenir des proxies j'utilise ce bout de code :

Si quelqu'un a une meilleur méthode pour utiliser des proxies ca serait cool :D

Ps : Insérer du code ne fonctionne pas ?

Pepito

Hello,

Si tu utilises un vpn sur la machine où ton script tourne ça devrait résoudre ton problème. Normalement c'est transparent pour ton script, tu auras juste une ip différente. Concernant ce que tu utilises, n'hésite pas à ralentir la vitesse de ton scraper pour éviter de te faire bloquer trop rapidement

fioutubs

Essaye de te connecter a un autre site à partir de la même liste de proxy, ca te donnera peut etre des pistes sur le fond du problème