Skip to content
This repository has been archived by the owner on Jun 10, 2024. It is now read-only.

pyspider设置了隧道代理,在调试时生效,实际爬取时不生效 #975

Open
Acloud11 opened this issue Sep 16, 2021 · 0 comments

Comments

@Acloud11
Copy link

Acloud11 commented Sep 16, 2021

crawl_config = { 'proxy': 't13177827711279:[email protected]:15818', #'proxy':'t13038971957781:[email protected]:15818' }
我配置配置了快代理的隧道代理。在调试时代理能够正常工作。
但是在爬虫run起来之后,代理却没有生效。
我判断代理没有生效的原因是:
1.快代理网站对我购买的隧道代理的监控中,代理使用次数没有增加
图中零星的代理使用,是在调试过程,尝试爬取页面时的代理正确生效。
2.在Active Tasks任务的详情内容中,fatch中,无代理的配置。
fetch { "save": { "key": "肯尼亚航空" } }

我尝试使用下述配置启动,同样无效

pyspider --phantomjs-proxy 用户名:密码@tps158.kdlapi.com:15818
Sign up for free to subscribe to this conversation on GitHub. Already have an account? Sign in.
Labels
None yet
Projects
None yet
Development

No branches or pull requests

1 participant