Python3 Spider Practice —— Python3 爬虫实战练习

  

              

---

关于 💡

• ❗ 主要保存了本人在学习爬虫过程中写的代码，稍微复杂一点的在我博客里面有写分析过程，比较简单的项目，分析思路会直接写在 README 里面。

• ❗ 项目中部分代码可能已失效，原因可能是反爬措施更新、页面结构发生变化等，失效的可以提 issue，有时间会更新代码。

• ❗ 本仓库中所有内容仅供学习交流，严禁用于商业用途、非法用途，否则由此产生的一切后果均与作者无关，在本仓库中下载的文件学习完毕之后请于 24 小时内删除。

分类 🏷️

• Material：爬虫相关资料，均从互联网收集；

• AutomationTool：使用自动化工具进行数据采集、验证码处理等；

• BasicTraining：基础训练，一般是比较简单的爬虫；

• CommentPlugin：针对各大评论插件的爬虫，如 Facebook 评论插件等；

• FightAgainstSpider：针对常见的反爬虫手段的爬虫，如字体加密等；

• JSReverse：JS 加密解密、JS 逆向相关文章，重点关注逆向解密过程；【可以关注 K 哥爬虫 同步更新】

• SignIn：针对各种签到、抽奖的爬虫；

• SpiderDataVisualization：爬虫与数据可视化，如 COVID-19 数据可视化等。

目录 📑

目标 / 文章	代码
安居客武汉二手房【Beautiful Soup、CSV】	anjuke
豆瓣电影TOP250【Xpath、正则表达式、CSV】	douban-top250
瓜子全国二手车【Cookie、XPath、MongoDB】	guazi
虎扑论坛步行街【Beautiful Soup、MongoDB】	hupu
猫眼电影TOP100【lxml、Xpath、CSV 】	maoyan-top100
模拟登陆哔哩哔哩【滑动验证码、Selenium】	bilibili-login
模拟登陆12306【点触验证码、Selenium】	12306-login
前程无忧招聘信息【MongoDB、Numpy、Pandas、Matplotlib】	51job
COVID-19 肺炎疫情数据实时监控【openpyxl、pyecharts、wordcloud】	COVID-19
CSDN 自动签到抽奖【GitHub Actions、钉钉、企业微信机器人】	csdn-sign-in
Facebook 评论插件、留言外挂程序	facebook-comments
Vuukle 评论插件	vuukle-comments
58同城武汉出租房【网站加密字体、MySQL】	58tongcheng
【爬虫知识】浏览器开发者工具使用技巧总结	\
【爬虫知识】爬虫常见加密解密算法	\
【JS 逆向百例】百度翻译接口参数逆向	fanyi_baidu_com
【JS 逆向百例】有道翻译接口参数逆向	fanyi_youdao_com
【JS 逆向百例】建筑市场监管服务平台企业数据	jzsc_mohurd_gov_cn
【JS 逆向百例】当乐网登录接口参数逆向	oauth_d_cn
【JS 逆向百例】房天下登录接口参数逆向	passport_fang_com
【JS 逆向百例】37网游登录接口参数逆向	www_37_com
【JS 逆向百例】层层嵌套！匀加速商城 RSA 加密	www_15yunmall_com
【JS 逆向百例】转变思路，少走弯路，小米加密分析	account_xiaomi_com
【JS 逆向百例】元素ID定位加密位置，天凤麻将数据逆向	tenhou_net
【JS 逆向百例】复杂的登录过程，最新微博逆向	weibo_com
【JS 逆向百例】无限debugger绕过，三河市政务网站互动数据逆向	zwfw_san-he_gov_cn
【JS 逆向百例】DOM事件断点调试，中烟新商盟登录逆向	应版权方要求已删除
【JS 逆向百例】XHR 断点调试，Steam 登录逆向	store_steampowered_com
【JS 逆向百例】如何跟栈调试？某 e 网通 AES 加密分析	web_ewt360_com
JS 逆向之 Hook，吃着火锅唱着歌，突然就被麻匪劫了！	\
【JS 逆向百例】Fiddler 插件 Hook 实战，某创帮登录逆向	m_wcbchina_com
【JS 逆向百例】浏览器插件 Hook 实战，亚航加密参数分析	www_airasia_com
爬虫逆向基础，理解 JavaScript 模块化编程 webpack	\
当爬虫工程师遇到CTF丨B站1024安全攻防题解	\
【JS 逆向百例】webpack 改写实战，G 某游戏 RSA 加密	www_gm99_com
【JS逆向百例】某音乐网分离式 webpack 非 IIFE 改写实战	www_kuwo_cn
爬虫逆向基础，认识 SM1-SM9、ZUC 国密算法	\
【JS 逆向百例】医保局 SM2+SM4 国产加密算法实战	fuwu_nhsa_gov_cn
【JS 逆向百例】某易支付密码 MD5+AES 加密分析	epay_163_com
【JS 逆向百例】cnki 学术翻译 AES 加密分析	dict_cnki_net
【JS 逆向百例】Ether Rock 空投接口 AES256 加密分析	etherrock_ne
【JS 逆向百例】你没见过的社会主义核心价值观加密	www_appmiu_com
【JS 逆向百例】反混淆入门，某鹏教育 JS 混淆还原	learn_open_com_cn
【JS 逆向百例】W店UA，OB反混淆，抓包替换CORS跨域错误分析	d_weidian_com
【JS 逆向百例】WebSocket 协议爬虫，智慧树扫码登录案例分析	passport_zhihuishu_com
【JS 逆向百例】网洛者反爬练习平台第一题：JS 混淆加密，反 Hook 操作	spider_wangluozhe_com_challenge_1
【JS 逆向百例】网洛者反爬练习平台第二题：JJEncode 加密	spider_wangluozhe_com_challenge_2
【JS 逆向百例】网洛者反爬练习平台第三题：AAEncode 加密	spider_wangluozhe_com_challenge_3
【JS 逆向百例】网洛者反爬练习平台第四题：JSFuck 加密	spider_wangluozhe_com_challenge_4
【JS 逆向百例】网洛者反爬练习平台第五题：控制台反调试	spider_wangluozhe_com_challenge_5
【JS 逆向百例】网洛者反爬练习平台第六题：JS 加密，环境模拟检测	spider_wangluozhe_com_challenge_6
【JS 逆向百例】X球投资者社区 cookie 参数 acw_sc__v2 加密分析	xueqiu_com
【JS 逆向百例】PEDATA 加密资讯以及 zlib.gunzipSync() 的应用	max_pedata_cn
某空气质量监测平台无限 debugger 以及数据动态加密分析	www_aqistudy_cn
【JS 逆向百例】HN政务服务网登录逆向，验证码形同虚设	www_hnzwfw_gov_cn
【JS 逆向百例】吾爱破解2022春节解题领红包之番外篇 Web 中级题解	\
RPC 技术及其框架 Sekiro 在爬虫逆向中的应用，加密数据一把梭！	\
深度剖析 JA3 指纹及突破	\
【JS 逆向百例】拉勾网爬虫，traceparent、__lg_stoken__、X-S-HEADER 等参数分析	www_lagou_com
华强电子网登录	passport_hqew_com
学易云登录	passport_xueyiyun_com
天安保险登录	tianaw_95505_cn
宁波大学登录	uis_nbu_edu_cn
航班管家人口流动大数据	unicom_trip_133_cn
惠金所登录	www_hfax_com
咪咕视频登录	www_miguvideo_com
企名片创业项目数据	www_qimingpian_cn
中国移动掌上门户登录	wap_10086_cn
中国联通网上营业厅登录	uac_10010_com
中国电信网上营业厅登录	login_189_cn
爱应用登录	www_iappstoday_com
360 登录	i_360_cn
1号店登录	passport_yhd_com
魅族登录	login_flyme_cn

交流群💬