Skip to content

kenneth663/gaode_spider

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

25 Commits
 
 
 
 
 
 

Repository files navigation

爬取高德地图全国poi的爬虫

基于python3.6的爬取高德全国poi数据的爬虫,稳定性更高,爬取效率更快,由于高德poi的数据量比较大,这里使用了mongodb和Elasticsearch作为存储,只需要修改key值和types种类即可,每个种类都是遍历全国的抓取.(数据量在9000万以上

2019/4/15 更新: 新加入了保存到excel

image

高德开发者申请

所有types的列表

所有的城市列表


所需库

Elasticsearch 5.1.1
pip install requests
pip install elasticsearch==5.1.0
pip install elasticsearch-dsl==5.1.0
pip install pymongo

实际运行图

Elasticsearch elasticsearch

Mongodb mongodb

About

高德poi爬虫(elasticsearch mongodb)

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages