先看一下抓取的截图，竟然有这么多店没有营业执照。
二、运行环境
- python3
- pymongo
- requests
三、分析
首先访问饿了么主页，输入想搜寻的区域，页面随即返回附近区域店铺。
页面浏览器地址如下：
https://www.ele.me/place/wtw39y8614v4?latitude=31.237236&longitude=121.36636
打开浏览器开发者工具，分析需要抓取的数据，接着用requests抓取该页面地址，使用BeautifulSoup解析数据，竟然返回空值数据。
再次查看页面信息，向下滚动页面，发现XHR异步加载类型中有返回JSON格式数据。如下图所示：
作者：麦口胡
链接：https://www.jianshu.com/p/19c38bfa7388
來源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
其中参数：
1、longitude，latitude采用的高德坐标系对应搜索区域的经纬度
2、limit=24 每次限制返回上限24个店铺；设置再多后台最多返回30个
3、offset=24 每次返回的店铺数量，24个数量级增加，比如页面继续往下翻offset=48,72……
用循环增加offset的偏移量，就可以得到更多的店铺数据。
此页面我们需要采集name ,phone, address 即商户名称，电话，营业地址三个数据即可。一个页面可以采集24个商家数据，json数据如下图：
代码如下：
import requestsimport jsonurl=‘https://www.ele.me/restapi/shopping/restaurants?extras[]=activities&geohash=wtw39y8614v4&latitude=31.237236&limit=24&longitude=121.36636&offset=24&terminal=web‘r=requests.get(url).textd=json.loads(r)for v in d: print (v[‘name‘],v[‘phone‘],v[‘address‘])
返回结果如下：
四、代码截图
五、结果显示
在mongodb中按照地址排序，sort({address:1}) 按照地址升序排序
你学会了吗？
欢迎大家关注我的博客：ttps://home.cnblogs.com/u/Python1234
欢迎加入千人交流答疑群：125240963
原文地址：https://www.cnblogs.com/Python1234/p/9063560.html