主要思路
目的:
根据输入的城市名,爬取该城市美团美食板块所有商家的数据。数据包括:
店名、评分、评论数量、均价、地址,
并将这些数据存入Excel中。
最后尝试对爬取到的数据做一个简单的分析。
克服反爬虫:
爬取每页数据后,随机停止一段时间后再爬下一页;
每页使用不同的cookie值。
具体原理:
详细的实现过程见源代码。
开发工具
**Python版本:**3.5.4
相关模块:
requests模块;
win_unicode_console模块;
openpyxl模块;
以及一些Python自带的模块。
环境搭建
安装Python并添加到环境变量,pip安装需要的相关模块即可。
相关文件
新手学习,Python 教程/工具/方法/解疑+V:itz992
使用演示
在cmd窗口运行MT_Cate_Spider.py文件即可。
简单分析
利用Excel的数据分析功能简单分析
用的上海地区的数据。
首先当然是按照评分排个序,然后做成柱状图:
然后是评论数量排个序,做成柱状图:
然后再做点其他有趣的图案:
版权声明:本文为NNNJ9355原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。