从上图中可以看出,我们可以获得餐厅的人均消费、点评数量、推荐菜、评分(口味、环境、服务)等信息,用于我们之后的分析。我们此次总共爬取到了225个城市,6758个餐厅,121.3万条评论。
我们截取其中的部分核心代码:
def find_city_page(path): data = pd.read_excel(path) city_lobster_page = pd.DataFrame() driver = webdriver.Chrome() for i in range(0,len(data)): try: js=‘window.open("‘+data[‘city_lobster_url‘][i]+‘")‘ driver.execute_script(js) bsObj = BeautifulSoup(driver.page_source,‘html.parser‘) bs = bsObj.find_all(‘a‘,attrs={‘class‘:‘PageLink‘}) this_city_lobster={‘city_name‘:data[‘city_name‘][i], ‘page_num‘:max([int(l.text ) for l in bs])} city_lobster_page = city_lobster_page.append(this_city_lobster,ignore_index=True) except: continue return city_lobster_page
圈定了TOP20城市后,我们首先看一下TOP20城市小龙虾的人均消费
我们发现服务分与环境分排序相同,二者具有极强的相关性,符合通常认知。同时可以看到在三项分数中,北方的四个城市天津、西安、北京、青岛各项指标均处于靠前的位置,其中天津的服务和环境均处于首位。
结合下图全国小龙虾热力图,似乎有些有悖于大家的认知。
十三香、蒜蓉、麻辣高居前三位,根据作者的经验,这基本上是符合大家整体口味的选择。TOP20中的蛋黄,白灼对于作者而言相对陌生,有品尝过的朋友可以分享一些这些口味的体验。
看完了口味,再看一下龙虾的好丽友
PART4: 龙虾画像
目前互联网公司中非常普遍地会进行一些人群画像的分析,我们在这里借用一下这个概念,也为小龙虾绘制一副专属的画像,下面展示的两幅图分别是词云图和模板原图
部分词云绘制代码如下:
# 解析小龙虾图片back_color = imread(‘小龙虾.jpg‘) # 解析该图片# 参数配置wc = WordCloud(background_color=‘white‘, # 背景颜色 max_words=300, # 最大词数 mask=back_color, # 以该参数值作图绘制词云,这个参数不为空时,width和height会被忽略 max_font_size=100, # 显示字体的最大值 font_path="C:/Windows/Fonts/simhei.ttf", # 解决显示口字型乱码问题,可进入C:/Windows/Fonts/目录更换字体 random_state=4, # 为每个词返回一个PIL颜色 #width=2000, # 图片的宽 #height=1860 #图片的长 )# 通过encounter计数器生成词云wc.generate_from_frequencies(word_counts)# 基于彩色图像生成相应彩色image_colors = ImageColorGenerator(back_color)# 绘制词云plt.figure()plt.imshow(wc.recolor(color_func=image_colors))plt.axis(‘off‘)
PART5: 特(hei)色(an)龙虾
文章最后我们放上几个之前分词发现的特色口味龙虾,或许下一个网红龙虾就在其中
进群:125240963 即可获取数十套PDF哦!
原文地址:https://www.cnblogs.com/PY147/p/9210551.html
时间: 2024-10-11 13:24:43