背景：在百度每次输入关键词检索后，会出现很多的检索页，不利于有效阅读，为更方便收集检索信息，编写了一个可以收集每个检索页与检索词相关的十条检索信息（百度在每个检索页放置十条检索标题信息）。可以根据需要选择爬取多少检索页，通过修改main()函数的depth变量 1 import urllib.request 2 import re 3 4 def get_html_text(url,data_lst,depth): 5 7 for i in range(depth): 8 9 # 根据分析构造网址 10 url_kw = url + ‘&pn=‘ + str(i*10) #切记：这里不能使用‘i*10‘来表示，如果那样的话将无法将i通过for循环传递参数。 11 12 # 获取每页的网页数据 13 data = urllib.request.urlopen(url_kw).read().decode(‘utf-8‘, ‘ignore‘) 14 15 # 测试代码：print(len(data)) 16 print(‘正在爬取第‘,str(i+1),‘页网页信息‘) 17 18 # 构造正则表达式，提取目标信息 19 html_title_pat = ‘"title":"(.*?)"‘ 20 title_info = re.compile(html_title_pat, re.S).findall(data) 21 # 测试代码：print(len(title_info)) 22 for i in range(0,len(title_info)): 23 print(‘第‘+str(i+1) + ‘条网页标题:‘ + str(title_info[i])) 24 print(‘-‘*20) 25 data_lst.append(title_info[i]) 26 27 28 def main(): 29 keyword = input(‘请输入要检索的关键词：‘) 30 31 # #对关键词进行编码，因为URL中需要对中文等进行处理. 32 # 我们平时输入网址的时候有汉字是因为搜索框会自动解析汉字，但是python不会，所以我们需要对关键词进行编码。 33 key_code = urllib.request.quote(keyword) # 对关键词编码 34 35 url = ‘http://www.baidu.com/s?&ie=utf-8&wd=‘+ key_code 36 depth = 5 # 爬取网页的深度，可以自行设置 37 data_lst = list() 38 get_html_text(url,data_lst,depth) 39 # 保存到本地路径 40 with open(‘baidu_keyword.txt‘, ‘a‘, encoding=‘utf-8‘) as f: 41 data_raw = [str(i) for i in data_lst] #使用列表推导式保证列表内的每个元素都是字符串，因为文件写入时要求每个元素都是字符串格式。 42 #data_content = ‘ ‘.join(data_raw) 43 for i in data_raw: 44 f.write(i+‘\n‘) #‘\n’写入一条信息就进行换行，使爬取的数据规整 45 46 47 if __name__ == ‘__main__‘: 48 main()
请输入要检索的关键词：清华大学检索的文本信息截取- 职业圈清华大学 清华大学信息门户系统 清华大学本科招生网 清华大学研究生招生网 清华大学百年校庆_百度百科 清华大学 - Tsinghua University 清华大学学生职业发展指导中心 清华校友网 清华大学学生职业发展指导中心 清华大学地球系统科学系-首页 清华大学新闻网 - 清华人物 Tsinghua University 清华大学法学院 清华大学教育研究院 清华大学环境学院 清华大学 清华大学_清华大学录取分数线,专业介绍,图片_新浪院校库_新浪教育 清华大学bbs 水木社区-源于清华的高知社群 北京清华大学攻略,清华大学门票_地址,清华大学游览攻略 - 马蜂窝 清华大学吧-百度贴吧 供应室平台_助力科研,让世界更美好 【清华大学】清华大学招聘|待遇|面试|怎么样-看准网 清华大学开源软件镜像站 | Tsinghua Open Source Mirror 清华大学精密仪器系 - 首页 清华大学科技园 浙江清华长三角研究院 清华大学精密仪器系 - 首页 清华x-lab - 清华大学创意创新创业教育平台 清华大学经济管理学院 清华大学建筑学院景观学系 清华大学简介_清华大学介绍 深圳清华大学研究院 2019北京清华大学校园概况-清华大学自助游-清华大学门票交通天气... 清华大学量子信息中心 清华大学历史研究所 清华大学 2018清华大学录取分数线_清华大学各省高考分数线_高考院校库 北京清华大学攻略,北京清华大学门票/游玩攻略/地址/图片/门..._携程 ★清华大学校园招聘-2018年清华大学校园招聘会 清华大学专升本 - 育鹏专升本教育信息网 清华大学门票,清华大学门票价格,清华大学门票团购【携程门票】 清华大学卡内基全球政策中心 清华大学历史研究所 清华大学在职研究生_中国在职研究生招生信息网 清华大学量子信息中心
原文地址：https://www.cnblogs.com/summer1019/p/10373935.html
时间： 2024-09-30 10:33:32