Python爬取网页信息的步骤
以爬取英文名字网站（https://nameberry.com/）中每个名字的评论内容，包括英文名，用户名，评论的时间和评论的内容为例。
1、确认网址
在浏览器中输入初始网址，逐层查找链接，直到找到需要获取的内容。
在打开的界面中，点击鼠标右键，在弹出的对话框中，选择“检查”，则在界面会显示该网页的源代码，在具体内容处点击查找，可以定位到需要查找的内容的源码。
注意：代码显示的方式与浏览器有关，有些浏览器不支持显示源代码功能（360浏览器，谷歌浏览器，火狐浏览器等是支持显示源代码功能）
步骤图：
1)首页，获取A~Z的页面链接
2)名字链接页，获取每个字母中的名字链接（存在翻页情况）
3)名字内容页，获取每个名字的评论信息
2、编写测试代码
1)获取A~Z链接，在爬取网页信息时，为了减少网页的响应时间，可以根据已知的信息，自动生成对应的链接，这里采取自动生成A~Z之间的连接，以pandas的二维数组形式存储
1 def get_url1():
2 urls=[]
3 # A,‘B‘,‘C‘,‘D‘,‘E‘,‘F‘,‘G‘,‘H‘,‘I‘,‘J‘,‘K‘,‘L‘,‘M‘,‘N‘,‘O‘,‘P‘,‘Q‘,‘R‘,‘S‘,‘T‘,‘U‘,‘V‘,‘W‘,‘X‘,‘Y‘,‘Z‘
4 a=[‘A‘,‘B‘,‘C‘,‘D‘,‘E‘,‘F‘,‘G‘,‘H‘,‘I‘,‘J‘,‘K‘,‘L‘,‘M‘,‘N‘,‘O‘,‘P‘,‘Q‘,‘R‘,‘S‘,‘T‘,‘U‘,‘V‘,‘W‘,‘X‘,‘Y‘,‘Z‘] #自动生成A~Z的链接
5 for i in a:
6 urls.append("https://nameberry.com/search/baby_names_starting_with/%s" %i)
7 dp=pd.DataFrame(urls)
8 dp.to_csv("A~Z_Link1.csv",mode="a",encoding=‘utf_8_sig‘) #循环用于在每个字母链接下，调用爬取名字链接的页面的函数，即函数嵌套
9 for j in urls:
10 get_pages_Html(j)
11 return urls
2)获取名字链接，根据网页源码分析出包含名字链接的标签，编写代码，名字链接用直接存储的方式存储，方便读取名字链接进行对名字的评论内容的获取
1 #获取页数
2 def get_pages_Html(url1):
3 req = requests.get(url1)
4 soup=BeautifulSoup(req.text)
5 #异常处理，为解决页面不存在多页的问题，使用re正则表达式获取页面数
6 try:
7 lastpage = soup.find(class_="last").find("a")[‘href‘]
8 str1=‘{}‘.format(lastpage)
9 b=re.findall(‘\\d+‘, str1 )
10 for page in b:
11 num=page
12 except:
13 num=1
14 get_pages(num,url1)
15 return num
16
17 def get_pages(n,url):
18 pages=[]
19 for k in range(1,int(n)+1):
20 pages.append("{}?page={}".format(url,k))
21 dp=pd.DataFrame(pages)
22 dp.to_csv("NUM_pages_1.csv",mode="a",encoding=‘utf_8_sig‘)
23 #函数调用
24 for l in pages:
25 parse_HTML2(l)
26 return pages
27
28
29 # 名字的链接，根据网页源码的标签，确定名字链接的位置
30 def parse_HTML2(url2):
31 try:
32 req = requests.get(url2)
33 req.encoding = req.apparent_encoding
34 soup = BeautifulSoup(req.text)
35 except:
36 dp=pd.DataFrame(url2)
37 dp.to_csv("Error_pages_1.csv",mode="a",encoding=‘utf_8_sig‘)
38 name_data_l=[]
39 error=[]
40 li_list = soup.find_all(‘li‘,class_="Listing-name pt-15 pb-15 bdb-gray-light w-100pct flex border-highlight")
41 try:
42 for li in li_list:
43 nameList=li.find(‘a‘,class_=‘flex-1‘)[‘href‘]
44 name_data_l.append(‘https://nameberry.com/‘+nameList)
45 time.sleep(1)
46 cun(name_data_l,‘Name_List_1‘)
47 except:
48 dp=pd.DataFrame(name_data_l)
49 dp.to_csv("Error_Name_List_1.csv",mode="a",encoding=‘utf_8_sig‘)
50 # cun(url2,‘Error_link_Q‘)
51 # dp=pd.DataFrame(name_data_l)
52 # dp.to_csv("Name_List.csv",mode="a",encoding=‘utf_8_sig‘)
53 # for i in name_data_l:
54 # parse_HTML3(i)
55 return name_data_l
56
3)获取名字评论的内容，采用字典形式写入文件
1 # 名字里的内容
2 def parse_HTML3(url3):
3 count=0
4 req = requests.get(url3)
5 req.encoding = req.apparent_encoding
6 soup = BeautifulSoup(req.text)
7 error=[]
8 try:
9 Name=soup.find(‘h1‘,class_=‘first-header‘).find("a").get_text().replace(",","").replace("\n","")
10 except:
11 error.append(url3)
12 cun(error,"Error_Link_Comment")
13 li_list = soup.find_all(‘div‘,class_="comment")
14 for li in li_list:
15 Title=li.find("h4").get_text().replace(",","").replace("\n","")
16 Time=li.find("p",class_=‘meta‘).get_text().replace(",","").replace("\n","")
17 Comments=li.find("div",class_=‘comment-text‘).get_text().replace(",","").replace("\n","")
18 dic2={
19 "Name":Name,
20 "Title":Title,
21 "Time":Time,
22 "Comments":Comments
23 }
24 time.sleep(1)
25 count=count+1
26 save_to_csv(dic2,"Name_data_comment")
27 print(count)
28 return 1
3、测试代码
1)代码编写完成后，具体的函数调用逻辑，获取链接时，为直接的函数嵌套，获取内容时，为从文件中读取出名字链接，在获取名字的评论内容。避免因为逐层访问，造成访问网页超时，出现异常。
如图：
2)测试结果
4、小结
在爬取网页内容时，要先分析网页源码，再进行编码和调试，遵从爬虫协议（严重者会被封号），在爬取的数据量非常大时，可以设置顺序部分请求（一部分的进行爬取网页内容）。
总之，爬虫有风险，测试需谨慎！！！
原文地址：https://www.cnblogs.com/chenting123456789/p/12041761.html