Python学习笔记之爬虫1

 爬虫的操作步骤：

爬虫三步走

• 爬虫第一步：使用requests获得数据：

  1.导入requests

  2.使用requests.get获取网页源码

• import requests
  r = requests.get(‘https://book.douban.com/subject/1084336/comments/‘).text
  

  　　

  　　

• 爬虫第二步：使用BeautifulSoup4解析数据：

  1.导入bs4

  2.解析网页数据

  3.寻找数据

  4.for循环打印

from bs4 import BeautifulSoup
soup = BeautifulSoup(r,‘lxml‘)
pattern = soup.find_all(‘p‘,‘comment-content‘)
for item in pattern:
print(item.string)

• 爬虫第三步：使用pandas保存数据：

  1.导入pandas

  2.新建list对象

  3.使用to_csv写入

import pandas
comments = []
for item in pattern:
comments.append(item.string)
df = pandas.DataFrame(comments)
df.to_csv(‘comments.csv‘)

完整的爬虫

import requests
r = requests.get(‘https://book.douban.com/subject/1084336/comments/‘).text

from bs4 import BeautifulSoup
soup = BeautifulSoup(r,‘lxml‘)
pattern = soup.find_all(‘p‘,‘comment-content‘)
for item in pattern:
print(item.string)

import pandas
comments = []
for item in pattern:
comments.append(item.string)
df = pandas.DataFrame(comments)
df.to_csv(‘comments.csv‘)

代码运行结果：

原文地址：https://www.cnblogs.com/PeterZhang1520389703/p/8177550.html