python爬虫踩坑教程

我们的目标是爬取下面这个个网址上的2010~2018年的数据

http://stockdata.stock.hexun.com/zrbg/Plate.aspx?date=2015-12-31

获取我们需要的表格中的某些列的数据?

(这是我从我的微信公众号帮过来的文章)

第一步,我们首先用谷歌浏览器查看网页源码,但是可以说现在的数据都是js动态传输不可能会在原始网页上显示?,所以这一步其实是没用的。

第二步,我们分析网页元素,ctrl+shift+c

依然没有多大用,因为每一页只显示20条数据,而且我们发现点下一页的时候,网页网址并没有跳转或改变

这时只能看network元素了

我们知道了数据都是通过这个链接去获取的http://stockdata.stock.hexun.com/zrbg/data/zrbList.aspx?date=2016-12-31&count=20&pname=20&titType=null&page=1&callback=hxbase_json11556366554151

通过尝试发现,有用的参数只有page和count

page表示第几页,count表示每页采集多少条数据

第三步,现在我们开始写代码

第一次我们遇到了403错误,因为我们直接发送url,没有对头部进行代理设置,所以被反爬了?。

第二次,纠结urllib2和urllib和requests用哪个

1)下面是urllib的使用

import urllib.request
req = urllib.Request(url)
req = urllib.request.Request(url)
req.add_header("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36")
req.add_header("GET",url)
req.add_header("Host","stockdata.stock.hexun.com")
#使用read()方法才能读取到字节而不是httpresopnse
#同时out必须是写入str而不是字节
content = urllib.request.urlopen(req).read()
发现read方法得到的只是字节而不是字符串,然后我就不知道怎么办了,放弃?。,使用requests

2)Requests

requests模块的介绍: 能够帮助我们发起请求获取响应

response常见的属性:

response.text 响应体 str类型

respones.content 响应体 bytes类型

response.status_code 响应状态码

response.request.headers 响应对应的请求头

response.headers 响应头

response.request._cookies 响应对应请求的cookie

response.cookies 响应的cookie(经过了set-cookie动作)

解决网页的解码问题:

response.content.decode()

response.content.decode("GBK")

基本使用:

1.requests.get(url,headers,params,cookies,proxies)

headers:字典 请求头

cookies: 字典 携带的cookie

params: 字典 url地址的参数

proxies: 字典 代理ip

2.requests.post(url,data,headers)

data: 字典 请求体

requests发送post请求使用requests.post方法,带上请求体,其中请求体需要时字典的形式,传递给data参数接收

在requests中使用代理,需要准备字典形式的代理,传递给proxies参数接收

第三次,试了一下post方法,除了200,什么都没返回,说明和network上显示的一样,只能get方法。

第四次,得到的json数据,想要用load方法去解析json,可惜网页得到的json格式不是正宗的,比如key没有双引号,只能用正则表达式去处理

JSON到字典转化:
》》》dictinfo = json.loads(json_str) 输出dict类型
字典到JSON转化:
》》》jsoninfo = json.dumps(dict)输出str类型
比如:
info = {‘name‘ : ‘jay‘, ‘sex‘ : ‘male‘, ‘age‘: 22}
jsoninfo = simplejson.dumps(info)
print jsoninfo 

Unicode到字典的转化:
》》》 json.loads()
比如:
import json
str = ‘{"params":{"id":222,"offset":0},{"nodename":"topic"}‘
params = json.loads(str)
print params[‘params‘][‘id‘]
原始json数据
hxbase_json1(
{
  sum:3591,
  list:[
  {
  Number:‘21‘,
  StockNameLink:‘stock_bg.aspx?code=002498&date=2016-12-31‘,
  industry:‘???¹??(002498)‘,
  stockNumber:‘20.98‘,
  industryrate:‘76.92‘,
  Pricelimit:‘B‘,
  lootingchips:‘10.93‘,
  Scramble:‘15.00‘,
  rscramble:‘23.00‘,
  Strongstock:‘7.01‘,
  Hstock:‘ <a href="http://www.cninfo.com.cn/finalpage/2017-04-27/1203402047.PDF" target="_blank"><img alt="" src="img/table_btn1.gif"/></a>‘,
  Wstock:‘<a href="http://stockdata.stock.hexun.com/002498.shtml" target="_blank"><img alt="" src="img/icon_02.gif"/></a>‘,
  Tstock:‘<img "="" alt="" code="" codetype="" onclick="addIStock(\‘002498\‘,\‘1\‘);" src="img/icon_03.gif"/>‘
  },
  {Number:‘22‘,
  StockNameLink:‘stock_bg.aspx?code=002543&amp;date=2016-12-31‘,
  industry:‘??????(002543)‘,
  ....}
  ]
 })
 

正则表达式

p1 = re.compile(r‘[{](.*)[}]‘, re.S)   #最大匹配

p2 = re.compile(r‘[{](.*?)[}]‘, re.S) #最小匹配

res = re.findall(p1, r.text)

得到的是一个len为1 的list,是最外层{}里面的内容

res = re.findall(p2, res[0])

得到的是一个len为最里层{}数目 的list,是最里层{}里面的内容

第五次,编码问题

outfile = open(filename, ‘w‘, encoding=‘utf-8‘)

?打开的时候指定编码方式,解决

代码

#coding=utf-8
import requests
from bs4 import BeautifulSoup
import json
import re

date=["2010","2011","2012","2013","2014","2015","2016","2017","2018"]
#url = r‘http://stockdata.stock.hexun.com/zrbg/data/zrbList.aspx?date=2016-12-31&count=20&pname=20&titType=null&page=2‘
firsturl = r‘http://stockdata.stock.hexun.com/zrbg/data/zrbList.aspx?date=‘
dayurl ="-12-31"
num = 0

header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36",
"Host":"stockdata.stock.hexun.com"}

for num in range(2,6):
    print("start year :",date[num])
    filename = ‘D:\\company‘+date[num]+‘.txt‘
    print("store file is:", filename)
    outfile = open(filename, ‘w‘, encoding=‘utf-8‘)
    pagenum = 1
    content = ""
    for pagenum in range(1,40):

        url = firsturl + date[num] + dayurl + "&count=100&page=" + str(pagenum)
        print(url)

        r = requests.get(url, headers=header)

        p1 = re.compile(r‘[{](.*)[}]‘, re.S)
        p2 = re.compile(r‘[{](.*?)[}]‘, re.S)
        res = re.findall(p1, r.text)

        # print("len:",len(res))
        # print(res)
        res = re.findall(p2, res[0])
        print("len:",len(res))
        if (len(res) == 0):
            print("this page had not enough 100 datas, proving this year fininshed")
            break

        for i in res:
            content += date[num] + "\t"
            para = i.split(",")
            for j in para:
                #print(j)
                attr = j.split(":")
                #print(attr[1])
                if ((attr[0] == ‘Number‘) | (attr[0] == "industry")|(attr[0] == "industryrate")                    |(attr[0] =="Pricelimit") | (attr[0] == "stockNumber")                    |(attr[0] =="lootingchips") | (attr[0] == "Scramble")                     |(attr[0] =="rscramble") | (attr[0] == "Strongstock")):
                    content += attr[1][1:-1] + "\t"
            content+="\n"
    #print(content)

    print(date[num],"done")
    outfile.write(content)
    outfile.close()
 

原文地址:https://www.cnblogs.com/linjiaqin/p/10780307.html

时间: 2024-10-08 04:44:48

python爬虫踩坑教程的相关文章

Python爬虫学习系列教程

Python爬虫学习系列教程 大家好哈,我呢最近在学习Python爬虫,感觉非常有意思,真的让生活可以方便很多.学习过程中我把一些学习的笔记总结下来,还记录了一些自己实际写的一些小爬虫,在这里跟大家一同分享,希望对Python爬虫感兴趣的童鞋有帮助,如果有机会期待与大家的交流. Python版本:2.7 一.爬虫入门 1. Python爬虫入门一之综述 2. Python爬虫入门二之爬虫基础了解 3. Python爬虫入门三之Urllib库的基本使用 4. Python爬虫入门四之Urllib库

Python爬虫框架Scrapy教程(1)—入门

最近实验室的项目中有一个需求是这样的,需要爬取若干个(数目不小)网站发布的文章元数据(标题.时间.正文等).问题是这些网站都很老旧和小众,当然也不可能遵守 Microdata这类标准.这时候所有网页共用一套默认规则无法保证正确抓取到信息,而每个网页写一份spider代码也不切实际. 这时候,我迫切地希望能有一个框架可以通过只写一份spider代码和维护多个网站的爬取规则,就能自动抓取这些网站的信息,很庆幸 Scrapy 可以做到这点.鉴于国内外关于这方面资料太少,所以我将这段时间来的经验和代码分

从零起步 系统入门Python爬虫工程师完整教程

1 var link="www.marenzy.top"//完整视频资源获取地址,复制链接在浏览器打开 2 var vx="aishangit666"//如链接失效可添加微信 从零起步 系统入门Python爬虫工程师 大数据时代,python爬虫工程师人才猛增,本课程专为爬虫工程师打造,课程有四个阶段,爬虫0基础入门->项目实战->爬虫难点突破->scrapy框架快速抓取,带你系统学习.课程精选多个实战项目,从易到难,层层深入.不同项目解决不同的抓

《Python爬虫学习系列教程》学习笔记

转自:http://cuiqingcai.com/1052.html 大家好哈,我呢最近在学习Python爬虫,感觉非常有意思,真的让生活可以方便很多.学习过程中我把一些学习的笔记总结下来,还记录了一些自己实际写的一些小爬虫,在这里跟大家一同分享,希望对Python爬虫感兴趣的童鞋有帮助,如果有机会期待与大家的交流. 一.Python入门 1. Python爬虫入门一之综述 2. Python爬虫入门二之爬虫基础了解 3. Python爬虫入门三之Urllib库的基本使用 4. Python爬虫

python selenium 踩坑

想做做信息检索课设,先写个爬虫爬爬微博. 看了一下午微博的api,晚上决定用chromnium. 先通过pip安装selenium,官方文档看一眼, pip install selenium 然后需要安装浏览器的driver,浏览器的调试模式一样 通过Choco安装,powershell一句话 choco install selenium-all-drivers 完毕.然后开始写代码 1 from selenium import webdriver 2 from time import slee

Python爬虫快速上手教程

1 这个是什么 ???????整理Python中requests常用的API 2 代码 from bs4 import BeautifulSoup import requests import re # 使用requests进行网络求解,用BeautifulSoup处理html网页 s_url = "https://www.baidu.com" o_header = { 'Accept': 'image/webp,image/apng,image/*,*/*;q=0.8', 'Acce

python爬虫(一)

本文主要是记录一下学习过程,相当于做一次笔记吧 主要参考崔庆才的Python爬虫学习系列教程(http://cuiqingcai.com/1052.html) 这里主要是一些Python的基础知识和爬糗事百科的一个实例: 一:基础知识 1.爬虫:趴在网络上的蜘蛛,遇见想要的资源,就会抓取下来. 2.浏览网页的过程:用户输入网站->DNS服务器->找到服务器主机->向服务器发送请求->服务器解析->发给浏览器相应的文件->浏览器解析 3.url:统一资源定位符(网址):是

Python爬虫开发

1. 语法入门 Python教程 2. 爬虫学习系列教程 1)宁哥的小站 https://github.com/lining0806/PythonSpiderNotes 2)Python爬虫开发 3)Python爬虫学习系列教程

Python爬虫开发的3大难题,别上了贼船才发现,水有多深

写爬虫,是一个非常考验综合实力的活儿.有时候,你轻而易举地就抓取到了想要的数据:有时候,你费尽心思却毫无所获. 好多Python爬虫的入门教程都是一行代码就把你骗上了"贼船",等上了贼船才发现,水好深-比如爬取一个网页可以是很简单的一行代码: r = requests.get('http://news.baidu.com') 非常的简单,但它的作用也仅仅是爬取一个网页,而一个有用的爬虫远远不止于爬取一个网页. 一个有用的爬虫,只需两个词来衡量: 数量:能否抓全所有该类数据 效率:抓完所