Python Spider

一、网络爬虫

网络爬虫又被称为网络蜘蛛（???），我们可以把互联网想象成一个蜘蛛网，每一个网站都是一个节点，我们可以使用一只蜘蛛去各个网页抓取我们想要的资源。举一个最简单的例子，你在百度和谷歌中输入‘Python‘，会有大量和Python相关的网页被检索出来，百度和谷歌是如何从海量的网页中检索出你想要的资源，他们靠的就是派出大量蜘蛛去网页上爬取，检索关键字，建立索引数据库，经过复杂的排序算法，结果按照搜索关键字相关度的高低展现给你。

千里之行，始于足下，我们从最基础的开始学习如何写一个网络爬虫，实现语言使用Python。

二、Python如何访问互联网

想要写网络爬虫，第一步是访问互联网，Python如何访问互联网呢？

在Python中，我们使用urllib包访问互联网。（在Python3中，对这个模块做了比较大的调整，以前有urllib和urllib2,在3中对这两个模块做了统一合并，称为urllib包。包下面包含了四个模块，urllib.request，urllib.error，urllib.parse，urllib.robotparser），目前主要使用的是urllib.request。

我们首先举一个最简单的例子，如何获取获取网页的源码：

import urllib.request
response = urllib.request.urlopen(‘https://docs.python.org/3/‘)
html = response.read()
print(html.decode(‘utf-8‘))

三、Python网络简单使用

首先我们用两个小demo练一下手，一个是使用python代码下载一张图片到本地，另一个是调用百度翻译写一个翻译小软件。

3.1根据图片链接下载图片，代码如下：

import urllib.request

response = urllib.request.urlopen(‘http://www.3lian.com/e/ViewImg/index.html?url=http://img16.3lian.com/gif2016/w1/3/d/61.jpg‘)
image = response.read()

with open(‘123.jpg‘,‘wb‘) as f:
    f.write(image)

其中response是一个对象

输入：response.geturl()

->‘http://www.3lian.com/e/ViewImg/index.html?url=http://img16.3lian.com/gif2016/w1/3/d/61.jpg‘
       输入：response.info()

-><http.client.HTTPMessage object at 0x10591c0b8>

输入：print(response.info())

->Content-Type: text/html
           Last-Modified: Mon, 27 Sep 2004 01:23:20 GMT
           Accept-Ranges: bytes
           ETag: "0f4b59230a4c41:0"
           Server: Microsoft-IIS/8.0
           Date: Sun, 14 Aug 2016 07:16:01 GMT
           Connection: close

Content-Length: 2827

输入：response.getcode()

->200

3.1使用有道词典实现翻译功能

我们想实现翻译功能，我们需要拿到请求链接。首先我们需要进入有道首页，点击翻译，在翻译界面输入要翻译的内容，点击翻译按钮，就会向服务器发起一个请求，我们需要做的就是拿到请求地址和请求参数。

我在此使用谷歌浏览器实现拿到请求地址和请求参数。首先点击右键，点击检查（不同浏览器点击的选项可能不同，同一浏览器的不同版本也可能不同），进入图一所示，从中我们可以拿到请求请求地址和请求参数，在Header中的Form Data中我们可以拿到请求参数。

（图一）

代码段如下：

import urllib.request
import urllib.parse

url = ‘http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index‘
data = {}
data[‘type‘] = ‘AUTO‘
data[‘i‘] = ‘i love you‘
data[‘doctype‘] = ‘json‘
data[‘xmlVersion‘] = ‘1.8‘
data[‘keyfrom‘] = ‘fanyi.web‘
data[‘ue‘] = ‘UTF-8‘
data[‘action‘] = ‘FY_BY_CLICKBUTTON‘
data[‘typoResult‘] = ‘true‘
data = urllib.parse.urlencode(data).encode(‘utf-8‘)
response = urllib.request.urlopen(url,data)
html = response.read().decode(‘utf-8‘)
print(html)

上述代码执行如下：

{"type":"EN2ZH_CN","errorCode":0,"elapsedTime":0,"translateResult":[[{"src":"i love you","tgt":"我爱你"}]],"smartResult":{"type":1,"entries":["","我爱你。"]}}

对于上述结果，我们可以看到是一个json串，我们可以对此解析一下，并且对代码进行完善一下：

import urllib.request
import urllib.parse
import json

url = ‘http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index‘
data = {}
data[‘type‘] = ‘AUTO‘
data[‘i‘] = ‘i love you‘
data[‘doctype‘] = ‘json‘
data[‘xmlVersion‘] = ‘1.8‘
data[‘keyfrom‘] = ‘fanyi.web‘
data[‘ue‘] = ‘UTF-8‘
data[‘action‘] = ‘FY_BY_CLICKBUTTON‘
data[‘typoResult‘] = ‘true‘
data = urllib.parse.urlencode(data).encode(‘utf-8‘)
response = urllib.request.urlopen(url,data)
html = response.read().decode(‘utf-8‘)
target = json.loads(html)
print(target[‘translateResult‘][0][0][‘tgt‘])

四、规避风险

服务器检测出请求不是来自浏览器，可能会屏蔽掉请求，服务器判断的依据是使用‘User-Agent‘,我们可以修改改字段的值，来隐藏自己。代码如下：

import urllib.request
import urllib.parse
import json

url = ‘http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index‘
data = {}
data[‘type‘] = ‘AUTO‘
data[‘i‘] = ‘i love you‘
data[‘doctype‘] = ‘json‘
data[‘xmlVersion‘] = ‘1.8‘
data[‘keyfrom‘] = ‘fanyi.web‘
data[‘ue‘] = ‘UTF-8‘
data[‘action‘] = ‘FY_BY_CLICKBUTTON‘
data[‘typoResult‘] = ‘true‘
data = urllib.parse.urlencode(data).encode(‘utf-8‘)
req = urllib.request.Request(url, data)
req.add_header(‘User-Agent‘,‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36‘)
response = urllib.request.urlopen(url, data)
html = response.read().decode(‘utf-8‘)
target = json.loads(html)
print(target[‘translateResult‘][0][0][‘tgt‘])

上述做法虽然可以隐藏自己，但是还有很大问题，例如一个网络爬虫下载图片软件，在短时间内大量下载图片，服务器可以可以根据IP访问次数判断是否是正常访问。所有上述做法还有很大的问题。我们可以通过两种做法解决办法，一是使用延迟，例如5秒内访问一次。另一种办法是使用代理。

延迟访问（休眠5秒，缺点是访问效率低下）：

import urllib.request
import urllib.parse
import json
import time

while True:
    content = input(‘please input content(input q exit program):‘)
    if content == ‘q‘:
        break;

    url = ‘http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index‘
    data = {}
    data[‘type‘] = ‘AUTO‘
    data[‘i‘] = content
    data[‘doctype‘] = ‘json‘
    data[‘xmlVersion‘] = ‘1.8‘
    data[‘keyfrom‘] = ‘fanyi.web‘
    data[‘ue‘] = ‘UTF-8‘
    data[‘action‘] = ‘FY_BY_CLICKBUTTON‘
    data[‘typoResult‘] = ‘true‘
    data = urllib.parse.urlencode(data).encode(‘utf-8‘)
    req = urllib.request.Request(url, data)
    req.add_header(‘User-Agent‘,‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36‘)
    response = urllib.request.urlopen(url, data)
    html = response.read().decode(‘utf-8‘)
    target = json.loads(html)
    print(target[‘translateResult‘][0][0][‘tgt‘])
    time.sleep(5)

代理访问：让代理访问资源，然后讲访问到的资源返回。服务器看到的是代理的IP地址，不是自己地址，服务器就没有办法对你做限制。

步骤：

1，参数是一个字典｛‘类型‘ : ‘代理IP：端口号‘ ｝ //类型是http,https等

proxy_support = urllib.request.ProxyHandler({})

2，定制、创建一个opener

opener = urllib.request.build_opener(proxy_support)

3，安装opener(永久安装，一劳永逸)

urllib.request.install_opener(opener)

3，调用opener（调用的时候使用）

opener.open(url)

五、批量下载网络图片

图片下载来源为煎蛋网（http://jandan.net)

图片下载的关键是找到图片的规律，如找到当前页，每一页的图片链接，然后使用循环下载图片。下面是程序代码（待优化）：

import urllib.request
import os

def url_open(url):
    req = urllib.request.Request(url)
    req.add_header(‘User-Agent‘,‘Mozilla/5.0‘)
    response = urllib.request.urlopen(req)
    html = response.read()
    return html

def get_page(url):
    html = url_open(url).decode(‘utf-8‘)
    a = html.find(‘current-comment-page‘) + 23
    b = html.find(‘]‘,a)
    return html[a:b]

def find_image(url):
    html = url_open(url).decode(‘utf-8‘)
    image_addrs = []
    a = html.find(‘img src=‘)
    while a != -1:
        b = html.find(‘.jpg‘,a,a + 150)
        if b != -1:
            image_addrs.append(html[a+9:b+4])
        else:
            b = a + 9
        a = html.find(‘img src=‘,b)
    for each in image_addrs:
        print(each)
    return image_addrs

def save_image(folder,image_addrs):
    for each in image_addrs:
        filename = each.split(‘/‘)[-1]
        with open(filename,‘wb‘) as f:
            img = url_open(each)
            f.write(img)

def download_girls(folder = ‘girlimage‘,pages = 20):
    os.mkdir(folder)
    os.chdir(folder)
    url = ‘http://jandan.net/ooxx/‘
    page_num = int(get_page(url))

    for i in range(pages):
        page_num -= i
        page_url = url + ‘page-‘ + str(page_num) + ‘#comments‘
        image_addrs = find_image(page_url)
        save_image(folder,image_addrs)

if __name__ == ‘__main__‘:
    download_girls()

代码运行效果如下：

注：目前处于自学python阶段，上述所写属于学习笔记。刚接触python有两周时间，如有错误，欢迎指正。所学资源来自小甲鱼视频。

时间： 2024-10-01 05:14:48

Python Spider的相关文章

Python模拟登陆：模拟登陆电子科大信息门户测试

最近在学习Python的网络操作,网上有很多模拟登陆方法.这里做个笔记. 没有验证码的还是比较容易的. #coding:utf-8 import re import urllib import urllib2 import cookielib import os import json import sys import time from urllib import quote,unquote from urllib2 import HTTPError from urllib2 import

Python selenium chrome 环境配置

Python selenium chrome 环境配置 一.参考文章: 1. 记录一下python easy_install和pip安装地址和方法 http://heipark.iteye.com/blog/1916758 2. selenium + python自动化测试环境搭建 http://www.cnblogs.com/fnng/archive/2013/05/29/3106515.html 3. Python-selenium-Firefox-chrome-IE问题解决方法 http:

Python与常见加密方式

前言 我们所说的加密方式,都是对二进制编码的格式进行加密的,对应到Python中,则是我们的Bytes. 所以当我们在Python中进行加密操作的时候,要确保我们操作的是Bytes,否则就会报错. 将字符串和Bytes互相转换可以使用encode()和decode()方法.如下所示: # 方法中不传参数则是以默认的utf-8编码进行转换 In [1]: '南北'.encode() Out[1]: b'\xe5\x8d\x97\xe5\x8c\x97' ? In [2]: b'\xe5\x8d\x

python常见的加密方式

1.前言 我们所说的加密方式都是对二进制编码的格式进行加密,对应到python中,则是我妈们的bytes. 所以当我们在Python中进行加密操作的时候,要确保我们的操作是bytes,否则就会报错. 将字符串和bytes互相转换可以用encode()和decode()方法,如下所示: 注:两位十六进制常常用来显示一个二进制字节. 利用binascii模块可以将十六进制显示的字节转换成我们在加密中更加常用的显示方式: In [1]: import binascii In [2]: "你好"

~ 项目于补充

[TOC] --- 昨日回顾: 增量式: 监测一个网站, 只要网站有更新的数据, 爬取更新的数据去重: 基于url 基于数据指redis数据库: sadd 集合名 值 judge = sadd 集合名 值: 1).如果该值在集合中已经存在, judge为0, 代表该数据已经爬取过了 2).如果该值不在集合中, judge为1, 代表数据没有被爬过 scrapy框架的响应数据: 获取其二进制流 ---> response.bodyrequests模块的响应数据: 获取其二进制流 --> resp

Python3爬虫实战：实战源码+博客讲解

Python Spider 贵有恒,何必三更起五更睡:最无益,只怕一日暴十寒. Python3爬虫实战:实战源码+博客讲解 个人网站 CSDN博客 CSDN爬虫专栏 学习交流群[328127489] 声明 代码.教程仅限于学习交流,请勿用于任何商业用途! 文章首发声明 文章在自己的个人网站首发,其他平台文章均属转发,如想获得最新更新进展,欢迎关注我的个人网站:http://cuijiahua.com/ 目录 爬虫小工具 文件下载小助手 爬虫实战 笔趣看小说下载 百度文库免费文章下载助手_rev1

后台执行脚本

需求分析我们经常会遇到一个问题,当使用SSH远程登录Linux服务器运行一些耗时较长的任务,当用户注销或者网络断开时,终端会收到HUP(hangup)信号从而关闭其所有子进程. 解决办法Linux中,可以使用nohup将脚本放置在后台运行,其命令如下: nohup python spider.py params1 > nohup.out 2>&1 & # spider.py:脚本名 params1参数 但在执行上述代码无法查看程序运行过程中python在控制台的输出结果,解决办

Python写的Web spider（网络爬虫）

Python写的Web spider: <span style="font-size:14px;"># web spider # author vince 2015/7/29 import urllib2 import re # get href content pattern = '<a(?:\\s+.+?)*?\\s+href=\"([h]{1}[^\"]*?)\"' t = set("") # collectio

八月份课堂--Python爬虫（Spider）基础

一.爬虫(Spider) 请求网站,提取网页内容的最大化程序.获取到的是html代码,需要从这些文本中提取需要的数据. HTTP:是互联网上应用最为广泛的一种网络协议,是一个客户端和服务器端请求和应答的标准(TCP),用于从WWW服务器传输超文本到本地浏览器的传输协议,它可以使浏览器更加高效,使网络传输减少. HTTPS:是以安全为目标的HTTP通道,简单讲是HTTP的安全版,即HTTP下加入SSL层,HTTPS的安全基础是SSL,因此加密的详细内容就需要SSL. SSL(Secure Sock