数据挖掘_多线程抓取

在这一篇文章中,我们主要来介绍多线程抓取数据。

多线程是以并发的方式执行的,在这里要注意,Python的多线程程序只能运行在一个单核上以并发的方式运行,即便是多核的机器,所以说,使用多线程抓取可以极大地提高抓取效率

下面我们以requests为例介绍多线程抓取,然后在通过与单线程程序比较,体会多线程的效率的提高

这一次,我就不用我的网站做测试了,因为网站的内容此时还并不是太多,不能体现多线程的优势

我们通过当当网来测试我们的多线程实例,通过对搜索结果的同一抓取实现功能的演示,搜索模式地址如下

http://search.dangdang.com/?key=Python&act=input&page_index=1

 可以看到key代表的是搜索关键字,act代表你是通过什么方式搜索的,page_index代表的是搜索页面的页码

在抓取到上面的页码后,要对里面的信息进行提取,最后将提取的信息保存在文本文件中,文件中保存每一本书的书名,以及他的链接

下面我们定义抓取实验所需要的方法(或函数)

# coding=utf-8
__Author__ = "susmote"

import requests
from bs4 import BeautifulSoup

def format_str(s):
    return s.replace("\n", "").replace(" ", "").replace("\t", "")

def get_urls_in_pages(from_page_num, to_page_num):
    urls = []
    search_word = "python"
    url_part_1 = "http://search.dangdang.com/?key="
    url_part_2 = "&act=input"
    url_part_3 = "&page_index="
    for i in range(from_page_num, to_page_num + 1):
        urls.append(url_part_1 + search_word + url_part_2 + url_part_3 + str(i))
    all_href_list = []
    for url in urls:
        print(url)
        resp = requests.get(url)
        bs = BeautifulSoup(resp.text, "lxml")
        a_list = bs.find_all("a")
        needed_list = []
        for a in a_list:
            if ‘name‘ in a.attrs:
                name_val = a[‘name‘]
                href_val = a[‘href‘]
                title = a.text
                if ‘itemlist-title‘ in name_val and title != "":
                    if [title, href_val] not in needed_list:
                        needed_list.append([format_str(title), format_str(href_val)])
        all_href_list += needed_list
    all_href_file = open(str(from_page_num) + ‘_‘ + str(to_page_num) + ‘_‘ + ‘all_hrefs.txt‘, ‘w‘)
    for href in all_href_list:
        all_href_file.write(‘\t‘.join(href) + ‘\n‘)
    all_href_file.close()
    print(from_page_num, to_page_num, len(all_href_list))

  下面我们来解释一下这些代码

首先,format_str是用来在提取信息后去掉多余的空白

而get_url_in_pages方法是执行功能的主体,这个方法接收的参数是指页码的范围,函数体中,urls主要用来存放基于两个参数所生成的所有要抓取的页面的链接,我把url分为3个部分,也是为了方便之后对链接的组合,然后的for循环就是做的是拼接的工作,这里我不多做解释了,如果不懂,请留言

下一步,我们定义了一个列表all_href_list ,这个列表是用来存储每页中包含图书信息的,实际上它又是一个嵌套的列表,里面的元素是[书名, 链接],他的形式如下所示

all_href_list = [
    [‘书名1‘, "链接1"],
    [‘书名2‘, "链接2"],
    [‘书名3‘, "链接3"],
    ......
]

后面的代码就是对灭一页进行抓取和提取信息了,这部分的代码都在for url in urls这个循环体中,首先打印链接,然后调用requs的get方法,获取页面,之后又使用BeautifulSoup将get请求放回的HTML文本进行分析,转为BeautifulSoup能够处理的结构,命名为bs

之后我们定义的needed_list是用来存放书名和链接的,bs.find_all(‘a‘)抽取了页面中所有的链接元素,for a in a_list 对每一个列表中的元素进行遍历分析,在这之前,我们通过浏览器发现了他的结构

每个书籍元素中都会有一个属性name,值为"itemlist_title",通过这个我们很容易的就筛选出了书籍元素,然后将书籍信息,以及链接元素href一同存入列表,在存之前,我们还做了一些判断,是否已经存在这个链接了,和这个元素的链接为空

每抽取完一个页面的链接后,就可以把它加入到all_href_list中,也就是下面这行代码

all_href_list += needed_list

  注意我在这里使用的是 += 运算符

获取到范围内所有的链接元素后,就可以写入文件了,在这里我不做过多解释了

然后我们下一步就是定义多线程了,因为我们搜索关键词总的页数是32页

所以我们在这里准备用3个线程来完成这些任务,也就是每个线程处理10个页面,在单线程的情况下,这30页用一个线程单独完成

下面我们给出抓取方案的代码

# coding=utf-8
__Author__ = "susmote"

import time
import threading
from mining_func import get_urls_in_pages

def multiple_threads_test():
    start_time = time.time()
    page_range_list = [
        (1, 10),
        (11, 20),
        (21, 32),
    ]

    th_list = []
    for page_range in page_range_list:
        th = threading.Thread(target = get_urls_in_pages, args = (page_range[0], page_range[1]))
        th_list.append(th)

    for th in th_list:
        th.start()

    for th in th_list:
        th.join()

    end_time = time.time()
    print("共使用时间1:", end_time - start_time)
    return end_time - start_time

  

简单解释一下,为了获取运行的时间,我们定义了一个开始时间start_time 和 一个结束时间end_time,运行时间也就是结束时间减去开始时间

然后定义的一个列表page_range_list也就是把页码分为三段,前面有提到过

之后又定义了一个列表th_list也就是存储所有线程对象的列表,之后通过一个循环,生成了3个线程对象,分别对应着不同的页码范围,把他们存入列表

然后在后面的循环中,分别执行th.start(),开启线程,在后面,我们为了使这些异步并发执行的线程都执行完毕后再退出函数,这里使用了线程的join方法,等待各线程执行完毕

下面就是最激动人心的时候了,对代码进行测试

在这里,我们写下如下代码

# coding=utf-8
__Author__ = "susmote"

from mining_threading import multiple_threads_test

if __name__ == "__main__":
    mt = multiple_threads_test()
    print(‘mt‘, mt)

  

为了使测试结果更加精确,我们进行三次实验,取平均时间

第一次实验

使用时间6.651

第二次实验

使用时间6.876

第三次实验

使用时间6.960

平均时间如下

6.829

下面是单进程代码

# coding=utf-8
__Author__ = "susmote"

import time
from mining_func import get_urls_in_pages

def sigle_test():
    start_time = time.time()
    get_urls_in_pages(1, 32)
    end_time = time.time()
    print("共使用时间 : ", end_time - start_time)
    return end_time - start_time

  

调用函数如下

# coding=utf-8
__Author__ = "susmote"

from single_mining import single_test

if __name__ == "__main__":
    st = single_test()
    print(‘st ‘, st)

  

在命令行下执行

第一次

10.138

第二次

10.290

第三次

10.087

平均花费时间

10.171

所以说,多线程的确能够提高抓取的效率,注意,这是在数据比较少的情况进行的,如果数据量比较大的话,多线程的优势就很明显了

你可以自己去更改搜索关键词,和页码,或是重新找一个网页(抓取跟网速也有很大的关系)

附几张抓取数据的图

原文地址:https://www.cnblogs.com/susmote/p/8973047.html

时间: 2024-10-06 04:06:38

数据挖掘_多线程抓取的相关文章

数据挖掘_多进程抓取

之前说过Python的多线程只能运行在一个单核上,也就是各线程是以并发的方式异步执行的 这篇文章我们来聊聊Python多进程的方式 多进程依赖于所在机器的处理器个数,在多核机器上进行多进程编程时,各核上运行的进程之间是并行执行的,可以利用进程池,是每一个内核上运行一个进程,当翅中的进程数量大于内核总数时,待运行的进程会等待,直至其他进程运行完毕让出内核 多进程就相当于下面这种卖票的行为 在这里要注意,当系统内只有一个单核CPU是,多进程并不会发生,此时各进程会依次占用CPU运行至完成 我们可以通

PHP利用Curl实现多线程抓取网页和下载文件

PHP 利用 Curl  可以完成各种传送文件操作,比如模拟浏览器发送GET,POST请求等等,然而因为php语言本身不支持多线程,所以开发爬虫程序效率并不高,一般采集 数据可以利用 PHPquery类来采集数据库,在此之外也可以用 Curl ,借助Curl 这个功能实现并发多线程的访问多个url地址以实现并发多线程抓取网页或者下载文件. 至于具体实现过程,请参考下面几个例子: 1.实现抓取多个URL并将内容写入指定的文件 $urls = array( '路径地址', '路径地址', '路径地址

[Python爬虫] 之十:Selenium +phantomjs抓取活动行中会议活动(多线程抓取)

延续上个抓取活动行中会议活动的问题,上次使用是单线程的抓取,效率较低,现在使用多线程的抓取. 数据的抓取分为两个过程:首先获取每个关键字搜索结果对应的url和页数,保存在列表里面,这个过程用一个线程来实现(类似生产者),同时根据获取的关键字的url和页数,抓取对应的数据,这个过程用多线程来抓取(类似消费者) 这样整个抓取过程共用了144.366188 秒,采用单线程来进行抓取要用大概184秒,这样大概节省了40秒 具体代码如下: # coding=utf-8import osimport ref

用Python多线程抓取并验证代理

因为工作的关系,我写过许多个抓取网站信息的程序. 最简单的,只要用Python的urllib2.urlopen()函数就可以了: 然后,有个网站喜欢封人,所以,得找一批代理,轮流抓它的信息: 有的网站不允许程序抓取,所以,就得加入一些头信息: 有的网站需要登录,这时就要用到Cookies: 最后,为了提高效率,最好是使用多线程.(PS,有个地方要注意,urlopen这个函数,设定了一个全局对象opener,所以如果你使用了多个线程, 每个线程使用一个代理,那么,不能使用urlopen这个函数,而

HttpWebRequest多线程抓取17Track的物流信息

公司的一个系统需要去抓17Track的物流信息,贴上代码有需要的朋友可以参考一下↓ //17Track的抓取地址以及开启的线程数量 <add key="url" value="http://www.17track.net/restapi/handlertrack.ashx"/> <add key="threadCount" value="3"/> //使用HttpWebRequest去请求private

简单的使用php多线程抓取网页

PHP 利用 Curl Functions 可以完成各种传送文件操作,比如模拟浏览器发送GET,POST请求等等,受限于php语言本身不支持多线程,所以开发爬虫程序效率并不高,这时候往往需 要借助Curl Multi Functions 它可以实现并发多线程的访问多个url地址.既然 Curl Multi Function如此强大,能否用 Curl Multi Functions 来写并发多线程下载文件呢,当然可以,下面给出我的代码: <?php $urls = array( 'http://w

python多线程抓取代理服务器

文章转载自:https://blog.linuxeye.com/410.html 代理服务器:http://www.proxy.com.ru 1 #coding: utf-8 2 3 import urllib2 4 import re 5 import time 6 import threading 7 import MySQLdb 8 9 rawProxyList = [] 10 checkedProxyList = [] 11 12 #抓取代理网站 13 targets = [] 14 f

多线程抓取豆瓣编程书籍(linux\windows都可运行)

首先创建两个队列,queue队列存储要爬的网址,out_queue存储的是要取内容的网页源代码. 创建线程类,ThreadUrl的作用是从给定的网址上抓取网页内容,并将内容存储在out_queue队列上,而DatamineThread的作用是从网页源代码中通过正则来取想要的内容. 这个代码在window下运行的话就需要将.decode('utf8')那句话前面的#删除就ok了,编码方式需要改一下. 如果想自己编写的话,使用queue的时候一定不要忘了调用task_done()函数,不然程序将一直

多线程抓取异常

下面这段代码  可以看出  run方法里面会抛出一个异常.我们在主方法里面进行抓取.但是大家可以复制去测试.这个抓取异常中的代码不会运行 也就是没有抓取到. 在线程里面的异常主程序是无法抓取的. public static void main(String[] args) { try { T01 t01 = new T01(); t01.start(); } catch (Exception e) { System.out.println(1); } } } class T01 extends