使用coro+anyevent 异步协程获取IP运营商

主要使用coro协程+AnyEvent::HTTP::LWP::UserAgent 异步http请求,查询数据库中IP字段,返回运营商。如需要获取其他类型的字段,修改正则即可,

此方法的好处是,不需要获取本地IP库,提高IP精准度。缺点,需要很好的网络质量。CODE如下:

#查询IP的网络提供商
sub search_ip_area {
    my $self = shift;
    my ( $dsn, $dbuser, $dbpass, $ips ) = @_;
    my $ua = AnyEvent::HTTP::LWP::UserAgent->new;
    my $dbh = AnyEvent::DBI::MySQL->connect( $dsn, $dbuser, $dbpass );
    my $ipArea;

#定义运营商字段
    my $operators = {
        "\xe7\x94\xb5\xe4\xbf\xa1" => ‘telecom‘,
        "\xe7\xa7\xbb\xe5\x8a\xa8" => ‘mobile‘,
        "\xe8\x81\x94\xe9\x80\x9a" => ‘unicom‘,
        "\xe6\x9c\xaa\xe7\x9f\xa5" => ‘unknowPublic‘
    };
    my @coro = map {
        my ( $ip, $id ) = split /:/, $_;
        my $url = "http://www.baidu.com/s?wd=$ip";

        async {
            my $r       = $ua->get($url);
            my $content = $r->content;

#正则提取运营商
            if ( $content
                =~ /<div[^\"]+\".*?op-ip-detail\">[\s\S]+?<\/span>\S+\s+([^<]+)<\/td/g
                )
            {
                my $ipHash;
                my $area = $1;
                $area =~ s/\s+//g;

#匹配电信、移动、联通、腾讯集团

#\xe7\x94\xb5\xe4\xbf\xa1 电信

#\xe7\xa7\xbb\xe5\x8a\xa8 移动

#\xe8\x81\x94\xe9\x80\x9a 联通

#\xe8\x85\xbe\xe8\xae\xaf\xe9\x9b\x86\xe5\x9b\xa2 腾讯集团
                if ( $area
                    =~ /(\xe7\x94\xb5\xe4\xbf\xa1|\xe7\xa7\xbb\xe5\x8a\xa8|\xe8\x81\x94\xe9\x80\x9a)/
                    )
                {

#插入运营商字段
                    $ipHash->{$id} = $ip;

                    update_pt_data( $dbh, $ipHash,
                        ‘system_info‘, $operators->{$1}, ‘id‘ );
                    $ipArea->{"$ip:$id"} = $operators->{$1};
                }
                elsif ( $area
                    =~ /\xe8\x85\xbe\xe8\xae\xaf\xe9\x9b\x86\xe5\x9b\xa2/ )
                {
#对特殊字段 腾讯集团处理
                    $ipHash->{$id} = $ip;

                    update_pt_data( $dbh, $ipHash, ‘system_info‘,
                        $operators->{"\xe7\x94\xb5\xe4\xbf\xa1"}, ‘id‘ );
                    $ipArea->{"$ip:$id"}
                        = $operators->{"\xe7\x94\xb5\xe4\xbf\xa1"};
                }
                else {
#对未知运营商处理,并且处理
                    $ipHash->{$id} = $ip;

                    update_pt_data( $dbh, $ipHash, ‘system_info‘,
                        $operators->{"\xe6\x9c\xaa\xe7\x9f\xa5"}, ‘id‘ );
                    $ipArea->{"$ip:$id"}
                        = $operators->{"\xe6\x9c\xaa\xe7\x9f\xa5"};
                }

            }
            else {
                $ipArea->{"$ip:$id"}
                    = $operators->{"\xe6\x9c\xaa\xe7\x9f\xa5"};
            }
        }
    } keys %$ips;
    for (@coro) {
        $_->join;
    }
    return $ipArea;

}
时间: 2024-10-09 05:06:50

使用coro+anyevent 异步协程获取IP运营商的相关文章

python爬虫--多任务异步协程, 快点,在快点......

多任务异步协程asyncio 特殊函数: - 就是async关键字修饰的一个函数的定义 - 特殊之处: - 特殊函数被调用后会返回一个协程对象 - 特殊函数调用后内部的程序语句没有被立即执行 - 协程 - 对象.协程==特殊的函数.协程表示的就是一组特定的操作. - 任务对象 - 高级的协程(对协程的进一步的封装) - 任务对象==协程==特殊的函数 - 任务对象==特殊的函数 - 绑定回调: - task.add_done_callback(task) - 参数task:当前回调函数对应的任务

爬虫第四章 单线程+多任务异步协程

单线程+多任务异步协程: asyncio 事件循环 loop: 无限循环的对象,事件循环中最终需要将一些特殊的函数注册到该事件循环中 特殊的函数: 被ansyc关键字修饰的函数 协程: 本质上是一个对象,可以把协程对象注册到事件循环中, 任务对象:就是对协程对象进一步的封装. 绑定回调函数(即在执行完特殊函数之后执行这个回调函数):task.add_done_callback(func) - func(task) :task 参数表示的就是绑定的任务对象 - task.result() 返回的就

单线程+异步协程

event_loop:事件循环,相当于一个无限循环(不清楚循环多少次),我们可以把一些特殊函数注册(放置)到这个事件循环上,当满足某些条件的时候,函数就会被循环执行.程序是按照设定的顺序从头执行到尾,运行的次数也是完全按照设定.当在编写异步程序时,必然其中有部分程序的运行耗时是比较久的,需要先让出当前程序的控制权,让其在背后(挂起)运行,让另一部分的程序先运行起来.当背后运行的程序完成后,也需要及时通知主程序已经完成任务可以进行下一步操作,但这个过程所需的时间是不确定的,需要主程序不断的监听状态

爬虫 + 数据分析 - 4 异步协程, selenium使用, 自动登录

一.单线程+异步协程 1.基本概念: event_loop:事件循环,相当于一个无限循环,我们可以把一些特殊函数注册(放置)到这个事件循环上, 当满足某些条件的时候,函数就会被循环执行.程序是按照设定的顺序从头执行到尾,运行的次数也是完全按照设定. 当在编写异步程序时,必然其中有部分程序的运行耗时是比较久的,需要先让出当前程序的控制权,让其在背后运行, 让另一部分的程序先运行起来.当背后运行的程序完成后,也需要及时通知主程序已经完成任务可以进行下一步操作, 但这个过程所需的时间是不确定的,需要主

单线程实现了多任务异步协程

单线程+多任务异步协程: 意义:提升爬取数据的效率,我们也可以使用线程池, 异步爬虫方式: 多线程/多进程(电脑吃不消,没办法无节制开启)不建议 池:池中的线程或进程也是无法任意开启. 单线程+多任务异步协程(推荐)(500个协程,最优) 概念: 协程:本质就是一个对象,协程对象,怎么去获取?可以使用asynic该关键字去修饰一个函数定义,此时的函数就叫它特殊函数,当该特殊函数被调用之后,就可以返回一个协程对象,特殊之处不仅仅是返回一个协程对象,当函数内部实现的语句不会被立即执行(时间循环开启后

单线程多任务异步协程

目录  1. 概念讲解 2. 多任务异步协程理解 3.基于aiohttp模块异步网络请求实现数据爬取及数据解析 一.需要了解的概念 特殊函数:如果async修饰了一个函数的定义,那么该函数就变成了一个特殊函数, 特殊之处:特殊函数被调用后函数内部实现语句不会被立即执行 该函数调用之后会返回一个协程对象 协程对象:特殊函数调用后可以返回一个协程对象 协程 == 特殊函数 任务对象:对协程对象的进一步封装,就是一个高级协程对象 任务对象 == 协程对象 == 特殊的函数 绑定回调:task.add_

爬虫速度太慢?来试试用异步协程提速吧!

1. 前言 在执行一些 IO 密集型任务的时候,程序常常会因为等待 IO 而阻塞.比如在网络爬虫中,如果我们使用 requests 库来进行请求的话,如果网站响应速度过慢,程序一直在等待网站响应,最后导致其爬取效率是非常非常低的. 为了解决这类问题,本文就来探讨一下 Python 中异步协程来加速的方法,此种方法对于 IO 密集型任务非常有效.如将其应用到网络爬虫中,爬取效率甚至可以成百倍地提升. 注:本文协程使用 async/await 来实现,需要 Python 3.5 及以上版本. 2.

多任务异步协程,asyncio及aiohttp

要实现异步协程,需要满足几个条件: 1,创建协程对象,且协程内部操作需要支持异步. 2,创建任务对象,如需为协程执行结果进行进一步处理,则需要为任务对象绑定回调函数. 3,创建事件循环,并将任务启动. 1 import asyncio 2 import requests 3 from lxml import etree 4 import aiohttp 5 import os 6 7 headers = { 8 9 'User-Agent': 'Mozilla/5.0 (Windows NT 1

06爬虫-异步协程

1. 前言(目的就是大大提升爬虫效率) 在执行IO密集型任务的时候,代码常常遇到IO操作而等待.例如我们在爬虫的时候,用到requests请求的时候,网页响应慢,一直等待着,那么爬虫的效率会大大的降低. 为了解决这类问题,本文就来探讨一下 Python 中异步协程来加速的方法,此种方法对于 IO 密集型任务非常有效.如将其应用到网络爬虫中,爬取效率甚至可以成百倍地提升. 注:本文协程使用 async/await 来实现,需要 Python 3.5 及以上版本. 2. 基本了解 在了解异步协程之前