批量域名dig---使用协程

#!/usr/bin/env python
# _*_coding:utf-8_*_

from gevent import monkey
import gevent
import time
import dns.resolver
monkey.patch_socket()

class MyGeven:

def __init__(self):
        self.data = {}

def get_dig_domain(self, domain):
                res = dns.resolver.query(domain, 1)
        for i in res.response.answer:
                for j in i.items:
                 if j.rdtype == 5:
               find_res = j.to_text().find(‘***dns.com‘)
                         self.data[domain] = 0 if find_res != -1 else -1
                 else:
                         self.data[domain] = -1
                break

def gprobe(self, domain_list):
        jobs = []
        for domain in domain_list:
            jobs.append(gevent.spawn(self.get_dig_domain, domain))
        gevent.joinall(jobs)

if __name__ == ‘__main__‘:
    start_ts = time.time()
    print "start....."
    domain_list = [
            "www.baidu.com",
                "www.qq.com",
                "www.163.com",
            "dl.3366.com"
    ]
    obj = MyGeven()
    obj.gprobe(domain_list)
    print "请求数:", len(domain_list), "耗时:", time.time() - start_ts, "s"
    print "域名dig:", obj.data

时间: 2024-11-05 20:47:30

批量域名dig---使用协程的相关文章

协程-gevent

协程用gevent实现, 依赖libevent和greenlet###安装1. 安装libevent   yum install libevent 2. 安装easy_install  [1]wget -q http://peak.telecommunity.com/dist/ez_setup.py  [2]python ez_setup.py  [3]使用easy_install 查看命令是否可用,如果不可用可以讲路径加入到PATH中 3. 安装greenlet    [1]yum insta

基于协程的爬虫

基于gevent(协程),抓取站点的所有url 说到协程,协程不是进程或线程,其执行过程更类似于子例程,或者说不带返回值的函数调用. 协程在执行过程中遇到阻塞时转而执行别的子程序,阻塞结束后再返回来接着执行. 在gevent里面,上下文切换是通过yielding来完成的 代码中用到requests,xpath 如果有不懂xpath的小伙伴 --> 传送门 requests不理解的小伙伴 -->传送门 monkey.patch_all()用来在运行时动态修改已有的代码,而不需要修改原始代码官方文

状态机/迭代器/LINQ/协程

状态机 有限状态机(Finite State Machine 或 Finite State Automata)是软件领域中一种重要的工具. 状态机允许一个对象在其内部状态改变时改变它的行为.对象内部状态决定行为方式,对象状态改变行为方式改变,这里强调内部状态. Command 模式是将命令请求封装成一个为对象,将不同的请求对象参数化以达到同样的调用执行不同的命令: State 模式是将对象的状态封装成一个对象,是在不同的状态下同样的调用执行不同的操作. 迭代器是一个典型的状态机例子,后续会讲解.

深入理解协程(四):async/await异步爬虫实战

本文目录: 同步方式爬取博客标题 async/await异步爬取博客标题 本片为深入理解协程系列文章的补充. 你将会在从本文中了解到:async/await如何运用的实际的爬虫中. 案例 从CSDN上批量爬取指定文章的标题.文章列表如下: urls = [ 'https://blog.csdn.net/Jmilk/article/details/103218919', 'https://blog.csdn.net/stven_king/article/details/103256724', 'h

关于Unity协程(Coroutine)

协程官方doc解释A coroutine is a function that can suspend its execution(yield) until the given given YieldInstruction finishes. StartCoroutine开启协程 先执行协程中的代码 碰到yield return时控制权交给unity引擎 引擎继续做接下来的工作例如第一次yield return之后执行StartCoroutine下一行代码 直到满足yield指令的要求才会重新进

Gevent的socket协程安全性分析

一般讨论socket的并发安全性,都是指线程的安全性...而且绝大多数的情况下socket都不是线程安全的.. 当然一些框架可能会对socket进行一层封装,让其成为线程安全的...例如java的netty框架就是如此,将socket封装成channel,然后让channel封闭到一个线程中,那么这个channel的所有的读写都在它所在的线程中串行的进行,那么自然也就是线程安全的了..... 其实很早看Gevent的源码的时候,就已经看过这部分的东西了,当时就已经知道gevent的socket不

PHP实现协程

在服务器编程当中,为了实现异步,经常性的需要回调函数,例如以下这段代码 function send($value) { $data = process($value); onReceive($data); } function onReceive($recv_value) { var_dump($recv_value); } function process($value) { return $value+1; } $send_value = 1; send($send_value); 实现的东

python并发编程之---协程

1.什么是协程 协程:是单线程下的并发,又称微线程,纤程. 协程是一种用户态的轻量级线程,协程是由用户程序自己控制调度的. 2.需要注意的点: 需要强调的是: #1. python的线程属于内核级别的,即由操作系统控制调度(如单线程遇到io或执行时间过长就会被迫交出cpu执行权限,切换其他线程运行) #2. 单线程内开启协程,一旦遇到io,就会从应用程序级别(而非操作系统)控制切换,以此来提升效率(!!!非io操作的切换与效率无关) 对比操作系统控制线程的切换,用户在单线程内控制协程的切换 优点

python协程有多厉害?

爬一个××网站上的东西,测算了一下协程的速度提升到底有多大,网站链接就不放了... import requests from bs4 import BeautifulSoup as sb import lxml import time url = 'http://www.××××.com/html/part/index27_' url_list = [] start = time.time() for i in range(2,47): print('get page '+str(i)) hea