批量采集世纪佳缘会员图片及winhttp异步采集效率

原始出处:http://www.cnblogs.com/Charltsing/p/winhttpasyn.html

最近老有人问能不能绕过世纪佳缘的会员验证来采集图片,我测试了一下,发现是可以的。

同时也测试了winhttp异步采集的效率。(在vba里面使用winhttp开发速度快)

经过测试,在网站不忙的情况下,检索一万个会员大约只需要三分钟或者更少的时间。

下面简单说一下如何使用winhttp做并发采集:

1、在类模块里面建立winhttp的各种事件,用于处理error和response数据。建立一个bool变量指示该实例是否空闲。

2、在标准模块中,根据uid自动生成url,并建立一个索引变量,用于指示已经发送的网站URL的序号。

3、在标准模块中创建winhttp实例数组,用于并发。数量推荐不要超过1000,具体和网络及电脑配置有关。

4、在do while循环中监测winhttp实例数组,如果有空闲的即设置url启动request。

具体winhttp类模块中的事件写法,请自行百度。

技术交流请联系qq:564955427

**

时间: 2024-10-27 07:05:34

批量采集世纪佳缘会员图片及winhttp异步采集效率的相关文章

查询,珍爱网ID,百合网ID,世纪佳缘ID,有缘网ID

在珍爱网,百合网,世纪佳缘等婚恋网上经常看到自己心爱的那位,可惜高额的会员费是漫漫银河,阻挡了我们联系.  珍心会员,不过是个幌子,骗我等辛苦钱,红娘不过是披着爱情的豺狼. 在此,推荐一个网站给大家分享 寻Ta网http://www.xunttt.com  ,通过这个网站可以查询到对方的联系方式,同时可以将自己的信息传递给你心目中那个它. 寻Ta网 才是真正的红娘,善良的红娘.

自娱自乐写爬虫 世纪佳缘篇

最近一段时间不知怎得像是中了什么魔怔,特别的想用python写一个网络爬虫,也许是看了知乎上的某位大牛的分享,深感能自己写一个程序在浩瀚的互联网数据海洋中发现有意思的数据的酷炫,抑或就是想单纯的体验一把程序猿的人生价值.在当我信誓旦旦的决定用一到两周准备实现这个宏伟的理想的时候,我马上就遇到了瓶颈,而且是必须快速解决的要给难题:我应该在互联网上爬点什么数据呢? 经过一番深入的考察,我发现婚恋网站是一个理想的目标,因为在博客园里面还从来没有看到过相关的帖子(其实博客园里面大部分帖子感觉挺水的),而

世纪佳缘推智能设备 是衰退迹象 还是第二春征兆?

已被业界忽视多时的互联网婚恋市场掀起新波澜.近期,世纪佳缘宣布将在5月内推出智能设备,这一消息因最先由极客男(搜狗CEO)王小川发出,而迅速引起媒体围观.按常理,婚恋网站与智能设备之间是八竿子打不着的关系,世纪佳缘此举究竟为了什么? 世纪佳缘的醒悟:做婚恋的却一直忘记"做婚恋" 在1年半以前,接替龚海燕出任CEO后,吴琳光对世纪佳缘进行了深刻反思,随后果断砍掉前任CEO重点打造的婚庆网站--喜鹊网.吴琳光认为,婚介.婚恋.婚庆,是两个异性从介绍认识到相恋,到走上婚姻的三个阶段,而世纪佳

1024,节日快乐!找呀找呀找朋友(来自世纪佳缘的小偷爬虫程序)

十月二十四日,1024,程序员的节日~ 祝大家 节日快乐了! 今晚别加班,下面给你吃! 不要委屈了自己,晚上回家吃顿好的把. 正文 一直都对爬虫,数据方面挺感兴趣的,也爬过很多数据.当然了,必须使用的是c#了~~ 今天公布一个很早之前做的小偷程序.数据来自世纪佳缘. Demo: find.izk.cloud 无图无真相 说明 我是直接在世纪佳缘的页面找到接口地址,然后构造相关参数,进行post请求,然后数据就出来了...就这样出来了!!! 像这种公开了接口,还没做任何限制的,简直是...不要太简

世纪佳缘登录之二,修改

今天发现世纪佳缘的以前登录代码不行了,登录不成功.打印content后有毛病,没跳转过去. 需要再次请求一下登录后返回的<script type='text/javascript'>window.location.replace()中的url. 登录代码改成如下,就是需要多点击一次. #-*-coding:utf-8-*- import requests,re header={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWe

(转)Python网络爬虫实战:世纪佳缘爬取近6万条数据

又是一年双十一了,不知道从什么时候开始,双十一从“光棍节”变成了“双十一购物狂欢节”,最后一个属于单身狗的节日也成功被攻陷,成为了情侣们送礼物秀恩爱的节日. 翻着安静到死寂的聊天列表,我忽然惊醒,不行,我们不能这样下去,光羡慕别人有什么用,我们要行动起来,去找自己的幸福!!! 我也想“谈不分手的恋爱” !!!内牛满面!!! 注册登陆一气呵成~ 筛选条件,嗯...性别女,年龄...18到24岁,身高嘛,无所谓啦,就按默认155-170吧,地区...嗯北京好,北京近一点,照片?那肯定要啊,必须的!!

采集百度搜寻结果,图片不显示的解决方法

1.根据关键字采集百度搜寻结果 根据关键字采集百度搜寻结果,可以使用curl实现,代码如下: <?php function doCurl($url, $data=array(), $header=array(), $timeout=30){ $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_HTTPHEADER, $header); curl_setopt($ch, CURLOPT_R

Android:ViewPager扩展详解——带有导航的ViewPagerIndicator(附带图片缓存,异步加载图片)

大家都用过viewpager了, github上有对viewpager进行扩展,导航风格更加丰富,这个开源项目是ViewPagerIndicator,很好用,但是例子比较简单,实际用起来要进行很多扩展,比如在fragment里进行图片缓存和图片异步加载. 下面是ViewPagerIndicator源码运行后的效果,大家也都看过了,我多此一举截几张图: 下载源码请点击这里 ===========================================华丽的分割线==============

WP_图片管理机制/异步读取网络图片

项目有这样的需求, 要求窗口加载一揽子图片,为了不让UI阻塞太久,采用异步读取后绑定显示的方案. 图片的下载应该采用并发的过程(等待网络响应会很耗时,一张一张的下载,等待时间太长) 图片的下载不能占用过多的线程数,应有个阀值(图片不是核心业务,不能占用那么多资源) 在图片加载的过程中,如果用户有操作,比如窗口跳转,则未加载完成的图片加载的过程应取消(为了替用户节省流量). 需求就是这么多了,如何实现呢? 思路是这样的,由于需要异步,且需要等待,首先想到使用队列,先让队列排列起来,再定量迭代读取.