爬虫爬取360安全卫士对某一个号码的标识

手机客户端通常会安装了一些类似360安全卫士,手机安全卫士等等诸如此类的软件,这些软件可以标识过滤一些电话号码是诈骗电话、骚扰电话或广告推销............

由于公司是线商业务,很多号码配置给客户作为电话销售使用从而被标识为各种性质的标记,需要把一些不利于被人接受的号码过滤掉。考虑到号码众多,一个个查看显然工作量大,时效低。从而考虑到用python爬虫收集数据

实例:

#!/usr/bin/env python

#coding:utf-8

#author : soul

import sys

reload(sys)

import requests

import urllib,urllib2

from bs4 import BeautifulSoup

sys.setdefaultencoding(‘utf-8‘)

f = open("/home/py/test1.txt","rw+")             #打开test1.txt号码数据表

w = open("/home/py/result.txt","rw+")            #打开一个空文本,用于写入结果值。

a = f.readlines()                                #一行行读取test1.txt数据表

abc = ‘诈骗电话‘

for h in a:

i = h.strip()

url = ‘https://www.so.com/s?q=%s‘ % i                                                                                      #url 为https://www.so.com/s?q=02081452010 将号码赋值给i

page = urllib2.urlopen(url)

number = i

soup = BeautifulSoup(page)

for e in soup.findAll(‘span‘,{‘style‘:‘background-color:#e76639‘}):

result1 = e.get_text().split("|")

for term1 in result1:

xingzhi = term1

for f in soup.findAll(‘b‘):

result2 = f.get_text().split("|")

for term2 in result2:

biaoshi = term2

if xingzhi == abc:

print ‘\033[33mThe number %s marked as %s about %s\033[0m‘ % (number,xingzhi,biaoshi)

result = ‘%s %s %s‘ % (number,xingzhi,biaoshi)

w.writelines(result + "\n")         #用writelines 将结果写入result.txt

xingzhi = ‘未收录‘                              #初始化 将xingzhi 设置为未收录 标识为0

biaoshi = 0

test1.txt

结果:

时间: 2024-07-31 10:02:27

爬虫爬取360安全卫士对某一个号码的标识的相关文章

Node.js爬虫-爬取慕课网课程信息

第一次学习Node.js爬虫,所以这时一个简单的爬虫,Node.js的好处就是可以并发的执行 这个爬虫主要就是获取慕课网的课程信息,并把获得的信息存储到一个文件中,其中要用到cheerio库,它可以让我们方便的操作HTML,就像是用jQ一样 开始前,记得 npm install cheerio 为了能够并发的进行爬取,用到了Promise对象 //接受一个url爬取整个网页,返回一个Promise对象 function getPageAsync(url){ return new Promise(

如何防止网站被爬虫爬取的几种办法

如何防止网站被爬虫爬取的几种办法 小 中 大 chen 2013-10-08 23:26 Linux 547 次浏览 抢沙发 今天想对一个问题进行分析和讨论,就是关于爬虫对网站页面爬取的问题,有些网站通过爬虫去采集其它的网站页面信息作为己用,大量的爬取行为会对web服务器有比较性能有影响,主要的表现就是会变得很慢. 对于如何防止网站被爬取,我想从以下几种方法去分析: 1.基于程序本身去防止爬取:作为爬虫程序,爬取行为是对页面的源文件爬取,如爬取静态页面的html代码,可以用jquery去模仿写h

Python编写网页爬虫爬取oj上的代码信息

OJ升级,代码可能会丢失. 所以要事先备份. 一开始傻傻的复制粘贴, 后来实在不能忍, 得益于大潇的启发和聪神的原始代码, 网页爬虫走起! 已经有段时间没看Python, 这次网页爬虫的原始代码是 python2.7版本, 试了一下修改到3.0版本, 要做很多包的更替,感觉比较烦,所以索性就在这个2.7版本上完善了. 首先观赏一下原始代码,我给加了一些注释: # -*- coding: cp936 -*- import urllib2 import urllib import re import

用Python爬虫爬取广州大学教务系统的成绩(内网访问)

用Python爬虫爬取广州大学教务系统的成绩(内网访问) 在进行爬取前,首先要了解: 1.什么是CSS选择器? 每一条css样式定义由两部分组成,形式如下: [code] 选择器{样式} [/code] 在{}之前的部分就是"选择器"."选择器"指明了{}中的"样式"的作用对象,也就是"样式"作用于网页中的哪些元素.可参考:http://www.w3school.com.cn/cssref/css_selectors.asph

如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下)

前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往下继续深入. 一.代码实现 1.修改Scrapy项目中的items.py文件.我们需要获取的数据是朋友圈和发布日期,因此在这里定义好日期和动态两个属性,如下图所示. 2.修改实现爬虫逻辑的主文件moment.py,首先要导入模块,尤其是要主要将items.py中的WeixinMomentItem类导入进来,这点要特别小心别被遗漏了.之后修改start_requests方

淘宝密码(爬虫爬取淘宝美食的数据源码)

淘宝密码(爬虫爬取淘宝美食的数据源码) 正则匹配找规律 import re import requests # 在搜索框中输入美食得到的数据q=%E7%BE%8E%E9%A3%9Furl = 'https://s.taobao.com/search?q=%E7%BE%8E%E9%A3%9F'response = requests.get(url)# print(response.text) # 用正则对html源码进行解析到一个json数据pattern = re.compile('g_page

Python爬虫爬取数据的步骤

爬虫: 网络爬虫是捜索引擎抓取系统(Baidu.Google等)的重要组成部分.主要目的是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份. 步骤: 第一步:获取网页链接 1.观察需要爬取的多网页的变化规律,基本上都是只有小部分有所变化,如:有的网页只有网址最后的数字在变化,则这种就可以通过变化数字将多个网页链接获取: 2.把获取得到的多个网页链接存入字典,充当一个临时数据库,在需要用时直接通过函数调用即可获得: 3.需要注意的是我们的爬取并不是随便什么网址都可以爬的,我们需要遵守我们的

python爬虫—爬取英文名以及正则表达式的介绍

python爬虫—爬取英文名以及正则表达式的介绍 爬取英文名: 一.  爬虫模块详细设计 (1)整体思路 对于本次爬取英文名数据的爬虫实现,我的思路是先将A-Z所有英文名的连接爬取出来,保存在一个csv文件中:再读取csv文件当中的每个英文名链接,采用循环的方法读取每一个英文名链接,根据每个英文名链接爬取每个链接中的数据,保存在新的csv文件当中. 需要写一个爬取英文名链接的函数.将爬取的内容保存在csv文件的函数以及读取csv文件内容的函数.爬取英文名详情页内容的函数. 表5.3.1 函数名

Java爬虫爬取 天猫 淘宝 京东 搜索页和 商品详情

Java爬虫爬取 天猫 淘宝 京东 搜索页和 商品详情 先识别商品url,区分平台提取商品编号,再根据平台带着商品编号爬取数据. 1.导包 <!-- 爬虫相关Jar包依赖 --> <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi-ooxml</artifactId> <version>3.10-FINAL</version> </