python爬虫爬取美女图片

python 爬虫爬取美女图片

#coding=utf-8

import urllib
import re
import os
import time
import threading

def getHtml(url):
    page = urllib.urlopen(url)
    html = page.read()
    return html

def getImgUrl(html,src):
    srcre = re.compile(src)
    srclist = re.findall(srcre,html)
    return srclist

def getImgPage(html):
    url = r'http://.*\.html'
    urlre = re.compile(url)
    urllist = re.findall(urlre,html)
    return urllist

def downloadImg(url):
    html = getHtml(url)
    src = r'rel=.*\.jpg'
    srclist = getImgUrl(html,src)
    srclist2 = []
    for srcs in srclist:
        temp = srcs.replace("'",'"')
        temp = temp.split('"')
        srclist2.append(temp[1])

    for srcurl in srclist2:
        imgName = srcurl.replace(':','_')
        imgName = imgName.replace('/','_')
        print 'download pic %s .........' % srcurl
        if os.path.isfile('pic/%s' % imgName):
            continue
        urllib.urlretrieve(srcurl,'pic/%s' % imgName)

class MyThread(threading.Thread):
    def __init__(self,urllist):
        threading.Thread.__init__(self)
        self.urllist = urllist

    def run(self):
        for u in self.urllist:
            downloadImg(u)

def main():
    url = 'http://www.6188.net/'
    html = getHtml(url)
    urllist = getImgPage(html)

    urllist2 = []

    length = len(urllist) / 7
    for i in range(1,8):
        temp = urllist[(i-1)*length:i*length]
        urllist2.append(temp)

    for u in urllist2:
        t = MyThread(u)
        t.start()

main()
时间: 2024-10-22 01:22:54

python爬虫爬取美女图片的相关文章

Python爬虫爬取网页图片

没想到python是如此强大,令人着迷,以前看见图片总是一张一张复制粘贴,现在好了,学会python就可以用程序将一张张图片,保存下来. 今天逛贴吧看见好多美图,可是图片有点多,不想一张一张地复制粘贴,怎么办呢?办法总是有的,即便没有我们也可以创造一个办法. 下面就看看我今天写的程序: #coding=utf-8 #urllib模块提供了读取Web页面数据的接口 import urllib #re模块主要包含了正则表达式 import re #定义一个getHtml()函数 def getHtm

Python爬虫 —— 抓取美女图片

代码如下: 1 #coding:utf-8 2 # import datetime 3 import requests 4 import os 5 import sys 6 from lxml import etree 7 import codecs 8 9 class Spider: 10 def __init__(self): 11 self.headers = {} 12 self.headers['User_Agent'] = 'Mozilla/5.0 (Windows NT 10.0;

一个简单的网络爬虫-从网上爬取美女图片

CrawlerPicture.java 文件 package com.lym.crawlerDemo; import java.io.DataInputStream; import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.net.URL; import java.util.ArrayList; import

Scrapy爬取美女图片 (原创)

有半个月没有更新了,最近确实有点忙.先是华为的比赛,接着实验室又有项目,然后又学习了一些新的知识,所以没有更新文章.为了表达我的歉意,我给大家来一波福利... 今天咱们说的是爬虫框架.之前我使用python爬取慕课网的视频,是根据爬虫的机制,自己手工定制的,感觉没有那么高大上,所以我最近玩了玩 python中强大的爬虫框架Scrapy. Scrapy是一个用 Python 写的 Crawler Framework ,简单轻巧,并且非常方便.Scrapy 使用 Twisted 这个异步网络库来处理

Scrapy爬取美女图片续集 (原创)

上一篇咱们讲解了Scrapy的工作机制和如何使用Scrapy爬取美女图片,而今天接着讲解Scrapy爬取美女图片,不过采取了不同的方式和代码实现,对Scrapy的功能进行更深入的运用. 在学习Scrapy官方文档的过程中,发现Scrapy自身实现了图片和文件的下载功能,不需要咱们之前自己实现图片的下载(不过原理都一样). 在官方文档中,我们可以看到下面一些话:Scrapy为下载item中包含的文件(比如在爬取到产品时,同时也想保存对应的图片)提供了一个可重用的 item pipelines .

Scrapy爬取美女图片第三集 代理ip(上) (原创)

首先说一声,让大家久等了.本来打算520那天进行更新的,可是一细想,也只有我这样的单身狗还在做科研,大家可能没心思看更新的文章,所以就拖到了今天.不过忙了521,522这一天半,我把数据库也添加进来了,修复了一些bug(现在肯定有人会说果然是单身狗). 好了,废话不多说,咱们进入今天的主题.上两篇 Scrapy爬取美女图片 的文章,咱们讲解了scrapy的用法.可是就在最近,有热心的朋友对我说之前的程序无法爬取到图片,我猜应该是煎蛋网加入了反爬虫机制.所以今天讲解的就是突破反爬虫机制的上篇 代理

python爬虫-爬取盗墓笔记

本来今天要继续更新 scrapy爬取美女图片 系列文章,可是发现使用免费的代理ip都非常不稳定,有时候连接上,有时候连接不上,所以我想找到稳定的代理ip,下次再更新  scrapy爬取美女图片之应对反爬虫  文章. 好了,废话不多说,咱们进入今天的主题.这一篇文章是关于爬取盗墓笔记,主要技术要点是scrapy的使用,scrapy框架中使用mongodb数据库,文件的保存. 这次爬取的网址是  http://seputu.com/.之前也经常在上面在线看盗墓笔记.  按照咱们之前的学习爬虫的做法,

Python爬虫抓取网页图片

本文通过python 来实现这样一个简单的爬虫功能,把我们想要的图片爬取到本地. 下面就看看如何使用python来实现这样一个功能. # -*- coding: utf-8 -*- import urllib import re import time import os #显示下载进度 def schedule(a,b,c): ''''' a:已经下载的数据块 b:数据块的大小 c:远程文件的大小 ''' per = 100.0 * a * b / c if per > 100 : per =

python爬虫爬取csdn博客专家所有博客内容

python爬虫爬取csdn博客专家所有博客内容: 全部过程采取自动识别与抓取,抓取结果是将一个博主的所有 文章存放在以其名字命名的文件内,代码如下 结果如下: 版权声明:本文为博主原创文章,未经博主允许不得转载.