福利贴——爬取美女图片的Java爬虫小程序代码

自己做的一个Java爬虫小程序

废话不多说，先上图。

文件夹命名是用标签缩写，如果大家看得不顺眼可以等下载完成后手动改一下，比如像有强迫症的我一样。。。

这是挂了一个晚上下载的总大小，不过还有很多因为一些问题没有遍历下载到，而且会产生很多空文件，最下面我附带了一个递归删除空文件夹的小程序代码。

接下来是文件夹内部~

图片存放位置默认为d:\picture，可在程序中更改，main函数的开头就是，有注释。爬取的网站为http://www.mmonly.cc/，大家有更好的资源网站可以私我。

爬虫源代码百度云链接：http://pan.baidu.com/s/1i43WV5r 密码：8sdf

清理空文件夹源代码链接：http://pan.baidu.com/s/1o8wB0RC 密码：z8ce

最后就是代码啦。代码挺长的，复制拉取的童鞋们辛苦一下啦。

GetEveryPictures.java

import java.io.BufferedInputStream;
import java.io.BufferedOutputStream;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.Iterator;
import java.util.LinkedHashMap;
import java.util.LinkedList;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class GetEveryPictures
{

    public static void main( String[] args ) throws InterruptedException
    {
        //此处可修改图片存放位置，默认为d盘下的pictures文件夹
        File dir = new File( "d:\\pictures\\" );

        /**************************************************/
        // http://www.mmonly.cc/mmtp/xgmn/ : 10 : 169
        // http://www.mmonly.cc/mmtp/swmn/ : 11 : 53
        // http://www.mmonly.cc/mmtp/hgmn/ : 12 : 23
        // http://www.mmonly.cc/mmtp/wgmv/ 51
        // http://www.mmonly.cc/mmtp/bjnmn/ 33
        // http://www.mmonly.cc/mmtp/nymn/ 59
        // http://www.mmonly.cc/mmtp/qcmn/ 80
        // http://www.mmonly.cc/mmtp/ctmn/ 28
        // http://www.mmonly.cc/mmtp/mnmx/ 90
        // http://www.mmonly.cc/mmtp/jpmn/ 30

        int[] pages = {169, 53, 23, 51, 33, 59, 80, 28, 90, 30};
        String url_str = "http://www.mmonly.cc/mmtp/";
        String[] indexname = {"xgmn", "swmn", "hgmn", "wgmv", "bjnmn", "nymn",
                "qcmn", "ctmn", "mnmx", "jpmn",};
        int no;
        String[] regex = {
                "http://www\\.mmonly\\.cc/mmtp/[a-zA-Z]+/\\d+\\.html\"><img",
                "http://www\\.mmonly\\.cc/mmtp/[a-z]+/\\d+"};
        String title_regex = "alt=\"[\\u4E00-\\u9FA5\\w\\s\\-]+\"\\ssrc=\"";
        String[] picture_regex = {
                "src=\"http://t1\\.mmonly\\.cc/uploads/.+\\.jpg\" /></a></p>",
                "http://t1\\.mmonly\\.cc/uploads/.+\\.jpg"};

        for( int i = 0; i < indexname.length; i++ )
        {
            String index = indexname[i];
            String url = url_str + index + "/";
            no = 10 + i;
            File dir_file = new File( dir, index );
            int page = pages[i];
            for( int j = 1; j <= page; j++ )
            {
                Task task = new Task( dir_file, url, no, regex, title_regex,
                        picture_regex, j, j );
                new Thread( task ).start();
                if( j % 10 == 0 )
                    Thread.sleep( 20000 );
            }
            // Thread.sleep( 60000 );
        }
    }
}

class Task implements Runnable
{
    File dir;
    String url_str;
    int no, begin, end;
    String regex1;
    String regex2;
    String title_regex;
    String[] picture_regex = new String[2];

    public Task( File dir, String url_str, int no, String[] regex,
            String title_regex, String[] picture_regex, int end )
    {
        this( dir, url_str, no, regex, title_regex, picture_regex, 1, end );
    }

    public Task( File dir, String url_str, int no, String[] regex,
            String title_regex, String[] picture_regex, int begin, int end )
    {
        this.dir = dir;
        this.url_str = url_str;
        this.no = no;
        this.begin = begin;
        this.end = end;
        regex1 = regex[0];
        regex2 = regex[1];
        this.picture_regex[0] = picture_regex[0];
        this.picture_regex[1] = picture_regex[1];
        this.title_regex = title_regex;
    }

    @Override
    public void run()
    {
        WebsitList websitList = new WebsitList( url_str, no, begin, end, regex1,
                regex2, title_regex );
        try
        {
            websitList.initUrls();
        } catch( IOException e1 )
        {
            System.out.println( url_str + "已跳过" );
        }
        Iterator<String> iterator = websitList.urls.keySet().iterator();
        int i = 0;
        while( iterator.hasNext() )
        {
            i++;
            try
            {
                String main = iterator.next();
                String title = websitList.urls.get( main );
                System.out.println( main + ":" + title );

                DetailPage detailPage = new DetailPage( main, title,
                        picture_regex );
                detailPage.initSrcs();
                detailPage.downloadAll( dir );
            } catch( Exception e )
            {
                continue;
            }

            // 每下载完6个页面的图片休眠10秒，防止过于频繁访问断开连接
            if( i % 6 == 0 )
            {
                System.out.println( "休息10秒" );
                for( int j = 0; j < 10; j++ )
                {
                    try
                    {
                        Thread.sleep( 1000 );
                    } catch( InterruptedException e )
                    {
                        e.printStackTrace();
                    }
                }
                System.out.println();
            }
        }
    }

}

/**
 * @classname WebsitList
 * @author LiShengc
 */
class WebsitList
{
    // http://www.169bb.com/xingganmeinv/list_1_1.html
    // ^[u4E00-u9FA5a-zA-Z]{2,}$
    private static String title_regex2 = "[\u4e00-\u9fa5\\w\\-]*[\u4e00-\u9fa5][\u4e00-\u9fa5\\w\\-]*";
    private static Pattern title_pattern2 = Pattern.compile( title_regex2 );

    private String pre_url;
    int begin, end;
    int num;
    Pattern pattern1, pattern2, title_pattern1;
    LinkedHashMap<String, String> urls = new LinkedHashMap<String, String>();

    public WebsitList( String url, int num, int begin, int end, String regex1,
            String regex2, String title_regex1 )
    {
        // 当url="http://www.169bb.com/wangyouzipai/",num=2,total=351
        this.begin = begin;
        this.end = end;
        this.num = num;
        pre_url = url;// http://www.169bb.com/wangyouzipai/list_2_
        pattern1 = Pattern.compile( regex1 );
        pattern2 = Pattern.compile( regex2 );
        title_pattern1 = Pattern.compile( title_regex1 );
    }

    public void initFirstUrls() throws IOException
    {
        URL url = new URL( pre_url + "list_" + num + "_1.html" );
        try
        {
            BufferedReader in = new BufferedReader(
                    new InputStreamReader( url.openStream() ) );
            String line;
            while( (line = in.readLine()) != null )
            {
                matchAll( line );
            }
        } catch( Exception e )
        {
            return;
        }
    }

    public void initUrls() throws IOException
    {
        // initFirstUrls();
        URL url = null;
        for( int i = begin; i <= end; i++ )
        {
            try
            {
                if( i != 1 )
                    url = new URL(
                            pre_url + "list_" + num + "_" + i + ".html" );
                else
                {
                    url = new URL( pre_url );
                }
                BufferedReader in = new BufferedReader(
                        new InputStreamReader( url.openStream() ) );
                String line;
                while( (line = in.readLine()) != null )
                {
                    matchAll( line );
                }
            } catch( Exception e )
            {
                System.out.println( "已跳过" + url );
                continue;
            }
        }

    }

    private void matchAll( String line )
    {
        String url_str, title;
        Matcher matcher1 = pattern1.matcher( line );
        Matcher title_matcher1 = title_pattern1.matcher( line );
        String match, title_match;
        while( matcher1.find() )
        {
            match = matcher1.group();
            Matcher matcher2 = pattern2.matcher( match );
            if( matcher2.find() )
            {
                if( title_matcher1.find() )
                {
                    title_match = title_matcher1.group();
                    Matcher title_matcher2 = title_pattern2
                            .matcher( title_match );
                    if( title_matcher2.find() )
                    {
                        url_str = matcher2.group();
                        title = title_matcher2.group();
                        urls.put( url_str, title );
                        System.out.println( "添加成功：" + title + url_str );
                    }
                }
            }
        }
    }

    public int getTotal()
    {
        return end;
    }

    public void setTotal( int total )
    {
        this.end = total;
    }

}

class DetailPage
{
    private static String page_regex = "\\u5171(\\d+)+\\u9875";
    private static Pattern page_pattern = Pattern
            .compile( "\\u5171(\\d+)+\\u9875" );

    String title;
    private int pages = 1;
    LinkedList<String> srcs = new LinkedList<String>();
    String pre_main;
    String regex1;// 所要下载的文件资源的正则表达式
    String regex2;
    Pattern pattern1, pattern2;

    public DetailPage( String main, String title, String[] regex )
            throws IOException
    {
        this.title = title;
        this.pre_main = main;
        this.regex1 = regex[0];
        this.regex2 = regex[1];
        pattern1 = Pattern.compile( regex1 );
        pattern2 = Pattern.compile( regex2 );
        initPages();
    }

    private void initPages() throws IOException
    {
        try
        {
            URL url = new URL( pre_main + ".html" );
            BufferedReader in = new BufferedReader(
                    new InputStreamReader( url.openStream() ) );
            String line;
            while( (line = in.readLine()) != null )
            {
                Matcher matcher = page_pattern.matcher( line );
                if( matcher.find() )
                {
                    pages = Integer.parseInt(
                            matcher.group().replaceAll( page_regex, "$1" ) );
                    return;
                }
            }
        } catch( Exception e )
        {
            pages = 0;
            return;
        }
    }

    public void initSrcs() throws IOException
    {
        URL url = null;
        for( int i = 1; i <= pages; i++ )
        {
            try
            {
                String url_str = pre_main;
                if( i != 1 )
                {
                    url_str = url_str + "_" + i;
                }
                url = new URL( url_str + ".html" );
                BufferedReader in = new BufferedReader(
                        new InputStreamReader( url.openStream() ) );
                String line;
                while( (line = in.readLine()) != null )
                {
                    Matcher matcher = pattern1.matcher( line );
                    if( matcher.find() )
                    {
                        Matcher matcher2 = pattern2.matcher( matcher.group() );
                        if( matcher2.find() )
                        {
                            String src_str = matcher2.group();
                            srcs.add( src_str );
                            // System.out.println( src_str + "添加成功" );
                        }
                    }
                }
            } catch( Exception e )
            {
                System.out.println( "已跳过" + url );
                continue;
            }
        }
    }

    public void downloadAll( File dir ) throws IOException
    {
        if( title == null )
            return;
        File dir2 = new File( dir, title );
        if( !dir2.exists() )
            dir2.mkdirs();
        int num = 1;

        System.out.println( dir2 + ":创建成功" );

        Iterator<String> it = srcs.iterator();
        while( it.hasNext() )
        {
            try
            {
                String src = (String)it.next();
                File file = new File( dir2, (num++) + ".jpg" );
                if( file.exists() )
                {
                    System.out.println( file + "已存在" );
                    continue;
                }
                URL url = new URL( src );
                BufferedInputStream biStream = new BufferedInputStream(
                        url.openStream() );
                BufferedOutputStream boStream = new BufferedOutputStream(
                        new FileOutputStream( file ) );

                System.out.println( title + ":" + src + "开始下载..." );

                byte[] buf = new byte[1024];
                int len;
                while( (len = biStream.read( buf )) != -1 )
                {
                    boStream.write( buf, 0, len );
                }
                boStream.close();
                biStream.close();
                System.out.println( title + ":" + src + "下载完毕" );
            } catch( Exception e )
            {
                System.out.println( "连接失败，跳过当前文件" );
                num--;
                continue;
            }
        }

    }
}

最后这是一个清理空文件夹的小程序。

ClearEmptyDirs.java

import java.io.File;

public class ClearEmptyDirs
{
    static int i = 0;

    public static void main( String[] args )
    {
        // 文件夹清理的开始位置，默认为d:\pictures
        String dir_str = "d:\\pictures";
        File dir = new File( dir_str );
        clear( dir );
        System.out.println( "清理完毕。" );
        System.out.println( "共删除了" + i + "个空文件夹" );
    }

    public static void clear( File dir )
    {
        File[] dir2 = dir.listFiles();
        for( int i = 0; i < dir2.length; i++ )
        {
            if( dir2[i].isDirectory() )
            {
                clear( dir2[i] );
            }
        }
        if( dir.isDirectory() && dir.delete() )
            i++;
        System.out.println( dir + "删除成功" );

    }

}
时间： 2024-12-23 19:18:34

福利贴——爬取美女图片的Java爬虫小程序代码的相关文章

Scrapy爬取美女图片 (原创)

有半个月没有更新了,最近确实有点忙.先是华为的比赛,接着实验室又有项目,然后又学习了一些新的知识,所以没有更新文章.为了表达我的歉意,我给大家来一波福利... 今天咱们说的是爬虫框架.之前我使用python爬取慕课网的视频,是根据爬虫的机制,自己手工定制的,感觉没有那么高大上,所以我最近玩了玩 python中强大的爬虫框架Scrapy. Scrapy是一个用 Python 写的 Crawler Framework ,简单轻巧,并且非常方便.Scrapy 使用 Twisted 这个异步网络库来处理

一个简单的网络爬虫-从网上爬取美女图片

CrawlerPicture.java 文件 package com.lym.crawlerDemo; import java.io.DataInputStream; import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.net.URL; import java.util.ArrayList; import

Scrapy爬取美女图片续集 (原创)

上一篇咱们讲解了Scrapy的工作机制和如何使用Scrapy爬取美女图片,而今天接着讲解Scrapy爬取美女图片,不过采取了不同的方式和代码实现,对Scrapy的功能进行更深入的运用. 在学习Scrapy官方文档的过程中,发现Scrapy自身实现了图片和文件的下载功能,不需要咱们之前自己实现图片的下载(不过原理都一样). 在官方文档中,我们可以看到下面一些话:Scrapy为下载item中包含的文件(比如在爬取到产品时,同时也想保存对应的图片)提供了一个可重用的 item pipelines .

python爬虫爬取美女图片

python 爬虫爬取美女图片 #coding=utf-8 import urllib import re import os import time import threading def getHtml(url): page = urllib.urlopen(url) html = page.read() return html def getImgUrl(html,src): srcre = re.compile(src) srclist = re.findall(srcre,html)

Scrapy爬取美女图片第三集 代理ip(上) (原创)

首先说一声,让大家久等了.本来打算520那天进行更新的,可是一细想,也只有我这样的单身狗还在做科研,大家可能没心思看更新的文章,所以就拖到了今天.不过忙了521,522这一天半,我把数据库也添加进来了,修复了一些bug(现在肯定有人会说果然是单身狗). 好了,废话不多说,咱们进入今天的主题.上两篇 Scrapy爬取美女图片 的文章,咱们讲解了scrapy的用法.可是就在最近,有热心的朋友对我说之前的程序无法爬取到图片,我猜应该是煎蛋网加入了反爬虫机制.所以今天讲解的就是突破反爬虫机制的上篇 代理

Python 爬取美女图片，分目录多级存储

最近有个需求:下载https://mm.meiji2.com/网站的图片. 所以简单研究了一下爬虫. 在此整理一下结果,一为自己记录,二给后人一些方向. 爬取结果如图: 整体研究周期 2-3 天,看完之后,在加上看的时候或多或少也会自己搜到一些其他知识. 顺着看下来,应该会对爬虫技术有一个初步的认识. 大致的步骤: 分析页面,编写爬虫规则 下载图片,如果有分页,则分页 多页爬取,并且分目录保存到本地,多级存储. 应对反爬虫 以上就是学习的时候,看到的一些资料. 然后贴出一篇我自己写的,爬取的时候

Scrapy爬取美女图片第三集 代理ip(下)

这是我的公众号获取原创保护的首篇文章,原创的肯定将支持我继续前行.现在写这篇文章的时间是晚上11:30,写完就回寝室休息了,希望更多的朋友与我一起同行(当然需要一个善良的妹子的救济). 好了,废话不多说,咱们进入今天的主题.上一篇咱们讲解了代理ip上篇,本篇咱们继续讲解代理ip.这一篇是上一篇的扩展和优化,主要的改动是使用scrapy来进行爬取代理ip,同时演示在scrapy框架中怎么使用mongodb数据库,最后使用多线程批量验证代理ip的合理性,大大加快了速度. 这次我选择的依然是http:

BeautifuSoup库爬取美女图片

爬虫模块(从网页上采集数据 数据放置在网页标签里面)1.requests2.BeautifuSoup3.urllib4.urllib25.scrapy6.lxml爬取步骤1.获取标签的内容数据 :<div> <title> <a> ....找到标签里面的内容 soup.div 2.打开网页获取文件的内容soup.prettify() //打印本地文件的内容 3.html源代码相同标签很多,怎么获取到我想要的那一部分内容网页名字 class id find:查找标签e =

python爬取标题和作者时间的小程序

#encoding:UTF-8import urllib.parseimport urllib.requestimport base64import reimport sysimport timefrom random import sampleimport codecsfrom html.parser import HTMLParserlog = 'gogogo.txt'logfile = codecs.open(log,'w','utf-8')class MyHTMLParser(HTMLP