抓取网页图片

   private void button1_Click(object sender, EventArgs e) //获取网页源代码
        {
            if (textBox1.Text != "")
            {
                HttpWebRequest qingqiu = (HttpWebRequest)WebRequest.Create(textBox1.Text);//向网页发出请求
                HttpWebResponse huiying = (HttpWebResponse)qingqiu.GetResponse();//得到回应
                Stream sr = huiying.GetResponseStream();//将回应得到的内容存到sr里面,以此来转换为StreamReader 所需的参数
                StreamReader srd = new StreamReader(sr, Encoding.UTF8);//存入StreamReader
                txtyuanma.Text = srd.ReadToEnd();//将网页源码从头读到尾并存到txtyuanma里面
                //关闭流
                sr.Close();
                srd.Close();
            }
            else
            {
                MessageBox.Show("请输入网页地址");
            }
        }

//////////////

 private void button2_Click(object sender, EventArgs e) //获取网页中的图片地址
        {
            if (txtyuanma.Text != "")
            {
                string yuanma = txtyuanma.Text;//定义一个变量来接收网页源码
                //创建一个区域集合来存放正则匹配后的图片地址 //RegexOptions.IgnoreCase 无视大小写
                MatchCollection mc = Regex.Matches(yuanma,@"<img\b[^<>]*?\bsrc[\s\t\r\n]*=[\s\t\r\n]*[""‘]?[\s\t\r\n]*(?<imgUrl>[^\s\t\r\n""‘<>]*)[^<>]*?/?[\s\t\r\n]*>",RegexOptions.IgnoreCase);
                //下面开始遍历并将这所有的图片地址全部存到listview1里面
                foreach (Match mcc in mc)
                {
                    listView1.Items.Add(mcc.Value.ToString());//所有的图片地址全部存到了listview1里面了
                }
            }
            else
            {

                MessageBox.Show("请先获取网页源码");
            }
        }

/////////////////

 private void button3_Click(object sender, EventArgs e) //开始下载所有图片
        {
            if (listView1.Items[0].Text != null)
            {
                for (int i = 0; i < listView1.Items.Count; i++)
                {
                    string imgurl = listView1.Items[i].Text;
                    MatchCollection mcol = Regex.Matches(imgurl, @"<img.*?src=""(?<src>[^""]*)""[^>]*>");//匹配图片地址
                    //开始遍历
                    foreach (Match mcoll in mcol)
                    {
                        //得到了图片的地址,下面开始下载图片
                        HttpWebRequest ww = (HttpWebRequest)WebRequest.Create(mcoll.Groups["src"].Value);//发出对图片的请求
                        HttpWebResponse wr = (HttpWebResponse)ww.GetResponse(); //反馈请求
                        Stream srr = wr.GetResponseStream();
                        string path = @"C:\Users\Administrator\Desktop\"+i.ToString()+".jpg";
                        FileStream fs = new FileStream(path,FileMode.OpenOrCreate,FileAccess.Write);
                        //造一个字节类型的数组来存放图片
                        byte[] buff = new byte[512];
                        int c = 0;
                        while ((c=srr.Read(buff,0,buff.Length))>0)
                        {
                            fs.Write(buff,0,c);
                        }
                        srr.Close();
                    }
                }
                MessageBox.Show("下载成功");

            }
            else
            {
                MessageBox.Show("请先获取要下载的图片地址");

            }
        }

时间: 2024-08-29 09:26:50

抓取网页图片的相关文章

java 抓取网页图片

? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86

Python -- 网络编程 -- 抓取网页图片 -- 图虫网

字符串(str)编码成字节码(bytes),字节码解码为字符串 获取当前环境编码:sys.stdin.encoding url编码urllib.parse.quote() url解码urllib.parse.unquote() 列表去重:pages = list(set(pages)) 创建文件夹(可多级创建):os.makedirs(folder)  os.mkdir()只能单级创建 首先分析网页(图虫网)的URL规律: 根网页地址形如: http://tuchong.com/tags/人像/

Python3简单爬虫抓取网页图片

现在网上有很多python2写的爬虫抓取网页图片的实例,但不适用新手(新手都使用python3环境,不兼容python2),所以我用Python3的语法写了一个简单抓取网页图片的实例,希望能够帮助到大家,并希望大家批评指正. 1 import urllib.request 2 import re 3 import os 4 import urllib 5 #根据给定的网址来获取网页详细信息,得到的html就是网页的源代码 6 def getHtml(url): 7 page = urllib.r

Python爬虫抓取网页图片

本文通过python 来实现这样一个简单的爬虫功能,把我们想要的图片爬取到本地. 下面就看看如何使用python来实现这样一个功能. # -*- coding: utf-8 -*- import urllib import re import time import os #显示下载进度 def schedule(a,b,c): ''''' a:已经下载的数据块 b:数据块的大小 c:远程文件的大小 ''' per = 100.0 * a * b / c if per > 100 : per =

python学习笔记-抓取网页图片脚本

初学者一枚,代码都是模仿网上的.亲测可用~ 运行脚本的前提是本机安装了httplib2模块 #!/usr/bin/python import os import re import string import urllib #author:reed #date:2014-05-14 def GetWebPictures(): url=raw_input('please input the website you want to download:') imgcontent=urllib.urlo

C语言调用curl库抓取网页图片(转)

思路是先用curl抓取网页源码,然后以关键字寻找出图片网址. 范例: 1 #include <stdio.h> 2 #include <stdlib.h> 3 #include <string.h> 4 #include <curl/curl.h> 5 6 void get_key_from_str(char *origin, char *str1, char *str2, char *key); 7 8 int main(int argc, char **

从urllib和urllib2基础到一个简单抓取网页图片的小爬虫

urllib最常用的两大功能(个人理解urllib用于辅助urllib2) 1.urllib.urlopen() 2. urllib.urlencode()   #适当的编码,可用于后面的post提交数据 import urllib Dict = {'name' : 'Michael Foord', 'location' : 'Northampton', 'language' : 'Python'} print urllib.urlencode(Dict) urllib2常用的函数 1.最基本的

Python爬虫实现抓取网页图片

在逛贴吧的时候看见贴吧里面漂亮的图片,或有漂亮妹纸的图片,是不是想保存下来? 但是有的网页的图片比较多,一个个保存下来比较麻烦. 最近在学Python,所以用Python来抓取网页内容还是比较方便的: 所以就尝试了一下 ------code------- #coding=utf-8 import re    import urllib   //导入模块     def gethtml(url):   //自定义函数,传参获取网页内容    page=urllib.urlopen(url)    

PHP抓取网页图片的实例

<?php /**   * 抓取网站上的图片到本地  * PS: 如果网页中的图片路径不是绝对路径,就无法抓取   */   set_time_limit(0);//抓取不受时间限制      $URL='http://image.baidu.com/';//任意网址      get_pic($URL);      function get_pic($pic_url) {       //获取图片二进制流       $data=CurlGet($pic_url);       /*利用正则表

用nodejs库cheerio抓取网页图片

之前都是PHP(phpQuery)抓取,但jQuery更强大, 于是用nodejs. 只是node-jquery的依赖太多,只好用cheerio 下面是一个抓取脚本: var http = require('http'); var fs = require('fs'); var cheerio = require("cheerio"); var bufferhelper = require("bufferhelper"); var Iconv = require(&