PHP抓取网页图片的实例

<?php
/** 
 * 抓取网站上的图片到本地
 * PS: 如果网页中的图片路径不是绝对路径,就无法抓取 
 */  
set_time_limit(0);//抓取不受时间限制  
  
$URL=‘http://image.baidu.com/‘;//任意网址  
  
get_pic($URL);  
  
function get_pic($pic_url) {  
    //获取图片二进制流  
    $data=CurlGet($pic_url);  
    /*利用正则表达式得到图片链接*/  
    $pattern_src = ‘/<[img|IMG].*?src=[\‘|\"](.*?(?:[\.gif|\.jpg]))[\‘|\"].*?[\/]?>/‘;  
    $num = preg_match_all($pattern_src, $data, $match_src);  
    $arr_src=$match_src[1];//获得图片数组 
    print_r($arr_src); 
    get_name($arr_src);  
      
    echo "<br>finished!!!";  
    return 0;  
}  
  
/*得到图片类型,并将其保存到与该文件同一目录*/  
function get_name($pic_arr) {  
    //图片类型  
    $pattern_type = ‘/(\.(jpg|bmp|jpeg|gif|png))/‘;            
    foreach($pic_arr as $pic_item){//循环取出每幅图的地址  
        $num = preg_match_all($pattern_type, $pic_item, $match_type);  
		if($num){
	        $pic_name = get_unique().$match_type[1][0];//改时微秒时间戳命名  
	        //以流的形式保存图片  
	        $write_fd = @fopen(‘./getpic/‘.$pic_name,"wb");          
	        @fwrite($write_fd, CurlGet($pic_item));  
	        @fclose($write_fd);  
	        echo "[OK]..!"; 
		} 
    }  
    return 0;  
}  
  
//通过微秒时间获得唯一ID  
function get_unique(){  
    list($msec, $sec) = explode(" ",microtime());  
    return $sec.intval($msec*1000000);  
}  
  
//抓取网页内容  
function CurlGet($url){   
    $url=str_replace(‘&amp;‘,‘&‘,$url);  
    $curl = curl_init();  
    curl_setopt($curl, CURLOPT_URL, $url);  
    curl_setopt($curl, CURLOPT_HEADER, false);  
      
    //curl_setopt($curl, CURLOPT_REFERER,$url);  
    curl_setopt($curl, CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 6.0; SeaPort/1.2; Windows NT 5.1; SV1; InfoPath.2)");  
    curl_setopt($curl, CURLOPT_COOKIEJAR, ‘cookie.txt‘);  
    curl_setopt($curl, CURLOPT_COOKIEFILE, ‘cookie.txt‘);  
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);  
    curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 0);  
    $values = curl_exec($curl);  
    curl_close($curl);  
    return $values;  
}  
?>
时间: 2024-10-29 00:03:48

PHP抓取网页图片的实例的相关文章

Python3简单爬虫抓取网页图片

现在网上有很多python2写的爬虫抓取网页图片的实例,但不适用新手(新手都使用python3环境,不兼容python2),所以我用Python3的语法写了一个简单抓取网页图片的实例,希望能够帮助到大家,并希望大家批评指正. 1 import urllib.request 2 import re 3 import os 4 import urllib 5 #根据给定的网址来获取网页详细信息,得到的html就是网页的源代码 6 def getHtml(url): 7 page = urllib.r

java 抓取网页图片

? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86

Python -- 网络编程 -- 抓取网页图片 -- 图虫网

字符串(str)编码成字节码(bytes),字节码解码为字符串 获取当前环境编码:sys.stdin.encoding url编码urllib.parse.quote() url解码urllib.parse.unquote() 列表去重:pages = list(set(pages)) 创建文件夹(可多级创建):os.makedirs(folder)  os.mkdir()只能单级创建 首先分析网页(图虫网)的URL规律: 根网页地址形如: http://tuchong.com/tags/人像/

Python爬虫抓取网页图片

本文通过python 来实现这样一个简单的爬虫功能,把我们想要的图片爬取到本地. 下面就看看如何使用python来实现这样一个功能. # -*- coding: utf-8 -*- import urllib import re import time import os #显示下载进度 def schedule(a,b,c): ''''' a:已经下载的数据块 b:数据块的大小 c:远程文件的大小 ''' per = 100.0 * a * b / c if per > 100 : per =

python学习笔记-抓取网页图片脚本

初学者一枚,代码都是模仿网上的.亲测可用~ 运行脚本的前提是本机安装了httplib2模块 #!/usr/bin/python import os import re import string import urllib #author:reed #date:2014-05-14 def GetWebPictures(): url=raw_input('please input the website you want to download:') imgcontent=urllib.urlo

C语言调用curl库抓取网页图片(转)

思路是先用curl抓取网页源码,然后以关键字寻找出图片网址. 范例: 1 #include <stdio.h> 2 #include <stdlib.h> 3 #include <string.h> 4 #include <curl/curl.h> 5 6 void get_key_from_str(char *origin, char *str1, char *str2, char *key); 7 8 int main(int argc, char **

从urllib和urllib2基础到一个简单抓取网页图片的小爬虫

urllib最常用的两大功能(个人理解urllib用于辅助urllib2) 1.urllib.urlopen() 2. urllib.urlencode()   #适当的编码,可用于后面的post提交数据 import urllib Dict = {'name' : 'Michael Foord', 'location' : 'Northampton', 'language' : 'Python'} print urllib.urlencode(Dict) urllib2常用的函数 1.最基本的

Python爬虫实现抓取网页图片

在逛贴吧的时候看见贴吧里面漂亮的图片,或有漂亮妹纸的图片,是不是想保存下来? 但是有的网页的图片比较多,一个个保存下来比较麻烦. 最近在学Python,所以用Python来抓取网页内容还是比较方便的: 所以就尝试了一下 ------code------- #coding=utf-8 import re    import urllib   //导入模块     def gethtml(url):   //自定义函数,传参获取网页内容    page=urllib.urlopen(url)    

用nodejs库cheerio抓取网页图片

之前都是PHP(phpQuery)抓取,但jQuery更强大, 于是用nodejs. 只是node-jquery的依赖太多,只好用cheerio 下面是一个抓取脚本: var http = require('http'); var fs = require('fs'); var cheerio = require("cheerio"); var bufferhelper = require("bufferhelper"); var Iconv = require(&