当我们需要采集网络上的某个网页内容时,如果目标网站上的图片做了防盗链的话,我们直接采集过来的图片在自己网站上是不可用的。那么我们使用程序将目标网站上的图片下载到我们网站服务器上,然后就可调用图片了。
查看演示DEMO
本文将使用PHP实现采集远程图片功能。基本流程:
1、获取目标网站图片地址。
2、读取图片内容。
3、创建要保存图片的路径并命名图片名称。
4、写入图片内容。
5、完成。
我们通过写几个函数来实现这一过程。
函数make_dir()建立目录。判断要保存的图片文件目录是否存在,如果不存在则创建目录,并且将目录设置为可写权限。
1 function make_dir($path){
2 if(!file_exists($path)){//不存在则建立
3 [email protected]($path,0777); //权限
4 @chmod($path,0777);
5 }
6 return true;
7 }
函数read_filetext()取得图片内容。使用fopen打开图片文件,然后fread读取图片文件内容。
01 function read_filetext($filepath){
02 $filepath=trim($filepath);
03 [email protected]($filepath,"r");
04 //远程
05 if(strstr($filepath,"://")){
06 while([email protected]($htmlfp,500000)){
07 $string.=$data;
08 }
09 }
10 //本地
11 else{
12 [email protected]($htmlfp,@filesize($filepath));
13 }
14 @fclose($htmlfp);
15 return $string;
16 }
函数write_filetext()写文件,将图片内容fputs写入文件中,即保存图片文件。
function write_filetext($filepath,$string){
//$string=stripSlashes($string);
[email protected]($filepath,"w");
@fputs($fp,$string);
@fclose($fp);
}
函数get_filename()获取图片名称,也可以自定义要保存的文件名。
1 function get_filename($filepath){
2 $fr=explode("/",$filepath);
3 $count=count($fr)-1;
4 return $fr[$count];
5 }
然后将几个函数组合,在函数save_pic()中调用,最后返回保存后的图片路径。
01 function save_pic($url,$savepath=‘‘){
02 //处理地址
03 $url=trim($url);
04 $url=str_replace(" ","%20",$url);
05 //读文件
06 $string=read_filetext($url);
07 if(empty($string)){
08 echo ‘读取不了文件‘;exit;
09 }
10 //文件名
11 $filename = get_filename($url);
12 //存放目录
13 make_dir($savepath); //建立存放目录
14 //文件地址
15 $filepath = $savepath.$filename;
16 //写文件
17 write_filetext($filepath,$string);
18 return $filepath;
19 }
最后一步就是调用save_pic()函数保存图片,我们使用以下代码做测试。
1 //目标图片地址
2 $pic = "http://img0.pconline.com.cn/pconline/1205/06/2776119_end1_thumb.jpg";
3 //保存目录
4 $savepath = "images/";
5 echo save_pic($pic,$savepath);
实际应用中,我们可能会采集某个站点的内容,比如产品信息,包括采集防盗链的图片保存到网站上服务器上。这时我们可以使用正则匹配页面内容,将页面中相匹配的图片都找出来,然后分别下载到网站服务器上,完成图片的采集。以下代码仅供测试:
1 function get_pic($cont,$path){
2 $pattern_src = ‘/<[img|IMG].*?src=[\‘|\"](.*?(?:[\.gif|\.jpg]))[\‘|\"].*?[\/]?>/‘;
3 $num = preg_match_all($pattern_src, $cont, $match_src);
4 $pic_arr = $match_src[1]; //获得图片数组
5 foreach ($pic_arr as $pic_item) { //循环取出每幅图的地址
6 save_pic($pic_item,$path); //下载并保存图片
7 echo "[OK]..!";
8 }
9 }
然后我们通过分析页面内容,将主体内容找出来,调用get_pic()实现图片的保存。
1 //我们采集太平洋电脑网上一篇关于手机报道内容页的图片
2 $url = "http://www.onesheng.cn";
3
4 $content = file_get_contents($url);//获取网页内容
5 $preg = ‘#<div class="main clearfix">(.*)<div class="art_nav_box">#iUs‘;
6 preg_match_all($preg, $content, $arr);
7 $cont = $arr[1][0];
8 get_pic($cont,‘img/‘);
以上代码笔者亲测,可以采集图片,但是还有些场景没考虑进去,比如目标网站做了302多次跳转的,目标网站做了多种防采集的,留给喜欢折腾的同学去试试吧。