用php实现对网页的抓取，及信息的收集，其实就是爬数据，具体实现步骤如下，首先应引入两个文件curl_html_get.php和save_file.php文件，两个文件具体代码是这样的curl_html_get.php内代码为
<?php
function curl_get_file_contents($url)
{
$c = curl_init();
curl_setopt($c, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($c, CURLOPT_URL, $url);
$contents = curl_exec($c);
curl_close($c);
if ($contents)
return $contents;
else
return FALSE;
}
?>
save_file.php文件内容是
<?php
/**
* 连续创建目录
*
* @param string $dir 目录字符串
* @param int $mode 权限数字
* @return boolean
*/
function make_dir($dir, $mode = "0777") {
if (!$dir)
return false;
if(!file_exists($dir)) {
return mkdir($dir,$mode,true);
} else {
return true;
}
}
/**
* 保存文件
*
* @param string $fileName 文件名（含相对路径）
* @param string $text 文件内容
* @return boolean
*/
function save_file($filename, $text) {
if (!$filename || !$text)
return false;
$dirname = dirname($filename);
if (make_dir($dirname)) {
// file_put_contents($filename, $text, FILE_APPEND);
file_put_contents($filename, $text);
// if (is_resource($fp = fopen($filename, "w+"))) {
// if (@fwrite($fp, $text)) {
// fclose($fp);
// return true;
// } else {
// fclose($fp);
// return false;
// }
// }
}
return false;
}
?>
其实就是一个是获取网页内容的，另一个是创建文件的。
然后就是PHP代码了，自己定义一个函数 函数内代码基本是这样的
echo "==================start=======================<br />";
// 1、获取网页
$path = THIS_PATH . "download";
$url = "http://10.maigoo.com/list_1187.html";
$pathinfo = pathinfo($url);
$html_pathname = $path . DS;
$html_filename = $html_pathname . "list_1187.htm";
if (!file_exists($html_filename)) {
$text = curl_get_file_contents($url);
save_file($html_filename, $text);
} else {
$text = file_get_contents($html_filename);
}
// 2、获取区域
//start pos
$start = ‘<div class="b-brand-nlist hoverdetail">‘;
//end pos
$end = ‘<div id="copyright">‘;
$pos_start = strpos($text, $start);
$pos_end = strpos($text, $end, $pos_start);
$pos_end += strlen($end);
$content = substr($text, $pos_start, $pos_end-$pos_start);
save_file($html_pathname."list_1187.html", $content);
// 3、获取所有的一级
$pattern = ‘@<div class="aclist">.*<div class="clear"></div>@Usi‘;
if (!preg_match_all($pattern, $content, $matches)) {
die("===============not match anything===================<");
}
echo "=========================================<br />";
$index = 0;
foreach ($matches[0] as $pinpai_cate) {
save_file($html_pathname. $index . ".html", $pinpai_cate);
// 获得一级分类 url 和 name
get_level1_url_and_name($pinpai_cate, $cate1_url, $cate1_name);
// echo "==================$一个品牌=======================<br />";
$pattern = ‘@<li addbg="#400143".*</li>@Usi‘;
if (preg_match_all($pattern, $content, $matches)) {
foreach($matches[0] as $one_brand);
}
}
echo "==================end=======================<br />";
}
基本原理就是先获取下载网页到本地，然后截取，最后用正则匹配。自己做得过程中没有对代码进行调优，导致代码太长，重复的地方太多，若截取的地方用正则还是无法判断，或者说区域有很多重复点，就需要再次截取接着排除干扰，比较繁琐，另外需要多写函数，把所有代码优化之后才能更深入提高自己水平。