PHP页面爬虫

爬虫想必大家都很了解,通过脚本对目标文件进行抓取。

我想获取每天菜市场菜价。

查看控制台,如果有相关信息得接口自然方便不过了,直接请求接口获取数据就可以了。

对于页面信息,需要过滤筛选。

图中信息很规律易于筛选。

首先获取整个页面,可以使用CURL方式请求页面地址,CURL方式也便于需要验证信息的页面传递参数。

过滤页面数据可以使用正则表达式匹配替换。

<?php 

    header( "Content-type:text/html;Charset=utf-8" );
    $ch = curl_init();
    $url ="http://www.xinfadi.com.cn/marketanalysis/0/list/1.shtml";
    curl_setopt ( $ch , CURLOPT_USERAGENT ,"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.75 Safari/537.36" );
    curl_setopt($ch,CURLOPT_URL,$url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    $content=curl_exec($ch);
    preg_match_all("/<td style=\"text-align:left;padding-left:5px;\">(.*?)<\/td><td>(.*?)<\/td><td>(.*?)<\/td><td>(.*?)<\/td><td>(.*?)<\/td><td>(.*?)<\/td><td>(.*?)<\/td>/",$content,$matchs,PREG_SET_ORDER);
    print_r($matchs);

这样就完成了,主要就是使用正则表达式对页面进行过滤筛选,爬取图片也是一样。

原文地址:https://www.cnblogs.com/liuliwei/p/9519686.html

时间: 2024-11-09 04:58:18

PHP页面爬虫的相关文章

python利用beautifulsoup多页面爬虫

利用了beautifulsoup进行爬虫,解析网址分页面爬虫并存入文本文档: 结果: 源码: from bs4 import BeautifulSoup from urllib.request import urlopen with open("热门标题.txt","a",encoding="utf-8") as f: for i in range(2): url = "http://www.ltaaa.com/wtfy-{}"

Node.js实现单页面爬虫

在imooc网上跟着老师写了两个爬虫,一个最简单的直接爬整个页面,一个完善版把章节标题和对应编号打出来了. 看完之后,自己也想写一个爬虫,用自己的博客做测试,虽然结果并没有很成功- -,还是把代码放上来. 目标是抓取章节的标题. 博客页面: 对应标签: 页面源代码: 经过分析,我们应该要抓取class=artHead的<div>,往下还有一个没有类的<div>,然后找到它的<h3>标签下子标签<a>的内容,就是章节的名字. 上代码: //引入http模块 v

基于nodejs 的多页面爬虫

前言 前端时间再回顾了一下node.js,于是顺势做了一个爬虫来加深自己对node的理解. 主要用的到是request,cheerio,async三个模块 request 用于请求地址和快速下载图片流. https://github.com/request/request cheerio 为服务器特别定制的,快速.灵活.实施的jQuery核心实现. 便于解析html代码. https://www.npmjs.com/package/cheerio async 异步调用,防止堵塞. http://

nodejs单页面爬虫(二)--解决编码问题

上次写的爬虫虽然数据爬下来了,但是有乱码问题.查了相关的书之后,找到解决办法.重新写了一下,好像比之前更简洁了. 解决办法是:引入iconv-lite模块,用来转换编码的网页内容. 这次跟着书上用了request模块,而不是用原来的http模块. var request = require('request'); var cheerio = require('cheerio'); var iconv = require('iconv-lite'); //博客标题 request({ url:'h

我的第一个的python抓取 单页面爬虫

爬取豆瓣推荐书籍页的图书的图片保存到本地 # -*- coding UTF-8 -*- import re import requests import os def getsite(url): website=requests.get(url) url="https://book.douban.com/tag/%E7%BC%96%E7%A8%8B" website=requests.get(url) links=re.findall("(https:\/\/img3.dou

python爬虫技术的选择

p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 14.0px Helvetica } span.s1 { } 本篇文章不是入门帖,需要对python和爬虫领域有所了解. 爬虫又是另外一个领域,涉及的知识点比较多,不仅要熟悉web开发,有时候还涉及机器学习等知识,不过在python里一切变的简单,有许多第三方库来帮助我们实现.使用python编写爬虫首先要选择合适的抓取模块,最简单的功能就是能发送和处理请求, 下面就介绍几个常用的抓取的方式. 一.pyt

开源的49款Java 网络爬虫软件

参考地址 搜索引擎 Nutch Nutch 是一个开源Java 实现的搜索引擎.它提供了我们运行自己的搜索引擎所需的全部工具.包括全文搜索和Web爬虫. Nutch的创始人是Doug Cutting,他同时也是Lucene.Hadoop和Avro开源项目的创始人. Nutch诞生于2002年8月,是Apache旗下的一个用Java实现... JAVA爬虫 WebCollector 爬虫简介: WebCollector是一个无须配置.便于二次开发的JAVA爬虫框架(内核),它提供精简的的API,只

【转】44款Java 网络爬虫开源软件

原帖地址 http://www.oschina.net/project/lang/19?tag=64&sort=time 极简网络爬虫组件 WebFetch WebFetch 是无依赖极简网页爬取组件,能在移动设备上运行的微型爬虫. WebFetch 要达到的目标: 没有第三方依赖jar包 减少内存使用 提高CPU利用率 加快网络爬取速度 简洁明了的api接口 能在Android设备上稳定运行 小巧灵活可以方便集成的网页抓取组件 使用...更多WebFetch信息 开源爬虫框架 Guozhong

python爬虫学习第一章

html,body,div,span,applet,object,iframe,h1,h2,h3,h4,h5,h6,p,blockquote,pre,a,abbr,acronym,address,big,cite,code,del,dfn,em,img,ins,kbd,q,s,samp,small,strike,strong,sub,sup,tt,var,b,u,i,center,dl,dt,dd,ol,ul,li,fieldset,form,label,legend,table,caption