PHP 爬取网页中表格数据

        public function spider_j($page)
            {
                $url="http://aaa/bbb".$page."_0/"; 

                $fcontents=file_get_contents($url);  

                $table_data = preg_match_all(‘#<table>(.*?)</table>#si‘,$fcontents,$match);

                $table_data = $match[0][0];

                $table_array = explode(‘<tr>‘,$table_data);

                $data = array();

                for($i=2;$i<count($table_array);$i++){
                    $data[$i] = explode(‘</td>‘,$table_array[$i]);
                    for($j = 0;$j<count($data[$i]);$j++){
                        $data[$i][$j] = preg_replace(‘/\s(?=\s)/‘,‘‘,trim(strip_tags($data[$i][$j])));
                    }
                    $data[$i][6] = date(‘Y-m-d‘);
                }

                $kname = array(‘ID‘, ‘GAMENAME‘, ‘GATEGORY‘,‘BETA‘, ‘DATA‘, ‘DOWNLOAD‘,‘THEDATE‘);

                foreach($data as $key=>&$val){
                    $val = array_combine($kname,$val);
                } 

                for($i=2;$i<(count($data)+2);$i++){
                    $this->db06->insert(‘TBL_J‘,$data[$i]);
                }       

            }

           public function spider()
            {
                for($i=1;$i<11;$i++){
                    $this->spider_j($i);
                }
            }

逻辑:把网页代码读到字符串中,通过正则表达式筛选出指定的数据,然后变成二维数组,插入到数据库里。

时间: 2024-11-06 19:52:27

PHP 爬取网页中表格数据的相关文章

C# 爬取网页上的数据

最近工作中需求定时爬取不同城市每天的温度.其实就是通过编程的方法去抓取不同网站网页进行分析筛选的过程..NET提供了很多类去访问并获得远程网页的数据,比如WebClient类和HttpWebRequest类.这些类对于利用HTTP去访问远端的网页并且下载下来是很有用的,但在对于所下载下来的HTML的解析能力方面,则显得功能很弱了.推荐一个开源的组件HTML Agility Pack(http://htmlagilitypack.codeplex.com/),它的设计目标是尽可能简化对HTML文档

python3下scrapy爬虫(第八卷:循环爬取网页多页数据)

之前我们做的数据爬取都是单页的现在我们来讲讲多页的 一般方式有两种目标URL循环抓取 另一种在主页连接上找规律,现在我用的案例网址就是 通过点击下一页的方式获取多页资源 话不多说全在代码里(因为刚才写这篇文章时电脑出现点问题所以没存下来,所以这一版本不会那么详细) 来 看下结果522*35条连接页面的数据爬取: 是不是很爽 原文地址:https://www.cnblogs.com/woshiruge/p/8398229.html

pands模块的妙用爬取网页中的表格

拿我这篇为例https://www.cnblogs.com/pythonywy/p/11574340.html import pandas as pd df = pd.read_html('https://www.cnblogs.com/pythonywy/p/11574340.html') print(df) '''[ 设备 rpx换算px (屏幕宽度/750) px换算rpx (750/屏幕宽度) 0 iPhone5 1rpx = 0.42px 1px = 2.34rpx 1 iPhone6

爬取网页中的图片到本地

library(rvest) library(downloader) url <- 'http://www.nipic.com/show/15419595.html' web <- read_html(url) link <- web %>% html_nodes("img") %>% html_attr("src") for(i in 1:length(link)){ download(link[i],paste("D://

Python 爬取网页中JavaScript动态添加的内容(二)

使用 selenium + phantomjs 实现 1.准备环境 selenium(一个用于web应用程测试的工具)安装:pip install seleniumphantomjs(是一种无界面的浏览器,用于完成网页的渲染)下载:http://phantomjs.org/download.html 2.使用 from selenium import webdriver url = 'http://jandan.net/ooxx' driver = webdriver.PhantomJS( ex

[python] 常用正则表达式爬取网页信息及分析HTML标签总结【转】

[python] 常用正则表达式爬取网页信息及分析HTML标签总结 转http://blog.csdn.net/Eastmount/article/details/51082253 标签: pythonpython爬虫正则表达式html知识总结 2016-04-07 06:13 3615人阅读 评论(4) 收藏 举报  分类: Python爬虫(23)  Python基础知识(17)  版权声明:本文为博主原创文章,转载请注明CSDN博客源地址!共同学习,一起进步~ 这篇文章主要是介绍Pytho

常用正则表达式爬取网页信息及HTML分析总结

Python爬取网页信息时,经常使用的正则表达式及方法. 1.获取<tr></tr>标签之间内容 2.获取<a href..></a>超链接之间内容 3.获取URL最后一个参数命名图片或传递参数 4.爬取网页中所有URL链接 5.爬取网页标题title两种方法 6.定位table位置并爬取属性-属性值 7.过滤<span></span>等标签 8.获取<script></script>等标签内容 1). 获取&

python之爬取网页数据总结(一)

今天尝试使用python,爬取网页数据.因为python是新安装好的,所以要正常运行爬取数据的代码需要提前安装插件.分别为requests    Beautifulsoup4   lxml  三个插件. 因为配置了环境变量,可以cmd命令直接安装.假如电脑上有两个版本的python,建议进入到目录安装. 安装的命令为 pip install requests(Beautifulsoup4   /lxml  ) 三条分别执行. 安装结束,可以尝试网上一些简单的例子,明白了解 Beautifulso

python爬虫——爬取网页数据和解析数据

1.网络爬虫的基本概念 网络爬虫(又称网络蜘蛛,机器人),就是模拟客户端发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序.只要浏览器能够做的事情,原则上,爬虫都能够做到. 2.网络爬虫的功能   图2 网络爬虫可以代替手工做很多事情,比如可以用于做搜索引擎,也可以爬取网站上面的图片,比如有些朋友将某些网站上的图片全部爬取下来,集中进行浏览,同时,网络爬虫也可以用于金融投资领域,比如可以自动爬取一些金融信息,并进行投资分析等. 有时,我们比较喜欢的新闻网站可能有几个,每次