perl post函数获取网页内容及解析数据的例子

#!/usr/bin/perl -w

# 程序代码只是简单说明获取解析网页内容及匹配模式使用的例子,逻辑并不是很严密
use utf8;
binmode(STDIN, ‘:encoding(utf8)‘);
binmode(STDOUT, ‘:encoding(utf8)‘);
binmode(STDERR, ‘:encoding(utf8)‘);

use LWP::UserAgent;
use Encode;

sub get_data{
    if(@_ != 1)
    {
        print "error, need an argument\n";
        return -1;
    }
    my $user_agent = LWP::UserAgent->new;
    my $des = "http://tool.chinaz.com/Same/";
    my $url_ip = $_[0];
    my $response  = $user_agent->post($des, [ ‘s‘ => $url_ip]);
    if ( $response->is_success ) {
        my $doc = decode("utf8", $response->content);
        while($doc =~ m!<div id="contenthtml">\r\n([^\r\n]*)</div>!sg) {
            my $tmp = $1;
            $tmp =~ s!<ul>(.*)</ul>!$1!g;
            $tmp = $1;
            while($tmp =~ s!<li><span>[^<>]*</span>\s<a\s([^<>]*)>[^<>]*</a></li>!$1!){
                 my $str = $1;
                 $str =~ s!‘([^‘]*)‘!$1 !g;
     print "$str\n";
            }
        }
    }
}

&get_data("61.135.169.125");

exit;

perl post函数获取网页内容及解析数据的例子,布布扣,bubuko.com

时间: 2024-08-25 06:40:27

perl post函数获取网页内容及解析数据的例子的相关文章

perl脚本获取网页内容

# 使用LWP模块的get函数获取网页内容.use LWP::Simple;my $doc=get("http://www.csdn.net");# 获取网页内容后可以对内容进行提取或者其它处理# 将网页内容打印出来print $doc; # 使用post函数向web服务器提交请求.use LWP::UserAgent;use Encode;my $user_agent = LWP::UserAgent->new;my $des = "http://www.xxxx.c

使用mysql_fetch_object()函数获取结果集中一行作为对象

使用mysql_fetch_object()函数 同样可以获取差选结果集中的数据,跟上一篇文章中介绍的函数是类似的,下面我们通过同一个实例的不同方法了解这两个函数在使用上的区别. 首先我们看下该函数的语法格式如下:大理石平台怎么样 1 object mysql_fetch_object(resource result) 注意: 这个扩展是在PHP 5.5.0过时,它是在PHP 7.0.0删除.相反,mysqli扩展或pdo_mysql应使用.参见MySQL:选择API指南和相关FAQ以获取更多信

【C#】获取网页内容及HTML解析器HtmlAgilityPack的使用

最近经常需要下载一些东西,而这个下载地址又会经过层层跳转,每个页面上都有很多广告,烦不胜烦,所以做了一个一键获得最终下载地址的小工具.使用C#,来获取网页内容,然后通过HtmlAgilityPack获取某a标签的href,不断循环,层层跳转,最后获得最终下载地址. 下面,介绍HtmlAgilityPack的使用方法,这个方法也是从网上很多篇文章中拼凑摸索出来的,因为找了一大圈根本找不到HtmlAgilityPack的文档…… 首先,using HtmlAgilityPack; 代码片段: str

perl readdir函数详解 获取目录下文件

perl readdir函数详解 2013年12月30日  Perl基础  共 763字 字号 小 中 大  暂无评论  阅读 4,384 次 readdir函数从一个用 opendir 打开的目录句柄读取目录记录也就是文件名.用法如下: readdir DIRHANDLE 在标量环境中,readdir函数返回下一个目录记录,否则,它返回undef.在列表环境中,它返回在该目录中所有剩下的记录,如果剩下没有记录了,那么这个返回可能是一个空列表.比如: opendir(THISDIR, ".&qu

Python 2.7_多进程获取简书专题数据(一)

学python几个月了正好练练手,发现问题不断提高,先从专题入手,爬取些数据,一开始对简书网站结构不熟悉,抓取推荐,热门,城市3个导航栏,交流发现推荐和热门是排序不同,url会重复,以及每个专题详情页三个类目最新评论,最新收录, 热门也会重复 做了下调整,代码执行完毕会返回所有专题的urls元组对象,以便下一步进入每个专题页面解析获取其他数据.注:变量focus关注数,和打开专题后最上面显示的专题关注人数会有差异,例如有的专题关注了10175人,在专题列表页会显示成"10.07k",因

[PHP学习教程]006.获取网页内容(URL Content)

引言:获取网页内容是我们实现网页操作的基本之基本,今天这一讲,我们和大家讲一下基本请求网页内容的几种方法. 我们似乎每天都要做这样一件事情,打开一个浏览器,输入网址,回车,一个空白的页面顿时有了东西,它可能是百度之类的搜索页面,或是一个挤满了文字和图片的门户网站. 我们可以从三个方面理解这个过程,一个是浏览器,二个是服务器,第三个是浏览器和服务器之间通信的协议. 当然,我们今天不讲<网页请求过程 > 这一次,我们说一下如何用PHP代码请求网页内容. 获取网页内容方法 1.file_get_co

(转载)Android之三种网络请求解析数据(最佳案例)

[置顶] Android之三种网络请求解析数据(最佳案例) 2016-07-25 18:02 4725人阅读 评论(0) 收藏 举报  分类: Gson.Gson解析(1)  版权声明:本文为博主原创文章,未经博主允许不得转载. 目录(?)[+] 小武:相信大家都用过网络请求解析数据,只是方法不一样而已,但是,逻辑都是差不多的: 一:AsyncTask解析数据 AsyncTask主要用来更新UI线程,比较耗时的操作可以在AsyncTask中使用. AsyncTask是个抽象类,使用时需要继承这个

一步一步开发sniffer(Winpcap+MFC)(五)莫道无人能识君,其实我懂你的心——解析数据包(转)

前文已经讲过,解析数据包主要通过analyze_frame()这个函数实现的,实际上并非这个函数完成了所有的功能,其实从名字就可以看出,它只是完成了对“帧”的解析,也就是链路层数据的解析,还有analyze_arp().analyze_ip().analyze_ip6().analyze_icmp()……等来完成其他协议层的解析工作. 为什么会这样定义?熟悉协议栈工作流程的都知道,数据是由应用层把数据加上应用层协议头后给传输层,传输层在最外面加上它的头部后给网络层,网络层在外面加上它的头部后再给

OneNET麒麟座应用开发之五:获取加速度传感器ADXL345数据

由于数据采集站基本都安装在野外或者楼顶,安装位置以及震动对检测数据的准确性有一定影响.所以想要有一个位置状态数据,正好发现麒麟作上有ADXL345,这样一个数字输出的加速度传感器.如图中红框所示: 1.ADXL345概述 ADXL345是ADI公司推出的基于iMEMS技术的3轴.数字输出加速度传感器.该加速度传感器的特点如下: 分辨率高.最高13位分辨率. 量程可变.具有+/-2g,+/-4g,+/-8g,+/-16g可变的测量范围. 灵敏度高.最高达3.9mg/LSB,能测量不到1.0°的倾斜