[Perl]抓取个人的所有闪存+格式化保存为文本

以下代码保存为utf8文本格式

环境:ActivePerl v5.16 built for MSWin32-x86

两个要调整的地方:

for my $i (17..45) {  这里改成自己对应的页码,比如发了30页的闪存,就改成1..30

还有就是这部分改成自己对应的ID和密码,中文ID还未测试过

tbUserName=>"ID",
tbPassword=>"密码",

抓取的结果参考截图:

=info
    code: vicyang
    mail: 523066680@163.com
    date: 2015-02-07
=cut

#!/usr/bin/perl
use v5.16;
use strict;
use utf8;
use Encode;
use IO::Handle;
use LWP::UserAgent;
binmode(STDOUT, ":encoding(gbk)");
STDOUT->autoflush(1);
my $ua = LWP::UserAgent->new;
$ua->cookie_jar( {} );

my $randserial=getRandHex(32);
my $response = $ua->get(
    ‘http://passport.cnblogs.com/BotDetectCaptcha.ashx?get=image&c=c_login_logincaptcha&t=‘.$randserial
);

print "$randserial\n";

if ($response->is_success) {
    # 抓取验证码图片 #
    open my $check_code_image, "> verifycode.BMP"  #默认验证图片的位置在当前目录
            or die "$!";

    binmode($check_code_image);
    print $check_code_image $response->content;
    close $check_code_image; #关闭print对句柄的控制
    system("start verifycode.BMP");
} else {
    print "wrong\n";
}

print "please input verifycode:";
my $inp=<STDIN>;
$inp=~s/\r?\n$//;

print "[$inp]\n";

my $res= $ua->post(‘http://passport.cnblogs.com/login.aspx?ReturnUrl=http://home.cnblogs.com/ing/‘,
    [
        __EVENTTARGET=>"",
        __EVENTARGUMENT=>"",
        __VIEWSTATE=>"/wEPDwUKLTM1MjEzOTU2MGQYAQUeX19Db250cm9sc1JlcXVpcmVQb3N0QmFja0tleV9fFgEFC2Noa1JlbWVtYmVy4b/ZXiH+8FthXlmKpjSEgi7XBNU=",
        __VIEWSTATEGENERATOR=>"C2EE9ABB",
        __EVENTVALIDATION=>"/wEdAAYIqCk3Gcmu25zI9fQWqoC7hI6Xi65hwcQ8/QoQCF8JIahXufbhIqPmwKf992GTkd2Mxo6xcg+Ng5CZxsqMUGnVMKtTyqevv9cjRp4Oh+9VMaKeKEbp39eHc9mbdvkCgxCM74oSoIAJofLsQdCCbtmog/0fDw==",
        tbUserName=>"改成自己的ID",
        tbPassword=>"改成自己的密码",
        chkRemember=>"on",
        LBD_VCID_c_login_logincaptcha=>$randserial,
        LBD_BackWorkaround_c_login_logincaptcha=>1,
        CaptchaCodeTextBox=>$inp,
        btnLogin=>"登++录",
        #txtReturnUrl=>"http://home.cnblogs.com/u/paktc/"
    ],
);

my $fh;
our $main=‘http://home.cnblogs.com/ing‘;
our $limit=70;
my $all;
my @ech;

for my $i (17..45) {
    print STDOUT "Code: $i\n";

    open $fh, ">:encoding(gbk)", "ing$i.txt";
    select $fh;
    $fh->autoflush(1);
    $res = $ua->get("http://home.cnblogs.com/u/paktc/feed/$i.html") or warn "$!";

    unless ($res->is_success) {
        print "wrong\n";
    }

    $all=$res->content;
    @ech=($all=~/GetIngRecentComments\((\d+)/gi);

    for (@ech) {
        &getDetail($_);
    }

    close $fh;
}
print STDERR "over";
<STDIN>;

sub getDetail {
    our $main;
    our $limit;
    my $pagecode=shift;
    $res = $ua->get($main."/".$pagecode) or warn "$!";
    my @all=split(
              /\r?\n/,
              decode(‘utf8‘, $res->content)
            );

    my (
        $p_time, $message,
        $comment_count,
        $comment_author,
        $comment_text,
        $comment_time
    );

    for (my $i=0; $i<=$#all; $i++)
    {
        if ($all[$i]=~/\d+-\d+-\d+ \d+:\d+$/)
        {
            $p_time=$&;
            print "\n$p_time\n";
        }
        if ($all[$i]=~/ing_detail_body">(.*)/i)
        {
            $message=$1;
            while (not $message=~s/<\/div>//i) {
                $message .= $all[++$i];
            }
            #case <div id="ing_detail_body"><a href="/ing/tag/..." class="ing_tag">[组图]</a>
            #     [标签]
            $message=~s/<a href=".*class="ing_tag">([^<]+)<\/a>/$1/i;
            #case 幸运闪  其他情况还未考虑
            $message=~s/<img src=.*alt="([^"]+)" title=".*"\/>/☆/i;
            #case 链接
            $message=~s/<a href="([^"]+)" .*<\/a>/<$1>/gi;

            &charResume(\$message);  #必须传入一个引用,否则会崩溃

            my @msg=splitText2($message, $limit, 2);
            print "  ", "┈"x($limit/2), "\n";
            print decode(‘gbk‘, join("", @msg));
            print "  ", "┈"x($limit/2), "\n";

            print STDOUT decode(‘gbk‘, join("", @msg)), "\n";
        }
        if ($all[$i]=~/ing_comment_count">(.*)(<\/div>)?/i)
        {
            $comment_count=$1;
        }
        if ($all[$i]=~/comment_author_.*ing\/">(.*)<\/a>/)
        {
            $comment_author = $1;
            ($comment_text = $all[$i+1]) =~ s/^ +//;
            $comment_text =~s/<a href="([^"]+)" .*<\/a>/<$1>/gi;   #替换链接
            &charResume(\$comment_text);

            $all[$i+2] =~/(\d+-\d+-\d+ \d+:\d+)/;
            $comment_time = $1;
            printf("    <%s> ", $comment_author);
            my $name_length = length(encode(‘gbk‘, $comment_author))+7;  #length "    <%s> "
            my @msg = splitText2($comment_text, ($limit - $name_length), 0);
            print decode(‘gbk‘, shift @msg);

            for (@msg) {
                print " "x$name_length . decode(‘gbk‘, $_);
            }
            print "\n";

            $i+=2;
        }
    }
}

sub splitText2 {
    my ($text, $limit, $indent) = @_;
    my ($a, $b, @arr);

    $b = encode(‘gbk‘, $text);
    while (length($b) > $limit) {
        ($a, $b) = &cut_gbk($limit, $b);
        push (@arr, " "x$indent . $a ."\n");
    }
    # At last
    push (@arr, " "x$indent . $b ."\n");

    return @arr;
}

sub cut_gbk {
    my ($limit, $gstr) = @_;
    my $i;
    my $cut = 0;
    my $gstr_a;
    my $gstr_b;
    foreach $i (
        split("", decode(‘gbk‘, $gstr))
    ) {
        if (ord($i) < 128) {
            $cut+=1;
        } else {
            $cut+=2;
        }
        if ($cut >= $limit) {
            $gstr_a = substr($gstr, 0, $cut);
            $gstr_b = substr($gstr, $cut);
            last;
        }
    }
    return ($gstr_a, $gstr_b);
}

sub charResume {
    #传入unicode格式的字符串
    my $ref = shift;
    my $char;
    my $count=0;
    ${$ref}=~s/\&lt;/</gi;
    ${$ref}=~s/\&gt;/>/gi;
    ${$ref}=~s/\&quot;/"/gi;
    ${$ref}=~s/\&nbsp;/ /gi;
    ${$ref}=~s/\&ensp;/ /gi;
    ${$ref}=~s/\&amp;/\&/gi;
    ${$ref}=~s/\&amp;/\&/gi;
    while (${$ref}=~/\&#(\d+);/) {
        $count++;
        $char=chr($1);
        ${$ref}=~s/\&#$1;/$char/g;
        if ($count > 100) {
            print STDOUT "DEEP LOOP \n";
            sleep 1.0;
            exit;
        }
    }

}

sub getRandHex {
    my $str="";
    for my $i (1 .. $_[0]) {
        $str .= sprintf("%x", int(rand(16)));
    }
    return $str;
}
时间: 2024-10-23 03:59:21

[Perl]抓取个人的所有闪存+格式化保存为文本的相关文章

perl 抓取网页内容

抓取乐彩网历年排列5数据 use LWP::Simple; use FileOperate;my $src = 'http://www.17500.cn/p5/all.php';my $FileOperate = FileOperate->new();my $FilePath = "C:\\Documents and Settings\\Administrator\\桌面\\PrelTest\\保存的模块\\文本处理";#获取文件夹下所有内容 #http://www.17500.

Python+webdriver爬取博客园“我的闪存”并保存到本地

前篇 用webdriver+phantomjs实现无浏览器的自动化过程 本篇 想法与实现 我想要将博客园“我的闪存”部分内容爬取备份到本地文件,用到了WebDriver和Phantomjs的无界面浏览器.对于xpath的获取与校验需要用到firefox浏览器,安装firebug和firepath插件.代码如下: # -*- coding: utf-8 -*- import os,time from selenium import webdriver from selenium.webdriver

虚拟机VMWare学习笔记十二 - 将物理机抓取成虚拟机

1. 安装VMware vCenter Converter Standalone Client 运行虚拟机,File -- Virtualize a Physical Machine 这时如果电脑中没有VMware vCenter Converter Standalone Client ,则会进行安装. 安装过程 之后图标会出现在桌面上,双击运行 选择连接到本地服务器,登陆 点击转换计算机 这个,可以将本地计算机抓取成虚拟机,也可以将其他可以访问的计算机(需知道管理员用户名及密码)抓取成虚拟机.

使用JavaCV/OpenCV抓取并存储摄像头图像

http://blog.csdn.net/ljsspace/article/details/6702178  分类: 图形图像(3)  版权声明:本文为博主原创文章,未经博主允许不得转载. 本程序通过JFrame实时显示本机摄像头图像,并将图像存储到一个缓冲区,当用户用鼠标点击JFrame中任何区域时,显示抓取图像的简单动画,同时保存缓冲区的图像到磁盘文件中.点击JFrame关闭按钮可以退出程序. 实现: [java] view plain copy import java.awt.Graphi

【Python】抓取淘宝数据库月报,发送邮件,本地存档,保存元信息

用途 定期抓取淘宝数据库月报 发送邮件,保存到本地,最好是git中 发送元数据到mysql中,后期可以做成接口集成到运维平台中,便于查询 使用方式 # 下载(必须) cd ~ && git clone https://github.com/naughtyGitCat/spider_taobao_mysql.git # 修改配置(必须) vim config.py # 安装crontab(可选) "0 10 8 * * source ~/.bashrc && pyt

altera公司FPGA的视频流帧抓取

我们在用FPGA对视频进行处理时,常常会遇到:有时候图像中的某些文字显示模糊----这有可能是缩放导致:有时可能是AD/DA模块采用了不同厂家的芯片----导致转换后的效果不同:有可能在图像YUV422与YUV420互相转换----算法间接导致图像效果变差.林林总总,当然还有其它不同的图像处理而有可能降低画质的场景.在针对图像质量跟踪定位时,最直观的,莫过于直接抓取各图像处理功能模块的输入输出,取出前后图像直接对比,就能立竿见影的诊断出该模块是否异常.所以:如何在FPGA中抓取视频流中的一帧图像

[Demo]提取个人博客园闪存+评论

还在折腾中,这里是我抓取第一页的结果,发现还是有细节要处理,等完善后再发代码 脚本:Perl OK<img src=" <a href="http://static.cnblogs.com/images/ing_lucky.png"" target="_blank" class="gray">static.cnblogs.com...</a>  class="ing_icon_lucky

基于Casperjs的网页抓取技术【抓取豆瓣信息网络爬虫实战示例】

CasperJS is a navigation scripting & testing utility for the PhantomJS (WebKit) and SlimerJS (Gecko) headless browsers, written in Javascript. PhantomJS是基于WebKit内核的headless browser SlimerJS则是基于Gecko内核的headless browser Headless browser: 无界面显示的浏览器,可以用于

delphi 用idhttp做web页面数据抓取 注意事项

这里不讨论webbrowse方式了 .直接采用indy的 idhttp  Get post 可以很方便的获取网页数据. 但如果要抓取大量数据 程序稳定运行不崩溃就不那么容易了.这几年也做了不少类似工具 总结了几点 好记性不如烂笔头. 内存泄露 获取页面文本 少不了用到html解析 具体到delphi 估计采用mshtml htmltotext 方法的不少,这个方案再大数据量时就会内存溢出 导致程序崩溃,而这并不是每个程序员都知道.解决的方案:采用自己的html解析类 这里我要感谢 武稀松(csd