使用Jsoup 抓取页面的数据

需要使用的是jsoup-1.7.3.jar包   如果需要看文档我下载请借一步到官网:http://jsoup.org/  

这里贴一下我用到的 Java工程的测试代码 

package com.javen.Jsoup;

import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class JsoupTest {
    static String url="http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html";
    /**
     * @param args
     * @throws Exception
     */
    public static void main(String[] args) throws Exception {

        // TODO Auto-generated method stub
        BolgBody();
        //test();
        //Blog();
        /*
         * Document doc = Jsoup.connect("http://www.oschina.net/")
         * .data("query", "Java") // 请求参数 .userAgent("I ’ m jsoup") // 设置
         * User-Agent .cookie("auth", "token") // 设置 cookie .timeout(3000) //
         * 设置连接超时时间 .post();
         */// 使用 POST 方法访问 URL

        /*
         * // 从文件中加载 HTML 文档 File input = new File("D:/test.html"); Document doc
         * = Jsoup.parse(input,"UTF-8","http://www.oschina.net/");
         */
    }

    /**
     * 获取指定HTML 文档指定的body
     * @throws IOException
     */
    private static void BolgBody() throws IOException {
        // 直接从字符串中输入 HTML 文档
        String html = "<html><head><title> 开源中国社区 </title></head>"
                + "<body><p> 这里是 jsoup 项目的相关文章 </p></body></html>";
        Document doc = Jsoup.parse(html);
        System.out.println(doc.body());

        // 从 URL 直接加载 HTML 文档
        Document doc2 = Jsoup.connect(url).get();
        String title = doc2.body().toString();
        System.out.println(title);
    }

    /**
     * 获取博客上的文章标题和链接
     */
    public static void article() {
        Document doc;
        try {
            doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/").get();
            Elements ListDiv = doc.getElementsByAttributeValue("class","postTitle");
            for (Element element :ListDiv) {
                Elements links = element.getElementsByTag("a");
                for (Element link : links) {
                    String linkHref = link.attr("href");
                    String linkText = link.text().trim();
                    System.out.println(linkHref);
                    System.out.println(linkText);
                }
            }
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }

    }
    /**
     * 获取指定博客文章的内容
     */
    public static void Blog() {
        Document doc;
        try {
            doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html").get();
            Elements ListDiv = doc.getElementsByAttributeValue("class","postBody");
            for (Element element :ListDiv) {
                System.out.println(element.html());
            }
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }

    }

}

下面来介绍android中使用Jsoup异步解析网页的数据 请注意: 这里很容易遇到一个乱码的稳定

  1. 配置文件:AndroidManifest.xml中加 权限 <uses-permission android:name="android.permission.INTERNET"></uses-permission>
  2. layout的布局文件

    <LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
        xmlns:tools="http://schemas.android.com/tools"
        android:layout_width="match_parent"
        android:layout_height="match_parent"
        android:orientation="vertical" >
    
        <WebView
            android:id="@+id/webView"
            android:layout_width="fill_parent"
            android:layout_height="200dp" />
    
        <ScrollView
            android:layout_width="wrap_content"
            android:layout_height="wrap_content" >
    
            <TextView
                android:id="@+id/textView"
                android:layout_width="wrap_content"
                android:layout_height="wrap_content"
                android:text="@string/hello_world" />
        </ScrollView>
    
    </LinearLayout>

  3. 主要异步加载数据的代码

    package com.javen.aaa;
    
    import java.io.BufferedReader;
    import java.io.IOException;
    import java.io.InputStreamReader;
    import java.net.URL;
    
    import org.jsoup.Jsoup;
    import org.jsoup.nodes.Document;
    import org.jsoup.nodes.Element;
    import org.jsoup.select.Elements;
    
    import android.app.Activity;
    import android.app.Dialog;
    import android.app.ProgressDialog;
    import android.os.AsyncTask;
    import android.os.Bundle;
    import android.util.Log;
    import android.webkit.WebView;
    import android.widget.TextView;
    
    public class MainActivity extends Activity {
        private WebView webView;
        private TextView textView;
        private static final int DIALOG_KEY = 0;
        @Override
        protected void onCreate(Bundle savedInstanceState) {
            super.onCreate(savedInstanceState);
            setContentView(R.layout.main);
            webView = (WebView) findViewById(R.id.webView);
            textView=(TextView) findViewById(R.id.textView);
            try {
                ProgressAsyncTask asyncTask=new ProgressAsyncTask(webView,textView);
                asyncTask.execute(10000);
            } catch (Exception e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
        }
    
        public  String test() {
            StringBuffer buffer=new StringBuffer();
            Document doc;
            try {
                doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/").get();
                Elements ListDiv = doc.getElementsByAttributeValue("class","postTitle");
                for (Element element :ListDiv) {
                    Elements links = element.getElementsByTag("a");
                    for (Element link : links) {
                        String linkHref = link.attr("href");
                        String linkText = link.text().trim();
                        buffer.append("linkHref=="+linkHref);
                        buffer.append("linkText=="+linkText);
    
                        System.out.println(linkHref);
                        System.out.println(linkText);
                    }
                }
            } catch (IOException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
            return buffer.toString();
    
        }
    
            // 弹出"查看"对话框
            @Override
            protected Dialog onCreateDialog(int id) {
                switch (id) {
                case DIALOG_KEY: {
                    ProgressDialog dialog = new ProgressDialog(this);
                    dialog.setMessage("获取数据中  请稍候...");
                    dialog.setIndeterminate(true);
                    dialog.setCancelable(true);
                    return dialog;
                }
                }
                return null;
            }
    
            public static String readHtml(String myurl) {
                StringBuffer sb = new StringBuffer("");
                URL url;
                try {
                    url = new URL(myurl);
                    BufferedReader br = new BufferedReader(new InputStreamReader(url.openStream(), "gbk"));
                    String s = "";
                    while ((s = br.readLine()) != null) {
                        sb.append(s + "\r\n");
                    }
                } catch (Exception e) {
                    e.printStackTrace();
                }
                return sb.toString();
            }
    
        class ProgressAsyncTask extends AsyncTask<Integer, Integer, String> {
    
            private WebView webView;
            private TextView textView;
            public ProgressAsyncTask(WebView webView,TextView textView) {
                super();
                this.webView=webView;
                this.textView=textView;
            }
    
            /**
             * 这里的Integer参数对应AsyncTask中的第一个参数 这里的String返回值对应AsyncTask的第三个参数
             * 该方法并不运行在UI线程当中,主要用于异步操作,所有在该方法中不能对UI当中的空间进行设置和修改
             * 但是可以调用publish Progress方法触发onProgressUpdate对UI进行操作
             */
            @Override
            protected String doInBackground(Integer... params) {
                String str =null;
                Document doc = null;
                try {
    //                String url ="http://www.cnblogs.com/zyw-205520/p/3355681.html";
    //
    //                doc= Jsoup.parse(new URL(url).openStream(),"utf-8", url);
    //                //doc = Jsoup.parse(readHtml(url));
    //                //doc=Jsoup.connect(url).get();
    //                str=doc.body().toString();
                    doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html").get();
                    Elements ListDiv = doc.getElementsByAttributeValue("class","postBody");
                    for (Element element :ListDiv) {
                        str=element.html();
                        System.out.println(element.html());
                    }
                    Log.d("doInBackground", str.toString());
                    System.out.println(str);
                    //你可以试试GBK或UTF-8
                } catch (Exception e) {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                }
                return str.toString() ;
                //return test();
            }
    
            /**
             * 这里的String参数对应AsyncTask中的第三个参数(也就是接收doInBackground的返回值)
             * 在doInBackground方法执行结束之后在运行,并且运行在UI线程当中 可以对UI空间进行设置
             */
            @Override
            protected void onPostExecute(String result) {
                webView.loadData(result, "text/html;charset=utf-8", null);
                textView.setText(result);
                removeDialog(DIALOG_KEY);
            }
    
            // 该方法运行在UI线程当中,并且运行在UI线程当中 可以对UI空间进行设置
            @Override
            protected void onPreExecute() {
                showDialog(DIALOG_KEY);
            }
    
            /**
             * 这里的Intege参数对应AsyncTask中的第二个参数
             * 在doInBackground方法当中,,每次调用publishProgress方法都会触发onProgressUpdate执行
             * onProgressUpdate是在UI线程中执行,所有可以对UI空间进行操作
             */
            @Override
            protected void onProgressUpdate(Integer... values) {
    
            }
        }
    
    }

时间: 2024-10-13 00:58:14

使用Jsoup 抓取页面的数据的相关文章

使用java开源工具httpClient及jsoup抓取解析网页数据

今天做项目的时候遇到这样一个需求,需要在网页上展示今日黄历信息,数据格式如下 公历时间:2016年04月11日 星期一 农历时间:猴年三月初五 天干地支:丙申年 壬辰月 癸亥日 宜:求子 祈福 开光 祭祀 安床 忌:玉堂(黄道)危日,忌出行 主要包括公历/农历日期,以及忌宜信息的等.但是手里并没有现成的数据可供使用,怎么办呢? 革命前辈曾经说过,没有枪,没有炮,敌(wang)人(luo)给我们造!网络上有很多现成的在线 万年历应用可供使用,虽然没有现成接口,但是我们可以伸出手来,自己去拿.也就是

防止抓取页面的数据

从程序上 1.判断用户代理 2.判断ip的访问速度.或者sessionid的访问速度 3.判断请求来源及上级来源 4.客户端通过js自动生成cookie(时间戳和session的加密),后台判断 5.验证码 6.多次不同session判断 从页面上 1.数据随机排序 2.标签中加入随机字符 3.加入随机注释的标签打乱页面组合,加大抓取难度 总之尽量不要有规律. ----未完待续----

Jsoup 爬取页面的数据和 理解HTTP消息头

推荐一本书:黑客攻防技术宝典.Web实战篇  :       顺便留下一个疑问:是否能通过jsoup大量并发访问web或者小型域名服务器,使其瘫痪?其实用jsoup熟悉的朋友可以用它解析url来干一件很无耻的事(源码保密).呵呵,接下来简单的介绍下JSOUP. jsoup 是一款基于Java 的HTML解析器,可直接解析某个URL地址.HTML文本字符串.HTML文件.它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据. 官网下载地址:http:/

使用jsoup爬虫抓取页面

httpclient 和jsoup都可以实现模拟浏览器抓取页面,前者发送请求,后者解析htm标签比较强大.本例直接使用jsoup实现请求和解析. package com.chongdong.log.test; import java.io.IOException; import java.util.HashMap; import java.util.Map; import org.jsoup.Connection; import org.jsoup.Connection.Method; impo

jsoup抓取网页+详细讲解

jsoup抓取网页+详细讲解 Java 程序在解析 HTML 文档时,相信大家都接触过 htmlparser 这个开源项目,我曾经在 IBM DW 上发表过两篇关于 htmlparser 的文章,分别是:从 HTML 中攫取你所需的信息和 扩展 HTMLParser 对自定义标签的处理能力.但现在我已经不再使用 htmlparser 了,原因是 htmlparser 很少更新,但最重要的是有了 jsoup . jsoup 是一款 Java 的 HTML 解析器,可直接解析某个 URL 地址.HT

Fiddler捕获抓取 App端数据包

最近项目设计到App抓包,所以采用Fiddler工具来采集获取APP数据包,但是fiddler对有些app是无法捕获到数据包的,以下是我的处理方法: 1. 我默认代理端口使用的是自定义的端口而不是默认的8888端口: 2. 手机端安装Fiddler证书,电脑端关闭防火墙 对我采集的app来说亲测有效能获取到数据包,记录一下操作过程: 以下是我对安卓App进行抓取的步骤: 1.   Fiddler下载地址(http://fiddler2.com/) 2.  安装到电脑,我的电脑系统是Win10 3

beautifulsoup学习-抓取页面并解析

以汽车之家为例子,抓取页面并进行解析 # -*- coding=utf-8 -*- import urllib2 from BeautifulSoup import BeautifulSoup as bs3 import json import codecs #字符检测,用来检测其真实的编码格式 import chardet #save content to file def save_to_file(filename, content): f = open(filename, 'w+') as

curl只能抓取页面的部分内容的原因

核心提示:先列出 HessianPHP 的错误提示: CURL transport error: transfer closed with outstanding read data remaining 基础知识背景: 1)"Expect: 100-continue"的来龙去脉: HTTP/1.1 协议里设计100 (Continue) HTTP 状态码的的目的是,在客 ... 先列出 HessianPHP 的错误提示: CURL transport error: transfer c

[python]利用selenium模拟用户操作抓取天猫评论数据

准备: python3.5 安装selenium包 第一种方法: cmd里输pip install selenium,但是经常报错 第二种方法: 下载安装包-cmd进入解压路径-python setup.py install-报错permission denied-右键安全更改报错文件夹权限为完全控制-再次安装成功unknown error: unable to discover open pages-下载chromedriver放在环境变量目录下测试自动打开百度时提示"您使用的是不受支持的命令