java抓取快递信息

package zeze;

import java.io.IOException;

import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class TestJsoup {

    public Document getDocument(String url) {
        try {
            return Jsoup.connect(url).get();
        } catch (IOException e) {
            e.printStackTrace();
        }
        return null;
    }

    public static void main(String[] args) throws IOException {
        TestJsoup t = new TestJsoup();
        String url ="http://www.kiees.cn/yto.php?wen=880350384879600241&action=ajax";//获取地址
        Connection conn = Jsoup.connect(url);
        // 设置查询参数
        conn.data("wen", "880350384879600241");
        Document doc = null;
        // 设置请求类型
        doc = conn.timeout(100000).get();
        //处理返回数据
        Elements results = new Elements();
        results = doc.select("[class = yto]");
        int i=0;
        for (Element result : results)
        {
            Elements links = result.getElementsByTag("td");
            for (Element link : links)
            {
                //必要的筛选
                String val = link.text();
                if(i%2==0)
                System.out.println("时间:" + val);
                else
                System.out.println("状态:" + val);
                i++;
            }
        }

        /*Elements zeze0 = new Elements();
        Elements zeze1 = new Elements();
        Elements zeze2 = new Elements();
        String name;
        String price;
        String sales;
        int count=0;
        String key = "520675407117";
        for (int i = 0; i < 3; i++) {
            Document doc = t.getDocument("https://item.taobao.com/item.htm?id=" + key + "");
            String b = key.substring(0, 5);

            String c = key.substring(5, 12);

            int d = Integer.parseInt(c);
            key = b + (d + 1);
            // 获取目标HTML代码
            zeze0 = doc.select("[class= tb-main-title]");
            name = zeze0.attr("data-title");//商品名

            zeze1 = doc.select("[class=tb-rmb-num]");
            price = zeze1.text();//价格

            zeze2 = doc.select("#J_SellCounter");
            sales = zeze2.text();//销量

            if (name != "") {
                count++;
                System.out.println("id:" + key);
                System.out.println("商品:" + name);
                System.out.println("价格:" + price);
                System.out.println("销量:" + sales);
            }
        }
        System.out.println("本次采集总数:"+count);
        System.out.println("end");*/

    }
}

 1 package zeze;
 2
 3 import java.io.IOException;
 4
 5 import org.jsoup.Connection;
 6 import org.jsoup.Jsoup;
 7 import org.jsoup.nodes.Document;
 8 import org.jsoup.nodes.Element;
 9 import org.jsoup.select.Elements;
10
11 public class TestJsoup {
12
13     public Document getDocument(String url) {
14         try {
15             return Jsoup.connect(url).get();
16         } catch (IOException e) {
17             e.printStackTrace();
18         }
19         return null;
20     }
21
22     public static void main(String[] args) throws IOException {
23         TestJsoup t = new TestJsoup();
24         String url = "http://www.kiees.cn/yto.php?wen=880350384879600241&action=ajax";// 获取地址
25         Connection conn = Jsoup.connect(url);
26
27         String key = "880350384879600241";
28
29         // 设置查询参数
30         for (int j = 0; j < 100; j++) {
31             String b = key.substring(0, 11);
32             String c = key.substring(11,17);
33             int d = Integer.parseInt(c);
34             key = b + (d + 1);
35             System.out.println("key:" + key);
36             conn.data("wen", key);
37             Document doc = null;
38             // 设置请求类型
39             doc = conn.timeout(100000).get();
40             // 处理返回数据
41             Elements results = new Elements();
42             results = doc.select("[class = yto]");
43             int i = 0;
44             for (Element result : results) {
45                 Elements links = result.getElementsByTag("td");
46                 for (Element link : links) {
47                     // 必要的筛选
48                     String val = link.text();
49                     if (i % 2 == 0)
50                         System.out.println("时间:" + val);
51                     else
52                         System.out.println("状态:" + val);
53                     i++;
54                 }
55             }
56         }
57
58         /*
59          * Elements zeze0 = new Elements(); Elements zeze1 = new Elements();
60          * Elements zeze2 = new Elements(); String name; String price; String
61          * sales; int count=0; String key = "520675407117"; for (int i = 0; i <
62          * 3; i++) { Document doc =
63          * t.getDocument("https://item.taobao.com/item.htm?id=" + key + "");
64          * String b = key.substring(0, 5);
65          *
66          * String c = key.substring(5, 12);
67          *
68          * int d = Integer.parseInt(c); key = b + (d + 1); // 获取目标HTML代码 zeze0 =
69          * doc.select("[class= tb-main-title]"); name =
70          * zeze0.attr("data-title");//商品名
71          *
72          * zeze1 = doc.select("[class=tb-rmb-num]"); price = zeze1.text();//价格
73          *
74          * zeze2 = doc.select("#J_SellCounter"); sales = zeze2.text();//销量
75          *
76          *
77          * if (name != "") { count++; System.out.println("id:" + key);
78          * System.out.println("商品:" + name); System.out.println("价格:" + price);
79          * System.out.println("销量:" + sales); } }
80          * System.out.println("本次采集总数:"+count); System.out.println("end");
81          */
82
83     }
84 }

时间: 2024-10-21 01:46:29

java抓取快递信息的相关文章

java抓取快递100信息接口

1 package zeze; 2 3 import java.io.IOException; 4 5 import org.json.JSONArray; 6 import org.json.JSONException; 7 import org.json.JSONObject; 8 import org.jsoup.Connection; 9 import org.jsoup.Jsoup; 10 import org.jsoup.nodes.Document; 11 import org.j

java抓取12306火车余票信息

最近在弄一个微信的公众帐号,涉及到火车票查询,之前用的网上找到的一个接口,但只能查到火车时刻表,12306又没有提供专门的查票的接口.今天突然想起自己直接去12306上查询,抓取查询返回的数据包,这样就可以得到火车票的信息.这里就随笔记一下获取12306余票的过程. 首先,我用firefox浏览器上12306查询余票.打开firefox的Web控制台,选上网络中的"记录请求和响应主体" 然后输入地址日期信息之后点击网页上的查询按钮,就能在Web控制台下看到网页请求的地址了: 就是图片中

java抓取网页数据,登录之后抓取数据。

最近做了一个从网络上抓取数据的一个小程序.主要关于信贷方面,收集的一些黑名单网站,从该网站上抓取到自己系统中. 也找了一些资料,觉得没有一个很好的,全面的例子.因此在这里做个笔记提醒自己. 首先需要一个jsoup的jar包,我用的1.6.0..下载地址为:http://pan.baidu.com/s/1mgqOuHa 1,获取网页内容(核心代码,技术有限没封装). 2,登录之后抓取网页数据(如何在请求中携带cookie). 3,获取网站的ajax请求方法(返回json). 以上这三点我就用一个类

jsoup实现java抓取网页内容。

Java 程序在解析 HTML 文档时,相信大家都接触过 htmlparser 这个开源项目,我曾经在 IBM DW 上发表过两篇关于 htmlparser 的文章,分别是:从 HTML 中攫取你所需的信息和 扩展 HTMLParser 对自定义标签的处理能力.但现在我已经不再使用 htmlparser 了,原因是 htmlparser 很少更新,但最重要的是有了 jsoup . jsoup 是一款 Java 的 HTML 解析器,可直接解析某个 URL 地址.HTML 文本内容.它提供了一套非

用 Java 抓取优酷、土豆等视频

1. [代码][JavaScript]代码  import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements; /*** 视频工具类* @author sunlightcs* 2011-4-6* http://hi.juziku.com/sunlightcs/*/public class VideoUtil {       

PHP curl模拟浏览器抓取网站信息

curl是一个利用URL语法在命令行方式下工作的文件传输工具. 官方解释 curl是一个利用URL语法在命令行方式下工作的文件传输工具.curl是一个利用URL语法在命令行方式下工作的文件传输工具.它支持很多协议:FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP.curl同样支持HTTPS认证,HTTP POST方法, HTTP PUT方法, FTP上传, kerberos认证, HTTP上传, 代理服务器, cookies,

网络爬虫: 从allitebooks.com抓取书籍信息并从amazon.com抓取价格(2): 抓取allitebooks.com书籍信息及ISBN码

这一篇首先从allitebooks.com里抓取书籍列表的书籍信息和每本书对应的ISBN码. 一.分析需求和网站结构 allitebooks.com这个网站的结构很简单,分页+书籍列表+书籍详情页. 要想得到书籍的详细信息和ISBN码,我们需要遍历所有的页码,进入到书籍列表,然后从书籍列表进入到每本书的详情页里,这样就能够抓取详情信息和ISBN码了. 二.从分页里遍历每一页书籍列表 通过查看分页功能的HTML代码,通过class="current"可以定位当前页码所在span标签,此s

java 抓取网页图片

? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86

网络爬虫: 从allitebooks.com抓取书籍信息并从amazon.com抓取价格(3): 抓取amazon.com价格

通过上一篇随笔的处理,我们已经拿到了书的书名和ISBN码.(网络爬虫: 从allitebooks.com抓取书籍信息并从amazon.com抓取价格(2): 抓取allitebooks.com书籍信息及ISBN码) 接下来将通过ISBN码去amazon.com获取每本书对应的价格. 一.了解需要和分析网站 通过分析amazon.com得知,以ISBN码作为搜索关键字可查找到对应的书. 结果页码就有这本书的价格,既然价格是以$符号开头,那就可以通过正则表达式得到价格. 通过正则表达式匹配价格代码: