最近项目需要，要获取淘宝商品全部类目结构，有两种方法，1. 可以通过爬虫技术实现， 2. 通过淘宝开放接口实现。
这里选用第2种方法，以下是实现过程：
1. 首先要申请成为淘宝开发者
http://open.taobao.com/index.htm
2. 进入后台后，新建一个应用，得到一个app证书，证书里面有Appkey 和 Appsecret （Appsecret为 API 调用的密钥要注意保密，如泄漏要及时重置）
3. 调用淘宝接口还需要一个 sissionid，通过以下方式得到，
访问URL: http://container.api.taobao.com/container?appkey=你的AppKey
登录你的淘宝账号，授权确认后在回调的URL中即可得到sissionid
示例：http://www.xxx.com/?top_appkey=xxx&top_parameters=xxx&top_session=你的SessionID&top_sign=xxx
4. 主程序代码GetCategory.java
这里解析json的数据结构用到fastjson开源包（网上搜索一下，这里用的是 fastjson-1.1.34.jar ）,
1 import java.text.SimpleDateFormat;
2 import java.util.Date;
3 import java.util.Iterator;
4 import java.util.List;
5 import java.util.Map;
6 import java.util.TreeMap;
7 import java.util.regex.Matcher;
8 import java.util.regex.Pattern;
9
10 import com.alibaba.fastjson.JSONArray;
11
12 import java.io.File;
13 import java.io.FileOutputStream;
14 import java.io.IOException;
15
16 public class GetCategory {
17 //protected static String Url = "http://gw.api.tbsandbox.com/router/rest";//沙箱环境调用地址
18 protected static String Url = "http://gw.api.taobao.com/router/rest";//正式环境调用地址
19 protected static String appkey = 你的AppKey;
20 protected static String secret = 你的APPSecret;
21 protected static String session = 你的SesionID;
22 protected static File file = new File("c:/cats.txt");
23 protected static FileOutputStream fop = null;
24
25 //调用淘宝接口，获取父目录下的子目录（以json数据格式返回）
26 public static String getCat(String parent_cid){
27 TreeMap<String, String> apiparamsMap = new TreeMap<String, String>();
28 apiparamsMap.put("format", "json");//以json数据格式返回
29 apiparamsMap.put("method", "taobao.itemcats.get"); //获取类目函数
30 apiparamsMap.put("sign_method","md5");
31 apiparamsMap.put("app_key",appkey); //appkey
32 apiparamsMap.put("v", "2.0");//版本
33 apiparamsMap.put("session",session);//sessionID
34 String timestamp =new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(new Date());
35 apiparamsMap.put("timestamp",timestamp);//时间
36
37 apiparamsMap.put("fields","cid,parent_cid,name,is_parent");//需要获取的字段
38 apiparamsMap.put("parent_cid",parent_cid); //父目录id
39
40 //生成签名
41 String sign = Util.md5Signature(apiparamsMap,secret);
42 apiparamsMap.put("sign", sign);
43 StringBuilder param = new StringBuilder();
44 for (Iterator<Map.Entry<String, String>> it = apiparamsMap.entrySet()
45 .iterator(); it.hasNext();) {
46 Map.Entry<String, String> e = it.next();
47 param.append("&").append(e.getKey()).append("=").append(e.getValue());
48 }
49 return param.toString().substring(1);
50 }
51
52 //根据父目录递归获取子目录，并写入txt文件
53 public static void getAllCats(String root) throws IOException{
54 String result = Util.getResult(Url,getCat(root));
55 //System.out.print(result);
56 if(result == null || result.length()==0)
57 {
58 System.out.print("root:"+ root + " result null");//获取不到，记录下来后面再手动补充
59 return;
60 }
61 // String result ="{\"itemcats_get_response\":{\"item_cats\":{\"item_cat\":[{\"cid\":121266001,\"is_parent\":true,\"name\":\"众筹\",\"parent_cid\":0},"
62 // + "{\"cid\":120950001,\"is_parent\":true,\"name\":\"保险分销\",\"parent_cid\":0},"
63 // + "{\"cid\":124470006,\"is_parent\":true,\"name\":\"平行进口车\",\"parent_cid\":0}]},\"request_id\":\"ze1ym5zcokd2\"}}";
64 Pattern p = Pattern.compile("\"item_cat\":(.*)},\"request_id\":");//提取item_cat部分内容
65 Matcher m = p.matcher(result);
66 if (m.find()) {
67 String catsJsonstr = m.group(1);
68 List<item_cat> cats = JSONArray.parseArray(catsJsonstr, item_cat.class);
69 for (int i = 0; i < cats.size(); i++) {
70 item_cat cat = cats.get(i);
71 String content = cat.cid + "," + cat.name + "," + cat.parent_cid + "," + cat.is_parent + "\r\n";//写入内容，一个类目一行记录
72 byte[] contentInBytes = content.getBytes();
73 fop.write(contentInBytes);//写入文件
74 fop.flush();
75 if (cat.is_parent.equals("true")) {
76 getAllCats(cat.cid);
77 }
78 }
79 }
80 }
81
82 public static void getTaobaoCats() {
83 try {
84 //打开文件
85 fop = new FileOutputStream(file);
86 // if file doesn‘t exists, then create it
87 if (!file.exists()) {
88 file.createNewFile();
89 }
90 //获取顶层根目录（0）
91 getAllCats("0");
92 //关闭文件
93 fop.close();
94 System.out.println("Done");
95 } catch (IOException e) {
96 e.printStackTrace();
97 }
98 }
99
100 public static void main(String[] args) {
101 //获取所有类目，并写入txt文件
102 getTaobaoCats();
103 }
104 }
代码中用到的类目的实体类：item_cat.java
1 public class item_cat {
2 /**
3 * 类目id
4 */
5 public String cid;
6 /**
7 * 是否为父目录
8 */
9 public String is_parent;
10 /**
11 * 父目录ID
12 */
13 public String parent_cid;
14 /**
15 * 目录名称
16 */
17 public String name;
18 public item_cat() {
19 super();
20 // TODO Auto-generated constructor stub
21 }
22 public item_cat(String cid, String is_parent, String parent_cid, String name) {
23 super();
24 this.cid = cid;
25 this.is_parent = is_parent;
26 this.parent_cid = parent_cid;
27 this.name = name;
28 }
29 public String getCid() {
30 return cid;
31 }
32 public void setCid(String cid) {
33 this.cid = cid;
34 }
35 public String getIs_parent() {
36 return is_parent;
37 }
38 public void setIs_parent(String is_parent) {
39 this.is_parent = is_parent;
40 }
41 public String getName() {
42 return name;
43 }
44 public void setName(String name) {
45 this.name = name;
46 }
47 @Override
48 public String toString() {
49 return "item_cat [cid=" + cid + ", is_parent=" + is_parent + ", parent_cid=" + parent_cid + ", name=" + name + "]";
50 }
51 }
最后获取到的文件内数据格式如下：
类目ID,类目名称,父类目ID,是否为父目录
121266001,众筹,0,true
121278001,影音,121266001,false
121280001,公益,121266001,false
121274002,书籍,121266001,false
121284001,娱乐,121266001,false
121288001,科技,121266001,false
...
刚好是一张自关联的目录结构表。
时间： 2024-10-08 22:18:53