[Java]知乎下巴第3集：来人啊快把知乎的答案装到篮子里去

上次我们已经能把知乎的问题抓出来了，但是答案还木有抓出来。

这一回合，我们就连着把答案也一起从网站中抠出来=。=

前期我们抓取标题是在该链接下：

http://www.zhihu.com/explore/recommendations

但是显然这个页面是无法获取答案的。

一个完整问题的页面应该是这样的链接：

http://www.zhihu.com/question/22355264

仔细一看，啊哈我们的封装类还需要进一步包装下，至少需要个questionDescription来存储问题描述：

[java] view plaincopy

1. import java.util.ArrayList;
2. public class Zhihu {
3. public String question;// 问题
4. public String questionDescription;// 问题描述
5. public String zhihuUrl;// 网页链接
6. public ArrayList<String> answers;// 存储所有回答的数组
7. // 构造方法初始化数据
8. public Zhihu() {
9. question = "";
10. questionDescription = "";
11. zhihuUrl = "";
12. answers = new ArrayList<String>();
13. }
14. @Override
15. public String toString() {
16. return "问题：" + question + "\n" + "描述：" + questionDescription + "\n"
17. + "链接：" + zhihuUrl + "\n回答：" + answers + "\n";
18. }
19. }

我们给知乎的构造函数加上一个参数，用来设定url值，因为url确定了，这个问题的描述和答案也就都能抓到了。

我们将Spider的获取知乎对象的方法改一下，只获取url即可：

[java] view plaincopy

1. static ArrayList<Zhihu> GetZhihu(String content) {
2. // 预定义一个ArrayList来存储结果
3. ArrayList<Zhihu> results = new ArrayList<Zhihu>();
4. // 用来匹配url，也就是问题的链接
5. Pattern urlPattern = Pattern.compile("<h2>.+?question_link.+?href=\"(.+?)\".+?</h2>");
6. Matcher urlMatcher = urlPattern.matcher(content);
7. // 是否存在匹配成功的对象
8. boolean isFind = urlMatcher.find();
9. while (isFind) {
10. // 定义一个知乎对象来存储抓取到的信息
11. Zhihu zhihuTemp = new Zhihu(urlMatcher.group(1));
12. // 添加成功匹配的结果
13. results.add(zhihuTemp);
14. // 继续查找下一个匹配对象
15. isFind = urlMatcher.find();
16. }
17. return results;
18. }

接下来，就是在Zhihu的构造方法里面，通过url获取所有的详细数据。

我们先要对url进行一个处理，因为有的针对回答的，它的url是：

http://www.zhihu.com/question/22355264/answer/21102139

有的针对问题的，它的url是：

http://www.zhihu.com/question/22355264

那么我们显然需要的是第二种，所以需要用正则把第一种链接裁切成第二种，这个在Zhihu中写个函数即可。

[java] view plaincopy

1. // 处理url
2. boolean getRealUrl(String url) {
3. // 将http://www.zhihu.com/question/22355264/answer/21102139
4. // 转化成http://www.zhihu.com/question/22355264
5. // 否则不变
6. Pattern pattern = Pattern.compile("question/(.*?)/");
7. Matcher matcher = pattern.matcher(url);
8. if (matcher.find()) {
9. zhihuUrl = "http://www.zhihu.com/question/" + matcher.group(1);
10. } else {
11. return false;
12. }
13. return true;
14. }

接下来就是各个部分的获取工作了。

先看下标题：

正则把握住那个class即可，正则语句可以写成：zm-editable-content\">(.+?)<

运行下看看结果：

哎哟不错哦。

接下来抓取问题描述：

啊哈一样的原理，抓住class，因为它应该是这个的唯一标识。

验证方法：右击查看页面源代码，ctrl+F看看页面中有没有其他的这个字符串。

后来经过验证，还真出了问题：

标题和描述内容前面的class是一样的。

那只能通过修改正则的方式来重新抓取：

[java] view plaincopy

1. // 匹配标题
2. pattern = Pattern.compile("zh-question-title.+?<h2.+?>(.+?)</h2>");
3. matcher = pattern.matcher(content);
4. if (matcher.find()) {
5. question = matcher.group(1);
6. }
7. // 匹配描述
8. pattern = Pattern
9. .compile("zh-question-detail.+?<div.+?>(.*?)</div>");
10. matcher = pattern.matcher(content);
11. if (matcher.find()) {
12. questionDescription = matcher.group(1);
13. }

最后就是循环抓取答案了：

初步暂定正则语句：/answer/content.+?<div.+?>(.*?)</div>

改下代码之后我们会发现软件运行的速度明显变慢了，因为他需要访问每个网页并且把上面的内容抓下来。

比如说编辑推荐有20个问题，那么就需要访问网页20次，速度也就慢下来了。

试验一下，看上去效果不错：

OK，那就先这样好了~下次继续进行一些细节的调整，比如多线程，IO流写入本地等等。

附项目源码：

Zhihu.java

[java] view plaincopy

1. import java.util.ArrayList;
2. import java.util.regex.Matcher;
3. import java.util.regex.Pattern;
4. public class Zhihu {
5. public String question;// 问题
6. public String questionDescription;// 问题描述
7. public String zhihuUrl;// 网页链接
8. public ArrayList<String> answers;// 存储所有回答的数组
9. // 构造方法初始化数据
10. public Zhihu(String url) {
11. // 初始化属性
12. question = "";
13. questionDescription = "";
14. zhihuUrl = "";
15. answers = new ArrayList<String>();
16. // 判断url是否合法
17. if (getRealUrl(url)) {
18. System.out.println("正在抓取" + zhihuUrl);
19. // 根据url获取该问答的细节
20. String content = Spider.SendGet(zhihuUrl);
21. Pattern pattern;
22. Matcher matcher;
23. // 匹配标题
24. pattern = Pattern.compile("zh-question-title.+?<h2.+?>(.+?)</h2>");
25. matcher = pattern.matcher(content);
26. if (matcher.find()) {
27. question = matcher.group(1);
28. }
29. // 匹配描述
30. pattern = Pattern
31. .compile("zh-question-detail.+?<div.+?>(.*?)</div>");
32. matcher = pattern.matcher(content);
33. if (matcher.find()) {
34. questionDescription = matcher.group(1);
35. }
36. // 匹配答案
37. pattern = Pattern.compile("/answer/content.+?<div.+?>(.*?)</div>");
38. matcher = pattern.matcher(content);
39. boolean isFind = matcher.find();
40. while (isFind) {
41. answers.add(matcher.group(1));
42. isFind = matcher.find();
43. }
44. }
45. }
46. // 根据自己的url抓取自己的问题和描述和答案
47. public boolean getAll() {
48. return true;
49. }
50. // 处理url
51. boolean getRealUrl(String url) {
52. // 将http://www.zhihu.com/question/22355264/answer/21102139
53. // 转化成http://www.zhihu.com/question/22355264
54. // 否则不变
55. Pattern pattern = Pattern.compile("question/(.*?)/");
56. Matcher matcher = pattern.matcher(url);
57. if (matcher.find()) {
58. zhihuUrl = "http://www.zhihu.com/question/" + matcher.group(1);
59. } else {
60. return false;
61. }
62. return true;
63. }
64. @Override
65. public String toString() {
66. return "问题：" + question + "\n" + "描述：" + questionDescription + "\n"
67. + "链接：" + zhihuUrl + "\n回答：" + answers.size() + "\n";
68. }
69. }

Spider.java

[java] view plaincopy

1. import java.io.BufferedReader;
2. import java.io.InputStreamReader;
3. import java.net.URL;
4. import java.net.URLConnection;
5. import java.util.ArrayList;
6. import java.util.regex.Matcher;
7. import java.util.regex.Pattern;
8. public class Spider {
9. static String SendGet(String url) {
10. // 定义一个字符串用来存储网页内容
11. String result = "";
12. // 定义一个缓冲字符输入流
13. BufferedReader in = null;
14. try {
15. // 将string转成url对象
16. URL realUrl = new URL(url);
17. // 初始化一个链接到那个url的连接
18. URLConnection connection = realUrl.openConnection();
19. // 开始实际的连接
20. connection.connect();
21. // 初始化 BufferedReader输入流来读取URL的响应
22. in = new BufferedReader(new InputStreamReader(
23. connection.getInputStream(), "UTF-8"));
24. // 用来临时存储抓取到的每一行的数据
25. String line;
26. while ((line = in.readLine()) != null) {
27. // 遍历抓取到的每一行并将其存储到result里面
28. result += line;
29. }
30. } catch (Exception e) {
31. System.out.println("发送GET请求出现异常！" + e);
32. e.printStackTrace();
33. }
34. // 使用finally来关闭输入流
35. finally {
36. try {
37. if (in != null) {
38. in.close();
39. }
40. } catch (Exception e2) {
41. e2.printStackTrace();
42. }
43. }
44. return result;
45. }
46. // 获取所有的编辑推荐的知乎内容
47. static ArrayList<Zhihu> GetRecommendations(String content) {
48. // 预定义一个ArrayList来存储结果
49. ArrayList<Zhihu> results = new ArrayList<Zhihu>();
50. // 用来匹配url，也就是问题的链接
51. Pattern pattern = Pattern
52. .compile("<h2>.+?question_link.+?href=\"(.+?)\".+?</h2>");
53. Matcher matcher = pattern.matcher(content);
54. // 是否存在匹配成功的对象
55. Boolean isFind = matcher.find();
56. while (isFind) {
57. // 定义一个知乎对象来存储抓取到的信息
58. Zhihu zhihuTemp = new Zhihu(matcher.group(1));
59. // 添加成功匹配的结果
60. results.add(zhihuTemp);
61. // 继续查找下一个匹配对象
62. isFind = matcher.find();
63. }
64. return results;
65. }
66. }

Main.java

[java] view plaincopy

1. import java.util.ArrayList;
2. public class Main {
3. public static void main(String[] args) {
4. // 定义即将访问的链接
5. String url = "http://www.zhihu.com/explore/recommendations";
6. // 访问链接并获取页面内容
7. String content = Spider.SendGet(url);
8. // 获取编辑推荐
9. ArrayList<Zhihu> myZhihu = Spider.GetRecommendations(content);
10. // 打印结果
11. System.out.println(myZhihu);
12. }
13. }

好的，今天就是这样，晚安。