以前爬虫用urllib2来实现，也用过scrapy的爬虫框架，这次试试requests，刚开始用，用起来确实比urllib2好，封装的更好一些，使用起来简单方便很多。
安装requests库
最简便的方法就是使用pip来安装：pip install requests；如果需要安装特定版本，则在后面加上版本号即可：pip install requests == 1.9.7，这样就搞定了。
快速上手的小例子
下面说一个最简单的例子：
第一行，引入requests库，这是必然的。
第二行，通过get方法获取百度首页的内容。
第三行，把返回的response内容，输出出来。
果然很简单，这样就可以发送一个get请求，同理，也可以使用requests.post,requests.put,requests.options,requests.head，发送请求。
模拟登录csdn
我们需要其他的辅助工具
浏览器：Firefox
浏览器插件：tamper data，firebug
我们需要tamper data来拦截请求，因为chrome没有这个功能的插件，所以这个只能使用firefox来做（除了拦截请求chrome没有，其他的工作都可以使用chrome）。
分析登录过程
1.打开登录页面
我们首先打开csdn的登录页面：https://passport.csdn.net/account/login?ref=toolbar，这个链接，前面的部分是登录的网址，问号后面的参数，referer，就是你从哪里跳过来的，也许是一个页面跳转到登录的，toolbar就是我自己点击顶部导航栏，然后跳转到登录页面的。
2.清除相关的cookie
为了清除不必要的干扰，我们先清除掉所有的相关的cookie，这样方便我们分析哪些参数是必须的。
3.登录过程分析
清除了cookie后，我们刷新一下页面，https://passport.csdn.net/account/login?ref=toolbar，重新获取对应的cookie。
然后我们就开始用tamper data来拦截请求。
我们点击start tamper ，在网页中填写用户名和密码，点击“登录”，会发出一个请求，然后tamper data 会拦截下这个请求，询问我们是否拦截，点击tamper，我们可以在这个请求提交之前，查看请求的内容，还可以做删除。
发送一个登录表单过去，就登录成功了。
4.开始模拟登录
知道登录过程了，我们就开始写登录的代码。
至此，登录就成功了。
5.优化
当你登录成功后，你会问，我怎么知道登录成功了呢？当你试图去抓取http://write.blog.csdn.net/postlist的内容的时候，你会发现一个403的错误，这是为啥呢？
很简单，user agent没有修改，我们用的是默认的user agent，这不是一个正常的用户，所以被网站拒绝了。我们加上它就好了：
后话
我们都知道cookie是有有效期的，在做调试时，每修改一次，就要模拟登录一次，这样不好，我们要保存cookie，这样下次就不需要重新发送登录请求了。
完整代码如下：
