人生苦短之爬虫爬取网页的通用代码框架

我们首先打开IDLE选择File->new window命令（或者可以直接按键Ctrl+N键，在很多地方这个按键是新建文件的意思）

在这里还是要推荐下我自己建的Python开发学习群：725479218，群里都是学Python开发的，如果你正在学习Python ，小编欢迎你加入,大家都是软件开发党，不定期分享干货（只有Python软件开发相关的），包括我自己整理的一份2018最新的Python进阶资料和高级开发教程，欢迎进阶中和进想深入Python的小伙伴

我们填入代码：

保存文件是按键快捷键Ctrl+S，将源代码保存为hello.py的文件

按键F5运行走起（同时我们可以选择Run->Run Module命令）

IDLE中显示出现错误：

原因是name‘name’未定义

注意：这里需要一个长的下划线，才能使其正确，以用来区分python本身的语法

改正过后我们再次运行：

我们看到出现了和之前一样的结果

我们将网页连接修改一下看看会出现什么结果：

结果是“产生异常”

解释一下通用代码框架：get方法请求一个链接，r.raise_for_status用来判断请求是否正常（也就是200），否则就产生异常。r.encoding = r.apparent_encoding这一句是能够是我们请求返回网页解码是正确的，最后return返回网页的内容。

此框架用来解决我们访问网页的问题。

今天的内容就是这样，每天一点点，重在坚持。加油！！！

原文地址：https://www.cnblogs.com/CoXieLearnPython/p/9181018.html