爬虫初探(1)之urllib.request

-----------我是小白------------

urllib.request是python3自带的库(python3.x版本特有),我们用它来请求网页,并获取网页源码。

# 导入使用库
import urllib.request
url = "http://www.baidu.com"
# urlopen用来打开一个网页
data = urllib.request.urlopen(url)
# 这里的rend()是必须的,否则不能打印源码。
data = data.read()
print(data)

# 导入使用库
import urllib.request
# 创建使用函数
def html_read(url):
    # 打开URL且read否则无法打印源码,赋值给
    html = urllib.request.urlopen(url).read()
    # 打印源码
    print(html)
if __name__ == ‘__main__‘:
    # 调用html_read函数
    html_read("http://www.baidu.com")
时间: 2024-10-26 06:53:31

爬虫初探(1)之urllib.request的相关文章

爬虫小探-Python3 urllib.request获取页面数据

使用Python3 urllib.request中的Requests()和urlopen()方法获取页面源码,并用re正则进行正则匹配查找需要的数据. #forex.py#coding:utf-8 ''' urllib.request.urlopen() function in Python 3 is equivalent to urllib2.urlopen() in Python2 urllib.request.Request() function in Python 3 is equiva

在python3中使用urllib.request编写简单的网络爬虫

Python官方提供了用于编写网络爬虫的包 urllib.request, 我们主要用它进行打开url,读取url里面的内容,下载里面的图片. 分以下几步: step1:用urllib.request.urlopen打开目标网站 step2:由于urllib.request.urlopen返回的是一个http.client.HTTPResponse object,无法直接读取里面的内容,所以直接调用该对象的方法read(),获取到页面代码,存到html里 step3:构建正则表达式,从页面代码里

Python 3.4 - urllib.request 学习爬虫爬网页(一)

比如爬baidu.com,  在python 3.4 中应该这么写 <span style="font-family:Microsoft YaHei;font-size:14px;">import urllib.request def getHtml(url): page = urllib.request.urlopen(url) html = page.read() return html html = getHtml("http://baidu.com&quo

【爬虫】使用urllib.request去爬取小说

import urllib.request import re #1获取主页源代码 #2获取章节超链接 #3获取章节内容 #4下载小说 #驼峰命名法 #注释 获取小说内容 def getNovelContent(): #获取源代码 HTTP Response对象 html = urllib.request.urlopen('http://www.quanshuwang.com/book/0/269/') html = html.read() #print(html) #设置编码 html = h

通过python的urllib.request库来爬取一只猫

我们实验的网站很简单,就是一个关于猫的图片的网站:http://placekitten.com 代码如下: import urllib.request respond = urllib.request.urlopen("http://placekitten.com.s3.amazonaws.com/homepage-samples/200/287.jpg") cat_img = respond.read() f = open('cat_200_300.jpg','wb') f.writ

python3爬虫初探

---恢复内容开始--- #小白一个,在此写下自己的python爬虫初步的知识.如有错误,希望谅解并指出. #欢迎和大家交流python爬虫相关的问题 #2016/6/18 #----第一把武器-----urllib.request--------- urllib.request是python3自带的库(python3.x版本特有),我们用它来请求网页,并获取网页源码.话不多说,上代码. import urllib.request #调入要使用的库 url = 'http://www.baidu

转 Python爬虫入门四之Urllib库的高级用法

静觅 » Python爬虫入门四之Urllib库的高级用法 1.设置Headers 有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作,我们需要设置一些Headers 的属性. 首先,打开我们的浏览器,调试浏览器F12,我用的是Chrome,打开网络监听,示意如下,比如知乎,点登录之后,我们会发现登陆之后界面都变化了,出现一个新的界面,实质上这个页面包含了许许多多的内容,这些内容也不是一次性就加载完成的,实质上是执行了好多次请求,一般

Python3爬虫(1)_使用Urllib进行网络爬取

网络爬虫 又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自动索引.模拟程序或者蠕虫. (参考百度百科,详细请见https://baike.baidu.com/item/网络爬虫/5162711?fr=aladdin&fromid=22046949&fromtitle=%E7%88%AC%E8%99%AB) 代码和步骤说明:借鉴http://cuijiahua.com. ht

python3下urllib.request库高级应用之ProxyHandler处理器(代理设置)

1. 代理简介 很多网站都会检测某一段时间某个IP的访问次数,如果同一个IP访问过于频繁,那么该网站就会禁止来自该IP的访问,针对这种情况,可以使用代理服务器,每隔一段时间换一个马甲."他强任他强,劳资会变翔"哈哈哈. 免费的开放代理获取无成本,我们可以收集这些免费代理,测试后如果可以用,用在爬虫上. 免费短期代理网站举例: 西刺免费代理IP 快代理免费代理 Proxy360代理 全网代理IP 名词解释: 免费短期代理网站分高匿和透明 [高匿]:代表服务器追踪不到你原来的IP; [透明