python3爬取网页

爬虫

python3爬取网页资源方式(1.最简单：

1. import‘http://www.baidu.com/‘print2.通过request
   1. import‘http://www.baidu.com‘print1.import urllib.request

      ‘wd‘‘python‘‘opt-webpage‘‘on‘‘ie‘‘gbk‘GET和POST请求的不同之处是POST请求通常有"副作用"

      ‘Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)‘‘User-Agent‘

      import urllib.request

      from urllib.error import URLError ,HTTPError

      req=urllib.request.Request(‘http://www.baidu.com‘)

      try:urllib.request.urlopen(req)

      except URLError as e:

      print(e.reason)

      HTTPError

      1.Openers：

      2.Handles：

      import urllib.request

      password_mgr=urllib.request.HTTPPasswordMgrWithDefaultRealm()

      top_level_url="http://example.com/foo/"

      password_mgr.add_password(None,top_level_url,‘why‘,‘1223‘)

      handler=urllib.request.HTTPBasicAuthHandler(password_mgr)

      opener=urllib.request.build_opener(handler)

      a_url=‘http://www.baidu.com/‘

      opener.open(a_url)

      urllib.request.install_opener(opener)

      后者包含了端口号。