在python3中使用urllib.request编写简单的网络爬虫

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

import urllib.request

import re

def getHtml(url):

    #print("正在打开网页并获取....")

    page=urllib.request.urlopen(url)

    Html=str(page.read())

    print("成功获取....")

    return Html

def getImg(html):

    img_re=re.compile(r‘(?<=src=")\S+?jpg‘)

    #img_re=re.compile(r‘src="(.*?\.jpg)"‘)

    print("the type of html is :",type(html))

    img_list=img_re.findall(html)

    print("len(img_list)=",len(img_list))

    print("img_list[0]=",img_list[0])

    print("正在下载图片......")

    for i in range(len(img_list)):

        print("img_list[%d]=%s" % (i,img_list[i]))

        urllib.request.urlretrieve(img_list[i],‘%s.jpg‘ % i)

    print("完成图片下载......")

    print("一共抓到了%d张图片" % len(img_list))

if __name__=="__main__":

    url_baidu="http://tieba.baidu.com/f?kw=%B0%A2%C9%AD%C4%C9"

    html=getHtml(url_baidu)

    getImg(html)