python爬虫抓取电影天堂最新电影

该小脚本实现对电影天堂网站的最新电影查找。

from bs4 import BeautifulSoup 
import  urllib
import  re
url= ‘http://www.ygdy8.net/html/gndy/dyzz/index.html‘
moive_url_list = []
moive_name_list = []
request = urllib.urlopen(url)
response = request.read()
response = unicode(response,‘GBK‘).encode(‘utf-8‘)
soup = BeautifulSoup(response,‘html.parser‘)
a = soup.find_all(‘a‘,class_="ulink")
for  i  in  a:
moive_open_url = ‘http://www.ygdy8.net‘ + i[‘href‘]
req =  urllib.urlopen(moive_open_url)
res = req.read()
try:
res = unicode(res,‘GBK‘).encode(‘utf-8‘)
except UnicodeDecodeError:
continue
so = BeautifulSoup(res,‘html.parser‘)
a_tag = so.find_all(‘a‘)
for j in a_tag:
pattern = re.compile("^ftp://ygdy\d{1}:ygdy\d{1}@y\d{3}.dydytt.net")
string= j[‘href‘]
match = pattern.match(string)
if match:
moive_url_list.append(string)
for m in moive_url_list:
print m