爬虫实践二--豆瓣top250电影

import requests

def get_movies():
    headers={
    ‘user-agent‘: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36‘,
    ‘Host‘: ‘movie.douban.com‘
    }
    for i in range(0,10):
        link = ‘https://movie.douban.com/top250?start=‘ + str(i * 25)
        r = requests.get(link, headers=headers, timeout= 10)
        print (str(i+1),"页响应状态码:", r.status_code)
        print (r.text)

get_movies()

 

import requests
from bs4 import BeautifulSoup

def get_movies():
    headers={
        ‘user-agent‘:‘Mozilla/5.0 (Windows NT 6.1;Win64;x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36‘,
    ‘Host‘: ‘movie.douban.com‘
    }
    movie_list = []
    for i in range(0,10):
        link=‘https://movie.douban.com/top250?start=‘+str(i*25)
        r=requests.get(link,headers=headers,timeout=10)
        print(str(i+1),"页响应状态码:",r.status_code)

        soup=BeautifulSoup(r.text,"lxml")
        div_list=soup.find_all(‘div‘,class_=‘hd‘)
        for each in div_list:
            movie=each.a.span.text.strip()
            movie_list.append(movie)
    return movie_list
movies=get_movies()
print(movies)

照着书打了一遍。不熟悉没印象,明天继续。

 

原文地址:https://www.cnblogs.com/xx123/p/10327679.html

时间: 2024-10-08 04:37:12

爬虫实践二--豆瓣top250电影的相关文章

python爬虫--爬取豆瓣top250电影名

关于模拟浏览器登录的header,可以在相应网站按F12调取出编辑器,点击netwook,如下: 以便于不会被网站反爬虫拒绝. 1 import requests 2 from bs4 import BeautifulSoup 5 def get_movies(): 6 headers = { 7 'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrom

[python爬虫] BeautifulSoup和Selenium对比爬取豆瓣Top250电影信息

这篇文章主要对比BeautifulSoup和Selenium爬取豆瓣Top250电影信息,两种方法从本质上都是一样的,都是通过分析网页的DOM树结构进行元素定位,再定向爬取具体的电影信息,通过代码的对比,你可以进一步加深Python爬虫的印象.同时,文章给出了我以前关于爬虫的基础知识介绍,方便新手进行学习.        总之,希望文章对你有所帮助,如果存在不错或者错误的地方,还请海涵~ 一. DOM树结构分析 豆瓣Top250电影网址:https://movie.douban.com/top2

python爬虫,爬豆瓣top250电影

python爬虫,爬豆瓣top250电影 import string import re import urllib2 class DouBanSpider(object) : def __init__(self) : self.page = 1 self.cur_url = "http://movie.douban.com/top250?start={page}&filter=&type=" self.datas = [] self._top_num = 1 def

爬虫小案例:豆瓣Top250电影

获取豆瓣Top250电影列表,然后给自己发邮件 直接上代码: import requests,os,csv,time,smtplib from email.mime.text import MIMEText from email.utils import formataddr from email.header import Header from email.header import make_header from email.mime.multipart import MIMEMulti

Scrapy项目 - 数据简析 - 实现豆瓣 Top250 电影信息爬取的爬虫设计

一.数据分析截图(weka数据分析截图 ) 本例实验,使用Weka 3.7对豆瓣电影网页上所罗列的上映电影信息,如:标题.主要信息(年份.国家.类型)和评分等的信息进行数据分析,Weka 3.7数据分析如下所示: 图1-1  数据分析主界面 图1-2  OneR数据分析界面 图1-3  ZeroR数据分析界面 图1-4 Visualize数据分析界面 二.数据分析结论:(将数据之间的关系用文字性描述) 如图2-1所示,显而易见,电影类型的趋势增量随着标题的繁杂而日益增长,仅对于整个国家层次来说,

团队-爬取豆瓣Top250电影-开发文档

项目托管平台地址:https://gitee.com/wangdating/movie250开发内容: 首先我们选择使用Python脚本语言开发这个项目 代码:1.使用python的request库先获取网页内容下来(目标网址首页 url: https://movie.douban.com/top250) 2.解析html文件,提取出我们要提取的信息

团队-爬取豆瓣Top250电影-团队-阶段互评

团队名称:咣咣踹电脑学号:2015035107217姓名:耿文浩 得分10 原因:组长带领的好,任务分配的好,积极帮助组员解决问题学号:2015035107213姓名:周鑫 得分8 原因:勇于分担,积极完成任务学号:2015035107210姓名:张文博 得分 9 原因:态度认真负责学号:2015035107196姓名:王梓萱 得分9 原因:态度积极,帮助他人学号:2015035107202姓名:杨继尧 得分8 原因:有不懂的地方,还有提高的能力学号:2015035107218姓名:张永康 得分

《团队-爬取豆瓣Top250电影-团队-阶段互评》

学号:2015035107080得分:9.8原因:分工明确且具体,项目框架完成的最多,完成自己的之后会帮助别人. 学号:2015035107152得分:9.6原因:能很好的完成自己负责的部分,积极负责. 学号:2015035107004得分:9.5原因:积极寻找解决问题的答案,及时地完成了项目的总结报告并上交. 学号:2015035107001得分:9.3原因:能及时完成团队项目的任务,跟上进度,保持项目的进行. 学号:201503510707得分:8.8原因:认真完成每一项任务,及时提交代码.

Forward团队-爬虫豆瓣top250项目-项目总结

托管平台地址:https://github.com/xyhcq/top250 小组名称:Forward团队 组长:马壮 成员:李志宇.刘子轩.年光宇.邢云淇.张良 我们这次团队项目内容是爬取豆瓣电影TOP250的电影信息,为什么我们选这个项目作为团队项目呢?因为在这个大数据时代,我们总有一些信息需要收集保存,而手动收集信息会很麻烦,所以选了爬取豆瓣TOP250,其实,项目爬取什么网站.内容并不重要,因为我们在这次团队项目中学会了爬虫的工作原理,以后我们想爬取别的网站那都不是事了. 这次团队项目中