练习:一只豆瓣电影TOP250的爬虫

练习:一只豆瓣电影TOP250爬虫

练习:一只豆瓣电影TOP250爬虫

①创建project

②编辑items.py

import scrapy

class DoubanmovieItem(scrapy.Item):    # define the fields for your item here like:    # name = scrapy.Field()    rank = scrapy.Field()    title = scrapy.Field()    link = scrapy.Field()    rate = scrapy.Field()    quote = scrapy.Field()

③创建douban_spider.py

import scrapyfrom doubanmovie.items import DoubanmovieItem

class DoubanSpider(scrapy.Spider):  """docstring for Movie250Spider"""  name = ‘doubanmovie‘  allowed_domains = ["douban.com"]  start_urls = [    "http://movie.douban.com/top250/"  ]

def parse(self, response):    for info in response.xpath(‘//div[@class="item"]‘):      item = DoubanmovieItem()      item[‘rank‘] = info.xpath(‘div[@class="pic"]/em/text()‘).extract()      item[‘title‘] = info.xpath(‘div[@class="pic"]/a/img/@alt‘).extract()      item[‘link‘] = info.xpath(‘div[@class="pic"]/a/@href‘).extract()      item[‘rate‘] = info.xpath(‘div[@class="info"]/div[@class="bd"]/div[@class="star"]/span[@class="rating_num"]/text()‘).extract()      item[‘quote‘] = info.xpath(‘div[@class="info"]/div[@class="bd"]/p[@class="quote"]/span/text()‘).extract()      yield item

# 翻页    next_page = response.xpath(‘//span[@class="next"]/a/@href‘)    if next_page:      url = response.urljoin(next_page[0].extract())      yield scrapy.Request(url, self.parse)

关于xpath的查找,之前有说过,可以使用xpath checker这个插件,也可以直接使用审查元素

我们要找的内容就在<div class="item"></div>之内,所以得先声明在这之内查找//div[@class="item"]

如查找rank

那么rank就在<div class="pic">下的<em class=""></em>之中,于是就写成div[@class="pic"]/em/text()

④运行,生成csv文件

[KANO@kelvin doubanmovie]$ scrapy crawl doubanmovie -o items.csv

最后的文件夹内容如下

打开items.csv文件查看内容

另外,如果需要,还可以在settings.py文件中加入user-agent

BOT_NAME = ‘doubanmovie‘

SPIDER_MODULES = [‘doubanmovie.spiders‘]NEWSPIDER_MODULE = ‘doubanmovie.spiders‘

USER_AGENT = ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_3) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.54 Safari/536.5‘

△注意,一定要记得先声明

# -*- coding: utf-8 -*-

否则运行会出错!!!

时间: 2024-11-08 19:15:33

练习:一只豆瓣电影TOP250的爬虫的相关文章

Python小爬虫——抓取豆瓣电影Top250数据

写LeetCode太累了,偶尔练习一下Python,写个小爬虫玩一玩~ 确定URL格式 先找到豆瓣电影TOP250任意一页URL地址的格式,如第一页为:https://movie.douban.com/top250?start=0&filter=,分析该地址: https:// 代表资源传输协议使用https协议: movie.douban.com/top250 是豆瓣的二级域名,指向豆瓣服务器: /top250 是服务器的某个资源: start=0&filter= 是该URL的两个参数,

Node.js学习 爬虫下载豆瓣电影top250图片

利用node.js实现爬虫,并且爬取豆瓣电影top250的列表和图片. 1 什么是node.js 简单的说 Node.js 就是运行在服务端的 JavaScript.Node.js 是一个基于Chrome JavaScript 运行时建立的一个平台.Node.js是一个事件驱动I/O服务端JavaScript环境,基于Google的V8引擎 2 什么是爬虫 (又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本. 3

运维学python之爬虫高级篇(五)scrapy爬取豆瓣电影TOP250

对于scrapy我们前面已经介绍了简单的应用,今天我们用一个完整的例子,爬取豆瓣电影TOP250来做一个小的练习,把scrapy阶段做一个总结. 1 环境配置 语言:Python 3.6.1 IDE: Pycharm 浏览器:firefox 爬虫框架:Scrapy 1.5.0 操作系统:Windows 10 家庭中文版 2 爬取前分析 2.1 需要保存的数据 首先确定我们要获取的内容,在items中定义字段,来将非结构化数据生成结构化数据,获取的内容主要包括:排名.电影名称.得分.评论人数.如下

python爬虫练习1:豆瓣电影TOP250

项目1:实现豆瓣电影TOP250标题爬取: 1 from urllib.request import urlopen 2 from bs4 import BeautifulSoup 3 import re 4 5 class doubanSpider(): 6 def __init__(self): 7 """ 8 初始化, 9 页码,URL,存储数据, 10 """ 11 self.page = 0; 12 # "http://mov

使用JSP+Servlet+Jdbc+Echatrs实现对豆瓣电影Top250的展示

使用JSP+Servlet+Jdbc+Echatrs实现对豆瓣电影Top250的展示 写在前面: 有的小伙伴,会吐槽啦,你这个标题有点长的啊.哈哈 ,好像是的!不过,这个也是本次案例中使用到的关键技术.如果,你正愁不会的数据可视化,那么我接下来,我会带你一步一步的实现这个数据可视化的功能. 效果图: 开发工具:我们选择的是IDEA,你还得准备一个豆瓣top250的数据源,我这里用python爬虫抓取统计了豆瓣top250电影各个国家电影数量.如何你担心,没有数据.先不用担心,我会提供的. 小建议

03_使用scrapy框架爬取豆瓣电影TOP250

前言: 本次项目是使用scrapy框架,爬取豆瓣电影TOP250的相关信息.其中涉及到代理IP,随机UA代理,最后将得到的数据保存到mongoDB中.本次爬取的内容实则不难.主要是熟悉scrapy相关命令以及理解框架各部分的作用. 1.本次目标 爬取豆瓣电影TOP250的信息,将得到的数据保存到mongoDB中. 2.准备工作 需要安装好scrapy以及mongoDB,安装步骤这里不做赘述.(这里最好是先了解scrapy框架各个部分的基本作用和基础知识,这样方便后面的内容的理解.scrapy文档

python获取豆瓣电影TOP250的所有电影的相关信息

参考文档:https://weread.qq.com/web/reader/37132a705e2b2f37196c138k98f3284021498f137082c2e 说明:我才接触网络爬虫,在看<python网络爬虫入门到实践>一书时,作者写了个实例获取豆瓣电影TOP250的所有电影的电影名称,我在此基础上进行了更进一步的改进,获取了所有的相关信息,并用表格将这些信息保存下来. 相关知识: 网络爬虫分为三个步骤: 第一步:伪装为浏览器访问:第二步:解析网页代码:第三步:存储数据. (1)

【转】爬取豆瓣电影top250提取电影分类进行数据分析

一.爬取网页,获取需要内容 我们今天要爬取的是豆瓣电影top250页面如下所示: 我们需要的是里面的电影分类,通过查看源代码观察可以分析出我们需要的东西.直接进入主题吧! 知道我们需要的内容在哪里了,接下来就使用我们python强大的request库先获取网页内容下来吧!获取内容后,再使用一个好用的lxml库来分析网页内容,然后获取我们的内容就可以做下一步操作了.先贴出使用request库和lxml分析的代码 1 def get_page(i): 2 url = 'https://movie.d

[感想]Web crawler with Python - 03.豆瓣电影TOP250

按照大牛的步骤简单地爬了豆瓣电影top250.过程感想记录一下. 教程链接:在这里 爬虫写完以后,一直出现错误 AttributeError: 'NoneType' object has no attribute 'find' #'nonetype'的对象没有属性发现 出错原因:调用对象是个None,然后调用出错.出错行原本是在第10页没有下一页的链接时候,判断soup.find('span', attrs={'class', 'next'}).find('a')  这句话的结果来选择返回结果,