python应用：爬虫框架Scrapy系统学习第三篇——初识scrapy

scrapy的最通用的爬虫流程：UR²IM

　　U：URL

　　R²：Request 以及 Response

　　I：Item

　　M：More URL

在scrapy shell中打开服务器一个网页

　　cmd中执行：scrapy shell http://www.baidu.com （可以使用exit()退出）

此时，scrapy执行一个默认的GET请求，并得到一个状态码为200的响应

可以使用response.body打印页面源码（或部分字符）

例：response.body[:50]

同时，也可使用response.xpath(‘ ‘)来测试XPath表达式的效果

例：response.xpath(‘//*[@id="su"]‘) 获取百度一下按钮处的源码

　　response.xpath(‘//*[@id="su"]‘).xpath(‘.//@value‘) 获取上述局部源码中的value属性值

　　注：.//@value是相对XPath表达式；用于获取selector的得到的局部源码中的信息

　　response.xpath(‘//*[@id="su"]‘).xpath(‘.//@value‘).extract() 获取上述结果中的源码（源码不等于selector，等于data值）

下一步操作是：从响应中将数据抽取到Item的字段中（通常使用/text()获取文本字段）

　　通常，我们使用//*[@id="su"][1]这种形式。

　　目的：为防止结尾某些细微之处的嵌套信息没有注意到

原文地址：https://www.cnblogs.com/jpapplication/p/10295774.html

时间： 2024-10-05 12:48:53

python应用：爬虫框架Scrapy系统学习第三篇——初识scrapy的相关文章

python应用：爬虫框架Scrapy系统学习第四篇——scrapy爬取笔趣阁小说

使用cmd创建一个scrapy项目: scrapy startproject project_name (project_name 必须以字母开头,只能包含字母.数字以及下划线<underscorce>) 项目目录层级如下: 声明Item 声明我们可能用到的所有字段,包括管理字段等.管理字段可以让我们清楚何时(date).何地(url server)及如何(spider)执行爬去,此外,还可以自动完成诸如使item失效.规划新的抓取迭代或是删除来自有问题的爬虫的item. 管理字段 Pytho

Python开源爬虫框架scrapy的了解与认识

很多学习Python编程语言的朋友都会学习Python网络爬虫技术,也有专门学习网络爬虫技术的,那么如何学习Python爬虫技术呢,今天就给大家讲讲使用Python抓取数据时非常受欢迎的Python抓取框架scrapy,下面一起学习下Scrapy的架构,便于更好的使用这个工具. 一.概述下图显示了Scrapy的大体架构,其中包含了它的主要组件及系统的数据处理流程(绿色箭头所示).下面就来一个个解释每个组件的作用及数据的处理过程. 二.组件 1.Scrapy Engine(Scrapy引擎) S

python 网络爬虫框架scrapy使用说明

1 创建项目scrapy startproject tutorial 2 定义Itemimport scrapyclass DmozItem(scrapy.Item): title = scrapy.Field() link = scrapy.Field() desc = scrapy.Field()paser完后的数据保存到item列表,在传给pipeline使用 3 编写第一个爬虫(Spider), 保存在 tutorial/spiders 目录下的 dmoz_spider

scrapy系统学习(1)--概要

本文操作环境:ubuntu14.04 一.安装Scrapy/Mysql/MySQLdb 参照官网教程安装Scrapy #sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7 #echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee /etc/apt/sources.list.d/scrapy.list #sudo apt-g

python应用：爬虫框架Scrapy系统学习第二篇——windows下安装scrapy

windows下安装scrapy 依次执行下列操作: pip install wheel pip install lxml pip install PyOpenssl 安装Microsoft visual c++ build tools pip install twisted 当此处提示错误时,安装Microsoft Visual C++ Compiler for Python 2.7 下载地址:https://www.microsoft.com/en-us/download/confirmat

Scrapy：Python的爬虫框架

网络爬虫,是在网上进行数据抓取的程序,使用它能够抓取特定网页的HTML数据.虽然我们利用一些库开发一个爬虫程序,但是使用框架可以大大提高效率,缩短开发时间.Scrapy是一个使用Python编写的,轻量级的,简单轻巧,并且使用起来非常的方便. Scrapy使用了Twisted异步网络库来处理网络通讯.整体架构大致如下: Scrapy主要包括了以下组件: 引擎,用来处理整个系统的数据流处理,触发事务. 调度器,用来接受引擎发过来的请求,压入队列中,并在引擎再次请求的时候返回. 下载器,用于下载网页

Python爬虫学习（三）使用Scrapy库

(一)Scrapy库概述 1,安装:pip install scrapy失败: 运行D:\Python\Python36\python.exe -m pip install --upgrade pip命令升级pip命令失败: 修改Python36文件的权限:https://www.cnblogs.com/liaojiafa/p/5100550.html 安装:D:\Python\Python36\python.exe -m pip install wheel 安装:D:\Python\Pyt

【Python系统学习】基础篇

这次真的是最后一次了!第三次滚Python的基础.走了太多弯路.认真一点!菜鸟! 教程

python 之 Django框架(路由系统、include、命名URL和URL反向解析、命名空间模式)

12.36 Django的路由系统基本格式: from django.conf.urls import url urlpatterns = [ url(正则表达式, views视图函数,参数,别名), ] ? 正则表达式: 一个正则表达式字符串 views视图函数:一个可调用对象,通常为一个视图函数或一个指定视图函数路径的字符串参数: 可选的要传递给视图函数的默认参数(字典形式) 别名: 一个可选的name参数 12.361 路由正则表达式 from django.conf.urls imp