portia的简介:
Portia是我们的开源可视化爬虫工具,可让您在不需要任何编程知识的情况下爬取网站!简单地注释您感兴趣的页面,Portia将创建一个蜘蛛来从类似的页面提取数据
scrapyhub上的一些简介视频(需FQ): https://helpdesk.scrapinghub.com/support/solutions/articles/22000201027-learn-portia-video-tutorials-
scrapyhub上的完整入门手册:https://helpdesk.scrapinghub.com/support/solutions/articles/22000200442-using-portia-the-complete-beginner-s-guide
前言:
本文打算使用scrapy官方提供的demo网页(http://quotes.toscrape.com/page/1/)执行工程创建,这个网页相信大家都很熟悉了。那我们这就开始吧。
1.打开官网https://app.scrapinghub.com/
2.创建工程
3.设置开始抓取网页
4.创建爬虫
5.创建样例页
6.设置元素获取方式
6.1添加content字段
6.2添加author字段
6.3添加tag字段
9.运行爬虫
10.查看爬虫结果
11.查看爬虫运行结果
12.查看item结果
好了。我们使用的portia就是可以获取指定网页的数据,详细的大家可以自己摸索摸索。
时间: 2024-07-28 21:00:12