【RPA实例教学】UIbot——数据抓取功能

UiBot 0.7 版新增加了【数据抓取】功能,这项功能可以方便获取网页中的相似元素,将相似元素的数据采集到数组中,比如各种电商网站(淘宝、京东、拼多多等)的商品分类、商品列表信息(商品名、价格等),或者网页中的各种列表、表格的数据。

本期教学以抓取【京东】网站搜索某个关键字列出的所有商品为例,实现商品列表的数据采集:

  1. 准备工作

目前数据抓取功能仅支持 Google Chrome 浏览器,在安装 UiBot 时,会自动安装 Google Chrome 浏览器扩展程序,使 UiBot 能够正常操作 Google Chrome 浏览器的元素,如果扩展程序安装失败,或没有启用,则需要先启用扩展程序,才能使用这项功能,启用 Google Chrome 浏览器扩展程序可以参考这个帖子的教程:

http://forum.uibot123.com/?thread-31.htm

  1. 编写使用浏览器定位到京东指定商品关键字页面功能:


设置属性,使用 Google Chrome 浏览器 打开 https://www.jd.com


点击 查找目标 分别选择京东商品搜索输入框和搜索按钮。

如果我们希望接收用户输入的商品名进行搜索,可以再添加一个 输入对话框 命令,到键盘输入之前:


设置输入消息框的属性,使消息框更美观,将输入消息框的【输出到】设置为一个变量名(默认变量会自动创建)

将输入消息框的【输出到】属性设置的变量填写到键盘输入的【写入文本】属性中,如果没有添加输入对话框元件,这里可以直接输入商品名(例如"CPU",注意要带上半角的双引号,表示这是一个字符串)

现在可以运行检查效果是否符合预期,如果运行效果无法达到要求,需要按照前几步的教学检查是否有属性没有设置对,或元件顺序是否正确。

原文地址:http://blog.51cto.com/14167325/2343673

时间: 2024-07-29 03:59:53

【RPA实例教学】UIbot——数据抓取功能的相关文章

UiBot无法抓取Google Chrome元素和数据抓取工具无法使用的解决方案

UiBot RPA抓取Google Chrome元素建议使用Google Chrome原版浏览器,不建议使用 二次修改的浏览器版本,以确保兼容性最佳.操作流程符合本教程. 如果无法抓取 Google Chrome 浏览器元素,或数据抓取工具无法使用,可以先检查浏览器扩展程序中是否已经安装并启用 UiBot 扩展程序(下载),如果扩展程序已经安装并启用,则浏览器右上角会出现 UiBot 扩展程序的图标,如下图: 如果您的浏览器右上角没有出现这个图标,则可能 UiBot 扩展程序没有安装成功或已启用

Phantomjs+Nodejs+Mysql数据抓取(1.数据抓取)

概要: 这篇博文主要讲一下如何使用Phantomjs进行数据抓取,这里面抓的网站是太平洋电脑网估价的内容.主要是对电脑笔记本以及他们的属性进行抓取,然后在使用nodejs进行下载图片和插入数据库操作. 先进行所有页面的内容进行抓取 var page =require('webpage').create(); var address='http://product.pconline.com.cn/server/'; var fs = require('fs'); var mypath = 'ver

利用Selenium制作python数据抓取,以及对Selenium资源介绍

当当当~第三篇博客开始啦~ 这次的话题是数据抓取.终于到了核心部分的探讨,我的心情也是非常激动啊!如果大家baidu或者google(如果可以的话)数据抓取或者data crawling,将会找到数以千计的例子.但是大多数的代码非常的冗长,并且许多代码还是抓取静态数据之后,对动态JS写成的数据却毫无办法.或者,利用HTML解析网址后,再找到JS写的数据页面来寻找到所想要的数据. 但是!不知各位是否有发现过,如果打开chrome或者safari或者各种浏览器的审查元素.网页上能看到的数据,其实都会

Hibernate学习---第十一节:Hibernate之数据抓取策略&批量抓取

1.hibernate 也可以通过标准的 SQL 进行查询 (1).将SQL查询写在 java 代码中 /** * 查询所有 */ @Test public void testQuery(){ // 基于标准的 sql 语句查询 String sql = "select * from t_person"; // 通过 createSQLQuery 获取 SQLQuery,而 SQLQuer 是 Query的子类 SQLQuery query = session.createSQLQue

python-requests 简单实现数据抓取

安装包: requests,lxmlrequest包用于进行数据抓取,lxml用来进行数据解析对于对网页内容的处理,由于html本身并非如数据库一样为结构化的查询所见即所得,所以需要对网页的内容进行分析然后进行内容提取,lxml就是用来完成此项工作在requests中最用的方法为get()方法,通常情况下可以将url做为参数传入进去,对于一些功能比较完善的网站如果存在反爬取数据的功能是则需要设置headers参数内容,内容为一字典类型可以在浏览器中查看User-Agent字段的内容,设置后req

网络抓取功能实现 将获取的结果进行过滤并写入到TXT文档中

下面是自己编写的 网络抓取功能实现 将获取的结果进行过滤并写入到TXT文档中 (以防忘记) 原创哟 import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.FileWriter;import java.io.IOException;import java.io.Inp

Android MaoZhuaWeiBo 好友动态信息列表数据抓取 -3

前面2篇把大致的开发说的差不多了,接下来说说粉丝动态消息列表或时间线数据的抓取与解析显示,我将他全部写在了一个 类里,并以封装类对象的形式存储数据,下面看看主要的服务代码: 粉丝动态消息列表数据抓取: package com.neweriweibo.service; /** * 用户消息列表 * @author Engineer-Jsp * @date 2014.10.29 * */ import java.io.BufferedReader; import java.io.InputStrea

大数据抓取采集框架(摘抄至http://blog.jobbole.com/46673/)

摘抄至http://blog.jobbole.com/46673/ 随着BIG DATA大数据概念逐渐升温,如何搭建一个能够采集海量数据的架构体系摆在大家眼前.如何能够做到所见即所得的无阻拦式采集.如何快速把不规则页面结构化并存储.如何满足越来越多的数据采集还要在有限时间内采集.这篇文章结合我们自身项目经验谈一下. 我们来看一下作为人是怎么获取网页数据的呢? 1.打开浏览器,输入网址url访问页面内容.2.复制页面内容的标题.作者.内容.3.存储到文本文件或者excel. 从技术角度来说整个过程

Python 爬虫工程师必学 App数据抓取实战

第1章 课程介绍介绍课程目标.通过课程能学习到的内容.学会这些技能能做什么,对公司业务有哪些帮助,对个人有哪些帮助.介绍目前app数据抓取有哪些困难,面临的挑战,本实战课程会利用哪些工具来解决这些问题,以及本实战课程的特点 ... 1-1 python爬虫工程师必备技能--App数据抓取实战课程导学第2章 windows下搭建开发环境介绍项目开发需要安装的开发软件,讲解了安卓模拟器对比以及夜神安卓模拟器安装.介绍.简单使用和Genymotion安卓模拟器简单分析 介绍App应用抓包工具对比以及f