轻松构建复杂数据集,永洪自服务数据查询功能详解

现在的报告样式多种多样,越来越炫酷以至于让人应接不暇。如果想从数据结果上进行溯源,由于数据处理过程盘根错节且技术性过强,让业务人员捉襟见肘。如何让业务人员清晰可视化的看到数据从来源、加工到展示的一步步操作,永洪科技为您排忧解难。

今天这篇文章,主要介绍永洪自服务数据查询,这种方式提供强大、便捷的数据准备和整合方式,用户可以通过在图形化界面上只需要进行简单的拖拽和可视化的操作,便可以构建复杂的数据集。

数据准备过程主要涉及三类功能节点:输入节点(用于实现数据库表连接、导入EXCEL数据、创建内嵌数据)、中间节点 (对输入节点进行关联和数据操作的节点)及查询结果节点。

一、输入节点

输入节点即数据源入口节点。可以通过连接数据库表、导入Excel、创建内嵌数据方式,将来自不同类型的查询数据作为自服务数据操作的输入节点。


二、关联&转换节点

操作功能区中系统内嵌了关联(联接、联合)和转换(逆透视表、分组和汇总、自循环列、镜像、去重)两类数据处理节点。


1、关联节点-联接 (Join)

通过联接节点将数据表与表之间按既定连接类型进行关联、数据整合。如果数据库表之间定义了外联接信息,联接节点会基于这些外联接信息将缺省的联接做好。

2、关联节点-联合 (Union All)

通过连线的方式,联合节点可以将列数相同的表的数据 (包括重复数据行)拼接在一起。

举例:A表包括1日到20日的交易信息,B表包括21日到30日的交易信息,现通过联合节点将两表数据整合到一起,从而能够查看到1日到30日的全周期交易信息。

3、转换-逆透视表 (Unpivot Table)

逆透视表节点是将多维转为一维的一种数据处理操作。

举例:如下图同一用户有数学、语文、英语三类不同科目成绩,现需通过数据处理对各科成绩整合到单列中形成新数据集,便于进行每位同学的汇总成绩分析。

在逆透视节点中,设置数据保持不变列为保留列和需要从多维转一维的列为转换列。
即可应用该数据集按班级、人员进行各科成绩的汇总分析,转换结果如下图所示。

4、分组和汇总 ( Aggregate)

分组和汇总即对数据进行分组聚合。

举例:在上例的基础上,现对每位同学的成绩进行分组,并汇总每位同学的总成绩。

5、自循环列 ( Autoloop)
自循环列就是根据设置自动分出层级关系的列,每个查询只能创建一个自循环列。

通常我们会遇到一列中数据存在层级关系,如河北省、石家庄、正定县,三个区域存在所属关系,在区域ID上也存在父子级关系。通过自循环列操作可实现各个区域的层级划分。

通过自循环节点进行层级处理后结果如下图所示:


6、镜像

通过连线镜像节点,任意节点可以被复制一个或多个,在需要对同一输入节点并行进行多种数据处理的场景下应用。

7、去重
通过连线的方式,去重节点可以把连线节点的重复记录去掉。

举例:A表中用户1和用户数据2存在重复数据,现对其进行去重,原数据如下。

连接去重节点之后重复记录被去掉。

三、查询结果节点

查询结果节点是所有节点数据处理的终结点,查询结果节点只能有一个输入。可通过操作查询结果节点将自服务数据集导入数据库。


四、实时性能检测

自服务数据准备中,数据执行的绝对快慢很难得知,可以通过连线的颜色进行实时性能检测,连线颜色为绿色时表示性能快,连线为黄色时表示性能慢,用户可以根据性能快慢进行性能调优。

如图则性能一般,需要进一步调优。在调整后可以点击画布左上角性能检测,小球会沿着输入节点的轨迹,开始滚动,在查询结果节点停止,小球的颜色跟连线的颜色相同反应性能。


五、自动布局

自动布局功能为用户提供了节点和节点之间根据既定算法优化布局,让布局更加合理美观。

自动布局前:

自动布局后:

总结

在自服务查询中,用户通过可视化的工作流方式,直接利用已建好的查询对数据进行轻度建模与转换,同时也可以将外部多种数据源直接引入进行数据建模及转换。自服务查询不仅仅提供对数据进行分组与汇总、逆透视表转化等转变数据结构的功能,同时新增加多种数据转换功能如:值映射、去除空格、去除重复记录、缺失值替换、拆分列为多列、创建组等。

自服务查询可以使得用户操作过程更流畅,全视图化界面方便用户对数据结构及细节进行查看了解。通过连线颜色及提示信息,实时友好的展示各数据节点的性能指标,并将展示数据模型的整体性能状态及时通告给用户。

原文地址:https://blog.51cto.com/14637453/2465319

时间: 2024-10-03 17:32:18

轻松构建复杂数据集,永洪自服务数据查询功能详解的相关文章

redis服务部署及配置详解

Redis是一种高级key-value数据库.它跟memcached类似,不过数据可以持久化,而且支持的数据类型很丰富.有字符串,链表,集合和有序集合.支持在服务器端计算集合的并,交和补集(difference)等,还支持多种排序功能.所以Redis也可以被看成是一个数据结构服务器. Redis的所有数据都是保存在内存中,然后不定期的通过异步方式保存到磁盘上(这称为"半持久化模式"):也可以把每一次数据变化都写入到一个append only file(aof)里面(这称为"全

开机启动服务:chkconfig命令详解

1.查看系统运行级别 # cat /etc/inittab # Default runlevel. The runlevels used are:#   0 - halt (Do NOT set initdefault to this)#   1 - Single user mode#   2 - Multiuser, without NFS (The same as 3, if you do not have networking)#   3 - Full multiuser mode#  

基于DKHadoop的智慧政务服务平台开发案例详解

基于DKHadoop的智慧政务服务平台开发案例详解大数据技术的应用与发展正在让我们的生活经历一场深刻的"变革",而且这种变革几乎让所有人都感觉非常舒服,自然而然的就完成了这样的一个变化.最根本的原因其实是大数据技术的应用真正帮助我们解决了问题.我想也正是基于大数据技术的超强实用性吧,它才会被上升到国家战略层面的高度得以出现在政府工作报告中.大数据技术的应用于,对于建设智慧政务平台的可谓功不可没.智慧政务云平台的建设技术以及方案,可以说是比较成熟了,当然前提是必须与大的.开发团队强的大数

Nginx架构及其web服务搭建优化配置详解

Nginx安装配置及其理论详解 Nginx的功能介绍绍及其优势性能 Nginx的官方站点Nginx.org Nginx的版本号,次版本号如是表示偶数一般表示是稳定版,如果是基数一般表示是开发版.我们可以根据需要来使用. Nginx的优势特性: 1.模块化设计,有着很好的扩展性.(想实现什么功能,只需要安装模块就好) 2.高可靠性:因为他是主控进程和worker是同步实现的,一个worker出现问题,会立刻启动另一个worker. 3.较低的内存消耗,一万个长连接(keep-alive),在Ngi

【Devops】【docker】【CI/CD】关于jenkins构建成功后一步,执行的shell命令详解

1.展示这段shell命令 #===================================================================================== #=================================定义初始化变量====================================== #====================================================================

高性能Web服务之nginx应用详解

一.Nginx特性 * *模块化,目前只能将模块编译进Nginx,暂时不支持动态装卸模块.(httpd优势) * *可靠性,一个主进程(master)控制多个工作进程(worker),工作进程响应用户多个请求(httpd劣势) * *低内存消耗,(httpd劣势) * *支持热部署,(httpd相同) * *支持事件驱动I/O,AI/O,支持mmap(httpd2.4才算支持event,劣势) 二.Nginx基本架构 Nginx由一个master进程生成多个worker进程,每个worker进程

高性能Web服务之haproxy应用详解及实现论坛的动静分离机制

HAProxy提供高可用性.负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费.快速并且可靠的一种解决方案.HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理.HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接.并且它的运行模式使得它可以很简单安全的整合进您当前的架构中, 同时可以保护你的web服务器不被暴露到网络上. 下面通过案例架构详解HAproxy应用,架构图如下所示: 以上架构实现过程如下: (1).在node1,node

SSH服务器之OpenSSH使用详解

一.什么是Openssh  OpenSSH 是 SSH (Secure SHell) 协议的免费开源实现.SSH协议族可以用来进行远程控制, 或在计算机之间传送文件.而实现此功能的传统方式,如telnet(终端仿真协议). rcp ftp. rlogin.rsh都是极为不安全的,并且会使用明文传送密码.OpenSSH提供了服务端后台程序和客户端工具,用来加密远程控件和文件传输过程中的数据,并由此来代替原来的类似服务. 知识延伸:     ssh协议有两个版本:         v1:基于CRC-

postfix 邮件服务的安装及详解

sendmail:性能好,设置复杂,适合老手 qmail:体积小260+k ,模块化.需要做二次开发,适合对邮件性能有要求的 postfix:前身是sendmail,postfix原本是sendmail里面的一个模块,红帽6默认安装好postfix zmailer:近几年才出来的邮件 coremail:国内做的最好的商业平台,运行在linux上 Pop:允许客户端下载邮件,移动标记已读等操作  不会反馈到服务器. Imap4:双向通讯,客户端的操作会反馈到服务器,提供想更过的功能,听歌更好的邮件