Excel作为众多数据存储的交换介质,在不同的系统内的数据很少可以很连贯地进行整合分析,一般的业务系统都会提供导出Excel作为标配功能供用户使用系统内生成的数据。
此时最大的问题是,Excel很维去成为各个数据源的整合方,其数据存储能力和运算能力一直是众多深度Excel用户们一大头痛的事情,当数据量一大,做什么操作都会慢下来。
今天Excel催化剂将给大家带来全新的解决方案,Excel与Sqlserver深度集成,在Excel上的数据源能轻松上传至Sqlserver中,实现以Sqlserver为中心的数据中心的架构,为各系统内的数据实现整合成为可能!
使用场景
在IT行业蓬勃发展20年后,目前广大的中小企业们也基本上业务系统化,每个业务场景都有相应的业务系统来搭配使用,但遗憾的是大部分的系统是没法互相打通的,很容易形成企业内的数据孤岛现象,例如订单系统、人事系统,仓库系统,还有如今电商时代下,各式各样的电商平台,提供给企业各式各样的系统相关的格式不一的数据。
同样地一个庞大的数据来源是各个业务部门业务人员手头上用Excel表格手头维护着的一些数据,区别于系统内的静态不变维护周期慢致使数据准确性有限的数据,业务人员自行维护的数据通常更有数据的使用价值,例如:系统内定义的商品信息,仅简单的一些商品属性如商品年份、商品品类、价格等,业务人员手里的数据是商品参加过什么活动,商品的畅滞销状况,商品的主推与否等和运营过程中息息相关的非常有分析价值的数据。
目前可行的方式是:在各个系统里手工导出所要的数据,再进行数据加工整合,这些整合工作落在Excel上,简单任重道远,Excel的设计初衷也不是为了整合这些大块头的数据源。大规模的数据更适合的处理场景莫过于使用数据库的方式。
一般用户对数据库的驾驭能力有限,不能指望普通用户可以无痕地在Excel与数据库两者之间自由切换。借助Excel催化剂,仅需少量IT人员的技术支持,就能实现在各种系统内导出的Excel文件、业务人员手头维护的Excel文件等数据,轻松上传到数据库中存储。
建立数据仓库,多种数据源整合存储不再是遥远的梦想。
业务人员与IT技术人员分工
业务人员职责
- 有一定的数据库的管理数据思维,如: 同一主题的数据使用一个表存储,每一列的数据类型要相同,数据类型分为文本数字,日期三大类。
- 收集各系统内的导出数据,尽量按主题整理好成为一张大表数据,如电商平台导出的不同主题的分散在多个Excel文件的数据,按同一主题合并多个Excel文件的数据至一个工作表中存放,可使用Excel自带的官方PowerQuery插件轻松实现。
IT人员职责
- 开通数据库访问权限,可有限度地仅开通查询、删除、插入指定表的权限,减少数据库管理风险。
- 根据业务人员提供的数据源表结构,在数据库中新建对应的表用于业务人员上传数据至数据库中存放。
- 后期多表数据整合,可根据业务人员需求,把多个表的数据进行关联查询,返还业务人员一个视图,供业务人员对上传的数据进行自行查阅使用(使用第19波查询篇可自助操作完成)
视频演示
后期将推出直播课程,可私信我获取直播地址或视频地址
具体操作流程
先在Excel上把要上传的数据以智能表的形式存放
Excel智能表的使用,可以让数据管理和维护更加方便智能,可以找寻相关资料学习它的好处,强烈建议日常使用中多多使用智能表。
先创建一个智能表
按Excel智能表上的列名称及数据类型,在Sqlserver上建立表
- Sqlserver上建表过程中,可对表进行一些索引、主键等额外设置,可用于检验Excel表上传上来的数据是否和预期的主键信息一致,防止Excel表的数据不严谨出现重复数据等
- 同时在Sqlserver预留了两个字段 【数据上传时间】和【UploadTime】,用于上传数据过程中检验是否上传成功和后续对重复数据进行去重处理时的依据。
- Sqlserver上表的字段名称需和Excel智能表的列名一致,顺序不作要求。
在Sqlserver上的SSMS上建表操作
选定需上传的智能表任一单元格,点击【SQL数据上传】
当没有选定智能表任一单元格时,需要在点击【SQL数据上传】出现的对话框中选择需要上传的是哪个智能表,一般建议操作流程是需要上传哪个表,就跳转到哪个表所在的工作表,并选择智能表任一单元格,好让程序知道你要上传的数据是哪些。
点击【SQL数据上传】
填写上传表对应的数据库表信息
若过往有填写过相关的数据库表对应的连接信息,可双击【目标数据库表名称】的右侧文本框,弹出历史设置过的数据库连接。双击某个符合要求的记录即可快速调用历史连接信息
双击【目标数据库表名称】的右侧文本框弹出选择对话框
双击历史连接后的效果
根据需求选择增量上传或覆盖上传
- 增量操作仅对Excel上的智能表数据进行上传操作,Sqlserver上的目标表的数据不作删除处理,对一些以时间有关的流水数据较为合适
- 覆盖上传是在上传前对Sqlserver上的目标表上数据进行清空操作,每次覆盖上传后,Sqlserver上的数据和Excel智能表上数据保持一致。适合用于一些数据量不大的属性方面的数据使用,如商品信息表,店铺信息等。
数据上传成功
数据已上传至Sqlserver,且自动多出一列标识数据上传的时间
每次都需要配置Excel智能表与Sqlserver目标表的信息吗?
对于追求极致用户体验的Excel催化剂来说,这种能够让程序完成的不体现人类价值的活,必须让程序自动去完成,下次再要上传数据时,当点击【SQL数据上传】时,将自动把上次已设置好的数据库对应表连接信息给填充出来,只需点击下上传按钮即可。
总结
让Excel专注做用户体验部分,目前没有哪个工具软件的普及率能够与Excel相比,这么好的工具,再加上一点点的二次开发,让其充分发挥其价值所在,本篇的数据上传操作,在专业ETL群体中可能不觉得是件什么新鲜事,但如果可以让普通Excel用户接近自助式地完成数据从Excel或其他渠道到专业的数据仓库中,这将是一件很有爆发力的事情。为将来激活整个企业的数据资产带来极大的想像空间,试想在数据库环境里处理个百万级别的数据是何等地轻松,而同时可以把各方的数据都整合进一个数据库环境中操作,是多么惬意的事情。
系列文章
Excel催化剂安装过程详解及安装失败解决方法 - 简书 https://www.jianshu.com/p/4efcee38175a
Excel催化剂功能第1波-工作表导航 - 简书 https://www.jianshu.com/p/d9b2ae29cebe
Excel催化剂功能第2波-数字格式设置 - 简书 https://www.jianshu.com/p/a758ac3e77e2
Excel催化剂功能第3波-与PowerbiDesktop互通互联 - 简书 https://www.jianshu.com/p/e05460ad407d
Excel催化剂功能第4波-一大波自定义函数高级应用,重新定义Excel函数的学习和使用方法 - 简书 https://www.jianshu.com/p/534803771c20
Excel催化剂功能第5波-使用DAX查询从PowerbiDeskTop中获取数据源 - 简书 https://www.jianshu.com/p/21b2ca8fd2b8
Excel催化剂功能第6波-导出PowerbiDesktop模型数据字典 - 简书 https://www.jianshu.com/p/bc26a8dcdfce
Excel催化剂功能第7波-智能选区功能 - 简书 https://www.jianshu.com/p/146748e484d5
Excel催化剂功能第8波-快速可视化数据 - 简书 https://www.jianshu.com/p/ce7cca2baf89
Excel催化剂功能第9波-数据透视表自动设置 - 简书 https://www.jianshu.com/p/f872ace9aa90
Excel催化剂功能第10波-快速排列工作表图形对象 - 简书 https://www.jianshu.com/p/eab71f2969a6
Excel催化剂功能第11波-快速批量插入图片 - 简书 https://www.jianshu.com/p/9a3d9aa7ba7e
Excel催化剂功能第12波-快速生成、读取、导出条形码二维码 - 简书 https://www.jianshu.com/p/76c6856bec12
Excel催化剂功能第13波-一键生成自由报表 - 简书 https://www.jianshu.com/p/af0ac9ce1819
Excel催化剂功能第14波-一键生成零售购物篮分析 - 简书 https://www.jianshu.com/p/35014c17dff2
Excel催化剂功能第15波-接入AI人工智能NLP自然语言处理 - 简书 https://www.jianshu.com/p/56a0616125fa
Excel催化剂功能第16波-N多使用场景的多维表转一维表 - 简书 https://www.jianshu.com/p/23980e53ec5b
Excel催化剂功能第17波-批量文件改名、下载、文件夹创建等 - 简书 https://www.jianshu.com/p/e29f1048d8e5
Excel催化剂功能第18波-在Excel上也能玩上词云图 - 简书 https://www.jianshu.com/p/5fa64d548838
Excel催化剂功能第19波-Excel与Sqlserver零门槛交互-查询篇 - 简书 https://www.jianshu.com/p/4cf5bad567e4
关于Excel催化剂
Excel催化剂先是一微信公众号的名称,后来顺其名称,正式推出了Excel插件,插件将持续性地更新,更新的周期视本人的时间而定争取一周能够上线一个大功能模块。Excel催化剂插件承诺个人用户永久性免费使用!
Excel催化剂插件使用最新的布署技术,实现一次安装,日后所有更新自动更新完成,无需重复关注更新动态,手动下载安装包重新安装,只需一次安装即可随时保持最新版本!
Excel催化剂插件下载链接:https://pan.baidu.com/s/1gC6joqGY_SIg_yONga9PaQ
因插件使用VSTO开发技术完成,插件的安装需要电脑满足相关的环境配置才能运行,且需可连接外网的方式实现自动更新机制,若下载安装过程中有任何疑问或需要离线版安装等,尽量不单独私聊询问,加QQ群可高效解决(群内已汇集了VSTO开发、Powerbi技术、Sqlserver商业智能等方面的国内顶尖大牛人物,进群的好处不用多说了)
取名催化剂,因Excel本身的强大,并非所有人能够立马享受到,大部分人还是在被Excel软件所虐的阶段,就是头脑里很清晰想达到的效果,而且高手们也已经实现出来,就是自己怎么弄都弄不出来,或者更糟的是还不知道Excel能够做什么而停留在不断地重复、机械、手工地在做着数据,耗费着无数的青春年华岁月。所以催生了是否可以作为一种媒介,让广大的Excel用户们可以瞬间点燃Excel的爆点,无需苦苦地挣扎地没日没夜的技巧学习、高级复杂函数的烧脑,最终走向了从入门到放弃的道路。
最后Excel功能强大,其实还需树立一个观点,不是所有事情都要交给Excel去完成,也不是所有事情Excel都是十分胜任的,外面的世界仍然是一个广阔的世界,Excel只是其中一枚耀眼的明星,还有其他更多同样精彩强大的技术、工具等。Excel催化剂也将借力这些其他技术,让Excel能够发挥更强大的爆发!
关于Excel催化剂作者
姓名:李伟坚,从事数据分析工作多年(BI方向),一名同样在路上的学习者。
技术路线从一名普通用户,通过Excel软件的学习,从此走向数据世界,非科班IT专业人士。
历经重重难关,终于在数据的道路上达到技术平原期,学习众多的知识不再太吃力,同时也形成了自己的一套数据解决方案(数据采集、数据加工清洗、数据多维建模、数据报表展示等)。
擅长技术领域:Excel等Office家族软件、VBA&VSTO的二次开发、Sqlserver数据库技术、Sqlserver的商业智能BI技术、Powerbi技术、云服务器布署技术等等。
2018年开始职业生涯作了重大调整,从原来的正职工作,转为自由职业者,暂无固定收入,暂对前面道路不太明朗,苦重新回到正职工作,对Excel催化剂的运营和开发必定受到很大的影响(正职工作时间内不可能维护也不可能随便把工作时间内的成果公布于外,工作外的时间也十分有限,因已而立之年,家庭责任重大)。
和广大拥护者一同期盼:Excel催化剂一直能运行下去,我所惠及的群体们能够给予支持(多留言鼓励下、转发下朋友圈推荐、小额打赏下和最重点的可以和所在公司及同行推荐推荐,让我的技术可以在贵司发挥价值,实现双赢(初步设想可以数据顾问的方式或一些小型项目开发的方式合作)。)
原文地址:https://www.cnblogs.com/ExcelCuiHuaJi/p/10737354.html