BIML 101 - ETL数据清洗 系列 - BIML 快速入门教程 - 序

BIML 101 - BIML 快速入门教程

做大数据的项目,最花时间的就是数据清洗。

没有一个相对可靠的数据,数据分析就是无木之舟,无水之源。

如果你已经进了ETL这个坑,而且预算有限,并且有大量的活要做;

时间紧,任务多,是不是有点菊花一紧的感觉。

多少次,你对着几个月前自己写的代码在挠头,

多少次,指着屏幕上别人写的代码目瞪口呆,心中默默数有多少头草泥马。WTF。

不管你是做数据仓库,还是做数据转换,数据集成等等,大量的重复性的工作令人乏味;

但是,如果没有好的设计和遵从一致的流程,后期的维护就是一个更大的坑。

BIML,

就是你的救星。

码农们应该都知道一个叫DRY的原则:Don‘t Repeat Yourself.

强调的是代码的复用性。用BIML的最重要的一个目的就是这个 - 减少重复性代码。

当然有些其他一些软件设计的原则,譬如SOLID,也适用。

BIML由Varigence公司开发,语言格式类似于HTML,用于商业智能和数据仓库开发,它能够生成兼容Visual Studio的SSIS包,这方便日后查看和修改。

基于BIML,Varigence公司还有其他版本的工具(https://www.varigence.com/Products),有些有高级功能,适合企业级的商业应用。例如,CI(continues integration),版本发布和管理等。 - 本文非安利文,请自行查阅。

开源版本的BIML: https://varigence.com/BimlExpress

所需技能:

  1. 基本SQL,如:create table,select等
  2. 熟悉基本的html或者xml语法,非常简单
  3. 知道一丢丢的C#,变量,连接数据库,读表
  4. SSIS的一些组件

本系列会从基本的创建biml入手,通过实战案例,创建一个完整的数据流。

其它付费商业软件由:Wherescape RED/3D, Informatica等。

注:

1)本系列可能稍微涉及详细的SSIS包管理和部署,但是详细的请参考别的文章。

2)本系列可能会涉及到一些数据仓库建模,星型,Data Vault等概念。

原文地址:https://www.cnblogs.com/lizardbi/p/BIML101_BIML_INDUCTION_FOR_ETL_Datawarehouse.html

时间: 2024-08-03 06:36:54

BIML 101 - ETL数据清洗 系列 - BIML 快速入门教程 - 序的相关文章

EntityFramework6 快速入门教程

EntityFramework6 快速入门教程 不得不说EF在国内实在是太小众,相关的技术文章真实屈指可数,而且很多文章都很旧了,里面使用的版本跟如今的EF6差别还是比较大.我刚开始弄这个的时候真是绕了不少弯路. 学习EF还是需要一些条件,使用EF并不意味着你就可以完全不跟数据库打交道了,要学好EF,数据库中的什么主键.外键.索引.SQL等你还是要懂,另外EF中将大量使用LINQ来进行数据查询,数据模型中还将涉及到特性与泛型,所以对于C#的基础要求还比较高. 在我看来EF并不适合初学者使用,虽然

C#游戏开发快速入门教程

C#游戏开发快速入门教程 C#游戏开发快速入门 试读文档下载地址:http://pan.baidu.com/s/1eQeSl0Y C#是微软发布的高级程序设计语言,这门语言和C语言一样,已经成为了大学计算机相关专业必学的一门语言.很多初学这门语言的同学,还以为C#只能开发Windows桌面应用程序了,写写ASP.NET网站.本书将为读者纠正这种观念,使用C#一样可以开发出精彩的游戏! 学习所需的系统和软件 安装Windows 7操作系统 安装Unity 4.5.1 目  录 第1章  使用C#编

BeagleBone Black快速入门教程第1章嵌入式Linux之于Maker们

BeagleBone Black快速入门教程第1章嵌入式Linux之于Maker们 Maker的中文含义类似"创客".创客是指一群酷爱科技.热衷实践的人群,他们以分享技术.交流思想为乐.但为了保持Maker的原味,这里我们一致使用英文的Maker.Maker文化是DIY(Do IT Yourself)文化的延伸,它在其中糅合了技术元素.本文选自<BeagleBone Black快速入门教程大学霸> 1.1  Maker的世界 Maker们的兴趣主要集中在以工程化为导向的主题

Arduino Yun快速入门教程(大学霸内部资料)

Arduino Yun快速入门教程(大学霸内部资料) 本资料为国内第一本Arduino Yun教程.详细讲解Arduino Yun的基本结构.开发环境.系统配置,并着力讲解关键功能--Bridge.最后,本书实现了一个智能家居控制系统--家居环境监测.该系统具有温度监控.湿度监控.安防监控.家电控制等重要功能.基于该系统,读者可以扩展出更丰富的功能,打造更智能的现代家居环境. 试读样章下载:http://pan.baidu.com/s/1kTIE5M3 目  录 第1章  Arduino Yun

C语言快速入门教程(二)

C语言快速入门教程(二) C语言的基本语法 本节学习路线图: 引言: C语言,顾名思义就是一门语言,可以类比一下英语; 你要说出一个英语的句子需要:  单词  +  语法!  将单词按照一定的语法拼凑起来就成了一个英语句子了; C语言同样是这样,只不过单词可以理解为一些固定的知识点,而语法可以理解为算法(可以理解为解决问题的方法) 在这一节中我们就对固定知识点中的语言描述与数据存储进行解析! 1.C语言的基本元素 1.1  标识符 什么是标识符? 答:在C语言中,符号常量,变量,数组,函数等都需

CMake快速入门教程-实战

http://www.ibm.com/developerworks/cn/linux/l-cn-cmake/ http://blog.csdn.net/dbzhang800/article/details/6314073 http://www.cnblogs.com/coderfenghc/archive/2013/01/20/2846621.html http://blog.sina.com.cn/s/blog_4aa4593d0100q3bt.html http://hahack.com/c

C语言快速入门教程(一)

C语言快速入门教程(一) C语言概述(开发准备) 本节学习路线图: ps:标记3的表示不是很重要,知道有这个东西就行了;标记1表示非常重要,需要熟练掌握! 1.C语言的概述: 1.1  计算机与程序设计语言之间的关系? 答:计算机是由硬件与软件系统组成的;硬件---->物质基础;软件----->灵魂; 如果脱离了软件,计算机就是一台什么都做不了的裸机; 可以形象地比喻成人的大脑和身体;两个互不可缺! 1.2  程序设计语言的更新换代: 1.3 C语言的特点 1.4  最简单的HelloWorl

Velocity快速入门教程

Velocity快速入门教程-脚本语法详解(转) 1.变量 (1)变量的定义: #set($name = "hello")      说明:velocity中变量是弱类型的. 当使用#set 指令时,括在双引号中的字面字符串将解析和重新解释,如下所示: #set($directoryRoot = "www" ) #set($templateName = "index.vm" ) #set($template = "$directoryR

专为设计师而写的GitHub快速入门教程

原文出处: Kevin Li 在互联网行业工作的想必都多多少少听说过GitHub的大名,除了是最大的开源项目托管平台,许多企业也都是用GitHub来协同开发工作,当然我 们彩程也是其中之一.笔者最初决定学习Git也是因为在团队内部设计方案初步被开发出来后,难免会有一些细节需要调整,而为了调整几像素的问题再求前端工 程师出马,其实是很影响整体效率的,所以希望通过学习GitHub好在必要的时候直接参与开发,能发挥自己的一点CSS技术以更直接快速的解决问题. 但是期间竟然发现网上无一篇为设计师而备的G