Apache nifi 第二篇(小白初试) nifi数据对接流程初次尝试

 一、准备工作

1、官网下载nifi

2、上传到linux随便哪里把,因为nifi是用java写的,所以首先要保证你的linux装了jdk

  其次保证系统在装了zookeeper,因为nifi是一个分布式框架,需要zookeeper做协作支持,后面会具体讲讲zookeeper的作用。

3、解压缩 ,unzip nifi-1.3.0-bin.tar.gz

4、进入nifi.properties 配置web访问的ip和端口

5、sh bin/nifi.sh status 查看nifi状态

6、启动nifi    sh bin/nifi.sh start

很简单把 这样就启动起来了。

7、下面使用我们在nifi.properties 中配置的主机ip和端口号运行web UI界面看看把。

二、开始玩玩把!

据说玩转nifi的三部曲 就是  拖拽--配置--连接

1、拖拽 , 从哪里拖拽呢。

2、拽下来之后就选择你需要的Processor吧。  啥是Processor呢, 如其名 ,就是一个处理器。

选择你需要的Processor ,左边也给你了一些大选项,  相当于模糊查询把,就是select ···from processor·· where  processorName like  ‘%XXX%’    好吧我意淫了。。。。

也可以直接在右上角的输入框输入你需要的处理器,容器会实时过滤。

3、随便选择一个处理器比如Fetchfile,选择完成之后,则处理器上,右键,会有很多选项可供选择。

这里我们开始三部曲的第二部,配置

点开之后 ,有四个选项, 这里我们先选择properties,这个选项也是我们做的最多的地方,其他几个几乎不关心, 当然,他们的作用 我们后面细细道来

File to fetch属性,我随机选择一个文件/data/zhangshk/nifi/1.txt      1.txt 内容为   hello nifi

fetch了一个文件之后,我们把他换一个位置,比如存到另一个地方,这样我们程序就跑通了。  其实我们做数据对接也是这要玩的。

比如把http接口的数据接过来,存入mysql ,或者从http接口接过来的数据存入hbase等等。

再来一个处理器getFile   ,  注意有几个属性, Directory为存放文件的目录,Confilict Resolution Strategy 建议选择ignore ,因为如果文件Directory已经存在了,也不会报错,默认他就是如果已经存在就报错, 这个根据业务需要更改,甭管了,按我图上写。。。

3、好了 现在到了三步曲,第三步  连接 ,这个最简单 , 连连线。

  流程需要一个头,那我们再添加一个处理器,GenerateFlowFile ,这个处理器,主要是用来设置全局的属性,还有控制集群的调度时间,频次。这些以后再说,现在先让他跑起来。这里我们使用timer driven   间隔100000000sec 跑一次 ,千万不要用他默认的0sec  那样相当于间隔0秒跑一次 ,也就是死循环    哈哈。 真贱。。

连线

面板上随便一个地方 右键  start

图中 可以看success 成功了,  那么我们去看看文件系统

test文件夹出现了,进去看看:

生辰了一个文件,文件名是他按照一定的算法生成的不管, 进去看看:

ok  成功了,  是不是还听好玩的。  。  。

大家可能会有很多疑惑, 多玩玩  ,多试试 就熟了,  也可以留言给我。

简单的玩玩,感觉挺好的。

之后还会写一些在公司里实际用到的数据对接的企业案例 。当然 在这之前, 可能会讲讲一些比较常用的处理器, 和他的配置。

大家有什么问题  可以留言,大家一起学习进步。。

时间: 2024-10-12 12:31:28

Apache nifi 第二篇(小白初试) nifi数据对接流程初次尝试的相关文章

第二篇:R语言数据可视化之数据塑形技术

前言 绘制统计图形时,半数以上的时间会花在调用绘图命令之前的数据塑型操作上.因为在把数据送进绘图函数前,还得将数据框转换为适当格式才行. 本文将给出使用R语言进行数据塑型的一些基本的技巧,更多技术细节推荐参考<R语言核心手册>. 数据框塑型 1. 创建数据框 - data.frame() # 创建向量p p = c("A", "B", "C") # 创建向量q q = 1:3 # 创建数据框:含p/q两列 dat = data.fra

第二篇:Power BI数据可视化之基于网页数据的报表制作(经典级示例)

前言 报表制作流程的第一步显然是从各个数据源导入数据,Power BI能从很多种数据源导入数据:如Excel,CSV,XML,以及各类数据库(SQL Server,Oracle,My SQL等),两大主流开源平台(Hadoop,Spark)等等.本文篇幅所限,无法一一说明,仅就网页获取数据的方式进行讲解(其他方式大同小异). 然后本文将在Power BI后台工作区(下简称后台区)对获取到的数据集进行塑形.所谓塑形就是确定数据集的列名以及数据类型,还有进行一些基本数据清洗转换工作,以保证Power

sql系列(基础篇)-第二章 约束和排序数据

更好的看↑代码点击VIEW PLAN 第二章 约束和排序数据 1. 在 emp 表中选择工资介于 1500 到 2500 的员工的信息: 注意:使用 between 下边界 and 上边界时,条件包括边界值: [email protected]>l 1 select * from emp 2* where sal between 1500 and 2500 [email protected]>/ EMPNO ENAME JOB MGR HIREDATE SAL COMM DEPTNO ----

【第二篇】ASP.NET MVC快速入门之数据注解(MVC5+EF6)

目录 [第一篇]ASP.NET MVC快速入门之数据库操作(MVC5+EF6) [第二篇]ASP.NET MVC快速入门之数据注解(MVC5+EF6) [第三篇]ASP.NET MVC快速入门之安全策略(MVC5+EF6) [第四篇]ASP.NET MVC快速入门之完整示例(MVC5+EF6) [番外篇]ASP.NET MVC快速入门之免费jQuery控件库(MVC5+EF6) 请关注三石的博客:http://cnblogs.com/sanshi 数据库连接字符串 上一篇文章中,我们使用MVC的

解剖SQLSERVER 第二篇 对数据页面头进行逆向(译)

解剖SQLSERVER 第二篇  对数据页面头进行逆向(译) http://improve.dk/reverse-engineering-sql-server-page-headers/ 在开发OrcaMDF 的时候第一个挑战就是解析数据页面头部,我们知道数据页面分两部分,96字节的页面头部和8096字节的数据行 大神 Paul Randal 写了一篇文章很好的描述了页头结构,然而,即使文章描述得很详细,但是我还是找不出任何关于页头存储的格式 每一个字段的数据类型和他们的顺序 我们可以使用DBC

&lt;邮件服务postfix+mysql&gt;MAIL第二篇

环境:本服务是建立在第一篇的基础之上的,最好搭建好第一篇 玩此服务的前提是你的系统装好了msql和postfix服务. Postfix+mysql主要是把邮件服务的发与mysql结合使用.当然mysql要是一直是在命令行下使用也不是很方便对吧,下面我们来看linux图形化下mysql的使用: 下面的软件包. phpMyAdmin-2.11.3-all-languages.tar.gz是以php的格式结合Apache通过网页的形式管理mysql. 既然是使用网页管理mysql,当然很定得将这个软件

转载:eclipse 搭建SSH项目(第二篇,有具体的项目例子)

原文地址:http://blog.csdn.net/yeohcooller/article/details/9316923 读博文前应该注意: 本文提纲:本文通过一个用户注册的实例讲解SSH的整合.创建Struts项目,整合Hibernate,整合Spring.最后总结如何熟练创建SSH项目. 仅是创建SSH项目,对于其他的扩展例如Struts的国际化,Hibernate的缓存优化,Spring的AOP等,本博文涉及不到.想学习更多的东西请搜索其他博文. 本项目的环境:Windows 8-64位

分库分表之第二篇

分库分表之第二篇 2. Sharding-JDBC快速入门 2.1需求说明 2.2. 环境建设 2.2.1环境说明 2.2.2创建数据库 2.2.3约会maven依赖 2.3 编写程序 2.3.1 分片规则配置 2.3.2 数据操作 2.3.3 测试 2.4. 流程分析 2.5 其他集成方式 2. Sharding-JDBC快速入门 2.1需求说明 使用Sharding-JDBC完成对订单表的水平分表,通过快速入门程序的开发,快速体验Sharding-JDBC的使用.人工创建两张表,t_orde

第二篇 基于微擎的模块开发—PHP

从陌生到如今能勉强完成第一个微网站模块的实现.也算是一个小小的进步,从设计数据库到,返回数据,前端模版渲染 每一点都是有点难度的.所以我想总结一下,我是如何实现一个微擎模块. 第一,首先得分析某个模块的想实现什么需求,根据需求设计合理的数据库结构. 第二,了解微擎的结构,运行流程,设计模块结构. 第三,重点就是site.php , 完成site.php 需要一定的php的编程能力, 第四,site.php 其中 通过 pdo 从数据库的获取我们想得到数据源. 微擎已封装其路由机制, doWeb