zeppelin的安装与使用

  想起马上就能回家了,心情是按捺不住的激动,唉,还是继续努力吧,其实不希望那么快就回家,感觉回去了就意味着马上就要回来了,人真的是神奇呀

  今天我们来使用zeppelin,这个就是可以把我们查找的数据可以图形化的方式显示出来,好了,今天开始我们的任务吧

  1.首先我们要下载zeppelin的压缩包,当我们解压之后(这一台主机上面已经安装过了java的环境)

  2.修改配置环境

   进入conf/

   将zeppelin-env.sh.template修改为zeppelin-env.sh

   将zeppelin-site.xml.template修改为zeppelin-site.xml

  

   然后我们接下来修改conf/zeppelin-env.sh新增

      export SPARK_MASTER_IP=192.168.109.136

      export SPARK_LOCAL_IP=192.168.109.136

  3.启动zeppelin

    进入zeppelin:进入bin目录下执行./zeppelin-daemon.sh start

    然后浏览器访问192.168.109.136:8080进入界面

  

      此时就启动成功

  4.zeppelin简单实用

    1.text

    

    2.html

    

    3.table

    

    

    5.可以对数据进行分析

    对于我做的最多的分析,就是基于学校的那个资料,我有学校里面的信息,这个里面的每一行的信息是以","

    进行分隔,这个其中里面的民族,此时我们对这个民族进行分析

    

    由于我们这个zeppelin是在linux里面的启动,所以我们必须把原有的数据放到linux的里面,此时zeppelin读的文件目录是linux里面的目录

    

    

    则此时我们就可以对数据库里面的东西进行视图分析,我们通过这个数据,我们发现通过读取数据

    ,以分组的方式,然后在查询数据有多少个,这样就可以对数据进行显示

    a.

val text = sc.textFile("/tmp/xjdx.txt")
case class Person(college:String,time:Integer)
val rdd1 = text.map(line =>{
    val fields = line.split(",")
    if(fields.length >=10){
      val mz = fields(10)
      Person(mz,1)
    }else{
        Person("1",1)
    }
})

    b.

rdd1.toDF().registerTempTable("rdd1")

    c.

%sql select college,count(1) from rdd1 group by college

    这个里面只是针对于存储介质是文件的形式,对于数据库的那个有问题,我会在以后的章节继续介绍的,敬请期待

时间: 2024-10-27 17:03:59

zeppelin的安装与使用的相关文章

Spark交互式分析平台Apache Zeppelin的安装

Zeppelin介绍 Apache Zeppelin提供了web版的类似ipython的notebook,用于做数据分析和可视化.背后可以接入不同的数据处理引擎,包括spark, hive, tajo等,原生支持scala, java, shell, markdown等.它的整体展现和使用形式和Databricks Cloud是一样的,就是来自于当时的demo. Zeppelin可实现你所需要的: - 数据采集 - 数据发现 - 数据分析 - 数据可视化和协作 支持多种语言,默认是scala(背

centos6.5中部署Zeppelin并配置账号密码验证

centos6.5中部署Zeppelin并配置账号密码验证1.安装JavaZeppelin支持的操作系统如下图所示.在安装Zeppelin之前,你需要在部署的服务器上安装Oracle JDK 1.7或以上版本, 并配置好相应的JAVA_HOME环境变量.以CentOS为例,具体操作过程如下: a)下载并安装jdk-8u111-linux-x64.rpm # rpm -ivh jdk-8u111-linux-x64.rpm b)配置环境变量.在/etc/profile文件结尾添加: export

Ubuntu下基于Saprk安装Zeppelin

前言 Apache Zeppelin是一款基于web的notebook(类似于ipython的notebook),支持交互式地数据分析,即一个Web笔记形式的交互式数据查询分析工具,可以在线用scala和SQL对数据进行查询分析并生成报表.原生就支持Spark.Scala.SQL .shell .markdown等.而且它是完全开源的,目前还处于Apache孵化阶段.其已经在各大公司均有采用,比如美团.微软等等. Zeppelin的后台数据引擎可以是Spark,也可以通过实现更多的解释器来为Ze

Apache Zeppelin安装及介绍

背景 Apache Zeppelin提供了web版的类似ipython的notebook,用于做数据分析和可视化.背后可以接入不同的数据处理引擎,包括spark, hive, tajo等,原生支持scala, java, shell, markdown等.它的整体展现和使用形式和Databricks Cloud是一样的,就是来自于当时的demo. Mac OS上安装 目前github上,zeppelin版本是0.5.0,没用预先编译好的包提供下载.安装文档:http://zeppelin.inc

spark standalone模式 zeppelin安装

1.  前置条件 None root account Apache Maven Java 1.7 2. 源码 https://github.com/apache/incubator-zeppelin git clone https://github.com/apache/incubator-zeppelin 3. 编译 本地模式:mvn clean package -DskipTests 集群模式:  mvn clean package -Pspark-1.4 -Dspark.version=1

Zeppelin安装文档

Zeppelin是一个Web笔记形式的基于Spark的大数据交互式数据查询分析工具(类似python notebook),可以在线写Scala和SQL代码对数据进行查询分析并生成报表,开发者也可以通过实现更多的解释器来为Zeppelin添加数据引擎. 0. 下载zeppelin 下载地址:https://zeppelin.incubator.apache.org/download.html 选择已编译版本: 解压目录结构: 1.  修改conf/zeppelin-env.sh,设置SPARK_H

Zeppelin- Linux下安装Zeppelin

前期部署: 下载,解压,配置PATH环境(编辑/etc/profile文件,记得source一下该文件) zepplin配置参考文档:https://zeppelin.apache.org/docs/0.7.2/install/configuration.html 往conf/zeppelin-env.sh文件中添加端口号 往底部添加 export ZEPPLELIN_PORT=8090 修改配置文件conf/zeppelin-site.xml中端口号 <property> <name&

Zeppelin添加mysql解释器

安装Apache zeppelin 1 wget http://apache.fayea.com/zeppelin/zeppelin-0.6.2/zeppelin-0.6.2-bin-all.tgz 1 tar -xzvf zeppelin-0.6.2-bin-all.tgz 配置Mysql interpreter 1.在zeppelin目录下的interpreter下放入mysql的解释器. mysql解释器 密码:s8ec 2.修改配置文件 1 [[email protected] conf

Hadoop - Zeppelin 使用心得

1.概述 在编写 Flink,Spark,Hive 等相关作业时,要是能快速的将我们所编写的作业能可视化在我们面前,是件让人兴奋的时,如果能带上趋势功能就更好了.今天,给大家介绍这么一款工具.它就能满足上述要求,在使用了一段时间,这里给大家分享以下使用心得. 2.How to do 首先,我们来了解一下这款工具的背景及用途.Zeppelin 目前已托管于 Apache 基金会,但并未列为顶级项目,可以在其公布的 官网访问.它提供了一个非常友好的 WebUI 界面,操作相关指令.它可以用于做数据分