SIX Spark Streaming 编程初级实践

Flume 官网下载 Flume1.7.0 安装文件,下载地址如下:

http://www.apache.org/dyn/closer.lua/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz

下载后,把 Flume1.7.0 安装到 Linux 系统的“/usr/local/flume”目录下,

⑴解压安装包

1.cd ~/下载

2.sudo tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /usr/local

# 将 apache-flume-1.7.0-bin.tar.gz 解压到/usr/local 目录下,这里一定要

加上-C 否则会出现归档找不到的错误

3.cd /usr/local

4.sudo mv ./apache-flume-1.7.0-bin ./flume #将解压的文件修改名

字为 flume,简化操作

5.sudo chown -R hadoop:hadoop ./flume #把/usr/local/flume 目录

的权限赋予当前登录 Linux 系统的用户,这里假设是 hadoop 用户

⑵配置环境变量

1.sudo vim ~/.bashrc

然后在首行加入如下代码:

1.export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64;

2.export FLUME_HOME=/usr/local/flume

3.export FLUME_CONF_DIR=$FLUME_HOME/conf

4.export PATH=$PATH:$FLUME_HOME/bin

注意,上面的 JAVA_HOME,如果以前已经在.bashrc 文件中设置过,就不要重复添加

了,使用以前的设置即可。比如,以前设置得 JAVA_HOME 可能是“export

JAVA_HOME=/usr/lib/jvm/default-java”,则使用原来的设置即可。接下来使环境变量生效:

1.source ~/.bashrc

修改 flume-env.sh 配置文件:

1.cd /usr/local/flume/conf

2.sudo cp ./flume-env.sh.template ./flume-env.sh

3.sudo vim ./flume-env.sh

打开 flume-env.sh 文件以后,在文件的最开始位置增加一行内容,用于设置

JAVA_HOME 变量:

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64;

  

注意,你的JAVA_HOME可能与上面的设置不一致,一定要根据你之前已经安装的Java

路径来设置,比如,有的机器可能是:

export JAVA_HOME=/usr/lib/jvm/default-java

  

然后,保存 flume-env.sh 文件,并退出 vim 编辑器。

⑶查看 flume 版本信息

1.cd /usr/local/flume

2. ./bin/flume-ng version #查看 flume 版本信息;

安装成功

注意:如果系统里安装了 hbase,会出现错误: 找不到或无法加载主类

org.apache.flume.tools.GetJavaProperty。如果没有安装 hbase,这一步可以略过。

1.cd /usr/local/hbase/conf

2.sudo vim hbase-env.sh

1.#1、将 hbase 的 hbase.env.sh 的这一行配置注释掉,即在 export 前加一个#

2.#export HBASE_CLASSPATH=/home/hadoop/hbase/conf

3.#2、或者将 HBASE_CLASSPATH 改为 JAVA_CLASSPATH,配置如下

4.export

JAVA_CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/t

ools.jar

原文地址:https://www.cnblogs.com/NCLONG/p/12269826.html

时间: 2024-10-04 16:57:22

SIX Spark Streaming 编程初级实践的相关文章

Spark SQL 编程初级实践

1.Spark SQL 基本操作 将下列 JSON 格式数据复制到 Linux 系统中,并保存命名为 employee.json. { "id":1 , "name":" Ella" , "age":36 } { "id":2, "name":"Bob","age":29 } { "id":3 , "name"

第五周周二练习:实验 5 Spark SQL 编程初级实践

1.题目: 源码: import java.util.Properties import org.apache.spark.sql.types._ import org.apache.spark.sql.Row import org.apache.spark.sql.SparkSession import org.apache.spark.sql.DataFrameReader object TestMySQL { def main(args: Array[String]) { val spar

SPark SQL编程初级实践

今下午在课上没有将实验做完,课下进行了补充,最终完成.下面附上厦门大学数据库实验室中spark实验官网提供的标准答案,以供参考. 三.实验内容和要求 1.Spark SQL 基本操作 将下列 json 数据复制到你的 ubuntu 系统/usr/local/spark 下,并保存命名为 employee.json. { "id":1 ,"name":" Ella","age":36 } { "id":2,&

实验 5 Spark SQL 编程初级实践

Spark SQL基本操作 (1) 查询所有数据: (2) 查询所有数据,并去除重复的数据: (3) 查询所有数据,打印时去除id字段: (4) 筛选出age>30的记录: (5) 将数据按age分组: (6) 将数据按name升序排列: (7) 取出前3行数据: (8) 查询所有记录的name列,并为其取别名为username: (9) 查询年龄age的平均值: (10) 查询年龄age的最小值. 原文地址:https://www.cnblogs.com/flw0322/p/12288397.

Apache Spark 2.2.0 中文文档 - Spark Streaming 编程指南 | ApacheCN

Spark Streaming 编程指南 概述 一个入门示例 基础概念 依赖 初始化 StreamingContext Discretized Streams (DStreams)(离散化流) Input DStreams 和 Receivers(接收器) DStreams 上的 Transformations(转换) DStreams 上的输出操作 DataFrame 和 SQL 操作 MLlib 操作 缓存 / 持久性 Checkpointing Accumulators, Broadcas

Spark Streaming编程示例

近期也有开始研究使用spark streaming来实现流式处理.本文以流式计算word count为例,简单描述如何进行spark streaming编程. 1. 依赖的jar包 参考<分别用Eclipse和IDEA搭建Scala+Spark开发环境>一文,pom.xml中指定依赖库spark-streaming_2.10.jar. <dependency> <groupId>org.scala-lang</groupId> <artifactId&

Spark Streaming编程指南

本文基于Spark Streaming Programming Guide原文翻译, 加上一些自己的理解和小实验的结果. 一.概述 Spark Streaming是基于Core Spark API的可扩展,高吞吐量,并具有容错能力的用于处理实时数据流的一个组件.Spark Streaming可以接收各种数据源传递来的数据,比如Kafka, Flume, Kinesis或者TCP等,对接收到的数据还可以使用一些用高阶函数(比如map, reduce, join及window)进行封装的复杂算法做进

实验4 RDD编程初级实践

1.spark-shell交互式编程 (1) 该系总共有多少学生 scala> val lines = sc.textFile("file:///usr/local/spark/sparklab/Data01.txt") lines: org.apache.spark.rdd.RDD[String] = file:///usr/local/spark/sparklab/Data01.txt MapPartitionsRDD[4] at textFile at <consol

实验 4 RDD 编程初级实践

注意:spark的编码格式是utf-8,其他的格式会有乱码,所以文件要使用utf-8编码 pom.xml: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sche