Heron——基础环境及安装

Heron是Twitter为了更好的进行实时计算的项目,主要是为了替换和改善Storm的不足而设计。详细的基础介绍和设计目标优势等,可以搜索Google或者查看官方文档(http://twitter.github.io/heron/)。

这里对Heron的使用做出一些介绍,在了解基础上,动手实践总是更好理解。这一部分只提及heron的安装依赖环境。

一、Heron使用依赖的环境:

1.  系统平台平台要求:

Heron目前只在几个平台可用,Mac OS X 10.10,Ubuntu 14.04,和CentOS 7.

2.  依赖包要求:

二、Linux下Heron安装

Ubuntu14.04下安装

1. 更新Ubuntu

$ sudo apt-get update -y
$ sudo apt-get upgrade -y

2. 安装需要的依赖包

$ sudo apt-get install git build-essential automake cmake libtool zip \  
        libunwind-setjmp0-dev zlib1g-dev unzip pkg-config -y

3. 设置gcc和g++环境变量

export CC=/usr/bin/gcc-4.8
export CCX=/usr/bin/g++-4.8

4. 安装JDK8

$ sudo add-apt-repository ppa:webupd8team/java
$ sudo apt-get update -y
$ sudo apt-get install oracle-java8-installer -y

5. 安装Bazel

wget -O /tmp/bazel.sh chmod +x /tmp/bazel.sh
/tmp/bazel.sh --user

注:安装最新的bazel版本,目前是0.3.0

6. 设置bazel的环境变量

$ export PATH="$PATH:$HOME/bin"

7. 获取最新的heron源码

$ git clone https://github.com/twitter/heron.git && cd heron

8. 为bazel配置heron

$ ./bazel_configure.py

9. build project

$ bazel build --config=ubuntu heron/...

10. build packages

$ bazel build --config=ubuntu scripts/packages:binpkgs  
$ bazel build --config=ubuntu scripts/packages:tarpkgs

通过上面几个步骤就可以将heron包安装在 bazel-bin/scriptes/packages/ 目录下。

如果有人使用libunwind,libtool或者gperftools遇到一些错误,推荐手动安装这些东西。

1.编译安装libtool

$ wget 
$ tar -xvf libtool-2.4.6.tar.gz
$ cd libtool-2.4.6
$ ./configure$ make$ sudo make install

2. 编译安装libunwind

$ wget 
$ tar -xvf libunwind-1.1.tar.gz
$ cd libunwind-1.1
$ ./configure$ make
$ sudo make install

3. 编译安装gperftools

$ wget 
$ tar -xvf gperftools-2.5.tar.gz
$ cd gperftools-2.5
$ ./configure$ make
$ sudo make install

Centos7安装

1. 安装需要的依赖

$ sudo yum install gcc gcc-c++ kernel-devel wget unzip zlib-devel zip git automake cmake patch libtool -y

2. 从源码安装libunwind

$ wget 
$ tar xvf libunwind-1.1.tar.gz
$ cd libunwind-1.1$ ./configure
$ make
$ sudo make install

3. 设置下面的环境变量

$ export CC=/usr/bin/gcc
$ export CCX=/usr/bin/g++

4. 安装JDK8

$ cd /opt/
$ sudo wget --no-cookies --no-check-certificate \  
    --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" \  
    "
$ sudo tar xzf jdk-8u91-linux-x64.tar.gz

使用alternative配置jdk版本

$ sudo cd /opt/jdk1.8.0_91/
$ sudo alternatives --install /usr/bin/java java /opt/jdk1.8.0_91/bin/java 2
$ sudo alternatives --config java

设置javac和jar命令

$ sudo alternatives --install /usr/bin/jar jar /opt/jdk1.8.0_91/bin/jar 2
$ sudo alternatives --install /usr/bin/javac javac /opt/jdk1.8.0_91/bin/javac 2
$ sudo alternatives --set jar /opt/jdk1.8.0_91/bin/jar$ sudo alternatives --set javac /opt/jdk1.8.0_91/bin/javac

导入java环境变量

export JAVA_HOME=/opt/jdk1.8.0_91export JRE_HOME=/opt/jdk1.8.0_91/jreexport PATH=$PATH:/opt/jdk1.8.0_91/bin:/opt/jdk1.8.0_91/jre/bin

5. 安装Bazel

wget -O /tmp/bazel.sh 
chmod +x /tmp/bazel.sh
/tmp/bazel.sh --user

6. 下载编译heron

$ git clone https://github.com/twitter/heron.git && cd heron
$ ./bazel_configure.py
$ bazel build --config=centos heron/...

7. build packages

$ bazel build --config=centos scripts/packages:binpkgs
$ bazel build --config=centos scripts/packages:tarpkgs

如此便可将heron包安装在bazel-bin/scriptes/packages/ 目录下。

至此Linux环境下的Heron安装就完成了~

时间: 2024-08-19 01:25:06

Heron——基础环境及安装的相关文章

MySQL基础环境_安装配置教程(Windows7 64或Centos7.2 64、MySQL5.7)

MySQL基础环境_安装配置教程(Windows7 64或Centos7.2 64.MySQL5.7) 安装包版本 1)     VMawre-workstation版本包 地址: https://my.vmware.com/web/vmware/details?downloadGroup=WKST-1411-WIN&productId=686&rPId=20814 包名:VMware-workstation-full-12.5.7.20721.exe 2)     Windows版本包

Linux基础环境_安装配置教程(CentOS7.2 64、JDK1.8、Tomcat8)

Linux基础环境_安装配置教程 (CentOS7.2 64.JDK1.8.Tomcat8) 安装包版本 1)     VMawre-workstation版本包 地址: https://my.vmware.com/web/vmware/details?downloadGroup=WKST-1411-WIN&productId=686&rPId=20814 包名:VMware-workstation-full-12.5.7.20721.exe 2)     CentOS版本包 地址:htt

机器学习基础环境的安装与使用(MAC版)

使用到Matplotlib.Numpy.Pandans等库 1.创建虚拟环境 >>>> sudo pip3 install virtualenv >>>>sudo pip3 install virtualenvwrapper 2.安装完成找不到mkvirtualenv的命令 # 1.创建目录用来存放虚拟环境 mkdir $HOME/.virtualenvs # 2.打开~/.bash_profile文件[此文件为隐藏文件,Mac系统显示隐藏文件快捷键为shi

python基础--环境的安装

python3下载: Python 官网:https://www.python.org/ 环境配置:https://www.runoob.com/python3/python3-install.html 1.DOS下进入python环境: python 2:py -2 python 3:py -3 2.退出python环境 exit()/quit()/ctrl+z+enter 3.pip命令:(要在非pyhton环境下执行) 升级命令: py -3 -m pip install --upgard

[Linux基础环境/软件]Linux下安装mysql

我是使用免安装的包mysql-5.5.28-linux2.6-x86_64.tar.gz(在http://dev.mysql.com/downloads/可以下载到最新的包)的.直接解压,然后配置,初始化数据库,启动即可. 安装步骤有: 解压和建立软链: 配置文件和配置参数: 初始化数据库: 启动和关闭: 建立数据库用户和授权. 1. 解压和建立软链: #tar xzvf mysql-5.5.28-linux2.6-x86_64.tar.gz #在/usr/local目录下 #ln -s mys

[零基础学pythyon]安装python编程环境

任何高级语言都是需要一个自己的编程环境的,这就好比写字一样,需要有纸和笔,在计算机上写东西,也需要有文字处理软件,比如各种名称的OFFICE.笔和纸以及office软件,就是写东西的硬件或软件,总之,那些文字只能写在那个上边,才能最后成为一篇文章.那么编程也是,要有个什么程序之类的东西,要把程序写到那个上面,才能形成最后类似文章那样的东西. 刚才又有了一个术语--"程序",什么是程序?本文就不讲了.如果列为观众不是很理解这个词语,请上网google一下. 注:推荐一种非常重要的学习方法

Ubuntu14下Hadoop开发<1> 基础环境安装

准备了一台淘汰的笔记本,单核CPU,3G内存,160G硬盘:准备一个2G的U盘 在官网下载了64位的14.04版本(麒麟)的ISO,下载UNetbootin(Ubuntu专用U盘安装工具) 使用UNetbootin将ISO文件写入到U盘中,将笔记本设置为U盘启动,将U盘插入笔记本,打开笔记本电源即可,接下来就根据提示一步一步来就可以了 安装过程很快,期间如果有网络的话,可能会比较慢,会下载一些更新包 下载64位的JDK1.7,有个帖子写的很详细,我按照这个来的(根据实际情况进行修改即可),感谢作

Oracle VM + centos7.1+openstack kilo 多结点安装教程---基础环境配置(2)

声明:最近在进行openstack的kilo版本的安装,发现现有的网络教程非常少,而且多数教程并不能安装成功,故写此教程.openstack的安装较为复杂,本教程并不能保证在不同环境下也能将其安装成功.个人安装教程,也难免出错.同时,安装是在虚拟机环境下,真实安装环境需要进行更改. 转载请声明出处: 作者:张某人ER 原文链接:http://blog.csdn.net/xinxing__8185/article/details/51042654 第一部分 基础环境配置 (2) 下面设置contr

Provisioning Services 7.8 入门系列教程之二 基础环境安装

续Provisioning Services 7.8 入门系列教程之一 部署学习环境介绍 一.建立Windows Server 2012 R2虚拟机母盘. 1.在Hyper-V首先建立一台虚拟机,安装Windows Server 2012 R2,并进行相关设置后,关闭计算机. 2.设置上面所建立的虚拟机的虚拟磁盘的文件属性为"只读",作为以后建立相同操作系统虚拟机的母盘. 二.基础环境安装 计算机名:DDC(取这个名称是为了满足Citrix许可服务器安装的需要,因为笔者从CitRix网