hbase+opentsdb 单机版搭建

2018年2月19日星期一 Lee

这个实验步骤比较简单,只能用来演示下搭建过程,实际生产环境复杂的很多。

实验环境:

centos6.5 x86_64
IP: 10.0.20.25

这里实验没有用HDFS,生产环境的话,hbase还是要把数据存到hdfs上比较安全的。

1. 安装单机zookeeper

cd /root/
tar xf zookeeper-3.4.8.tar.gz -C ./
mv zookeeper-3.4.8 /opt/zk

cd /opt/zk
cat conf/zoo.cfg 内容如下:

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zookeeper
clientPort=2181

/opt/zk/bin/zkServer.sh start /opt/zk1/zk1.cfg

/opt/zk/bin/zkCli.sh -server 10.0.20.25:2181
?

2. 安装单机hbase

tar xf hbase-1.2.6-bin.tar.gz –C /usr/local
cd /usr/local/
ln –s hbase-1.2.6 hbase
mkdir data // 用来存放hbase的data数据【生产环境下,处于安全性考虑,hbase数据是存放到hdfs的】
cd conf

vim hbase-env.sh 最后追加3行:

export JAVA_HOME=/usr/java/jdk1.8.0_91
export PATH=${JAVA_HOME}/bin:$PATH
export HBASE_MANAGES_ZK=false

cat hbase-site.xml 添加红色部分的代码:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 <property>
    <name>hbase.rootdir</name>
    <value>/usr/local/hbase/data/</value>
  </property>

<property>
    <name>hbase.master.info.port</name>
    <value>16001</value>
</property>

 <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>  <!-- false是单机模式,true是分布式模式。若为false,Hbase和Zookeeper会运行在同一个JVM里面。-->
  </property>

  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>localhost:2181</value>
  </property>
</configuration>

更详细的可参看:https://www.cnblogs.com/yangsy0915/p/5544533.html

cat regionservers 内容如下:
localhost
注意regionservers 里面写的内容和上面的hbase.zookeeper.quorum里面的hostname一样。

?

启动hbase:

cd /usr/local/hbase/bin
./start-hbase.sh  即可启动hbase

?

验证:

ss –lnt | grep 16001
ps aux|grep hbase

补充,HDFS+hbase+3节点zk的 hbase-site.xml配置文件写法:

<configuration>
 //设置将数据写入hdfs的目录
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://master:9000/usr/local/hadoop-2.6.0/hbaseData</value>
  </property>
 //设置hbase模式为集群模式
<property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
</property>
 //设置hbase的master端口地址
<property>
  <name>hbase.master</name>
  <value>hdfs://master:60000</value>
</property>
//HBase Master web界面绑定的端口,默认为0.0.0.0
<property>
  <name>hbase.master.info.port</name>
  <value>60010</value>
</property>
//连接zookeeper的端口设置
    <property>
        <name>hbase.zookeeper.property.clientPort</name>
        <value>2183</value>
    </property>
  //设置zookeeper的连接地址(必须为基数个)
 <property>
           <name>hbase.zookeeper.quorum</name>
           <value>master,slave1,slave2</value>
   </property>
//Zookeeper的zoo.conf中的路径配置,快照的存储位置
<property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/usr/local/zookeeper-3.4.6/data</value>
</property>
//Zookeeper连接超时时间
<property>
  <name>zookeeper.session.timeout</name>
  <value>60000</value>
</property>
</configuration>

3. 安装opentsdb

官方网站:http://opentsdb.net/docs/build/html/installation.html#id1

rpm –ivh opentsdb-2.3.0.rpm
?
cd /etc/opentsdb
vim opentsdb.conf 内容如下:

tsd.network.port = 4242
tsd.network.bind = 0.0.0.0
tsd.network.worker_threads = 8
tsd.http.staticroot = /usr/share/opentsdb/static/
tsd.http.cachedir = /tmp/opentsdb
tsd.core.auto_create_metrics = true
tsd.core.plugin_path = /usr/share/opentsdb/plugins
tsd.storage.hbase.zk_quorum = localhost:2181

?
启动之前,需要到hbase上面去创建表:

cd /usr/share/opentsdb/tools
env COMPRESSION=NONE HBASE_HOME=/usr/local/hbase ./create_table.sh

启动及验证:
/etc/init.d/opentsdb start

?
ss -lnt | grep 4242
ps aux|grep opentsdb
访问浏览器的http://10.0.20.25:4242
?

4. 写数据测试

http api写数据方法:

官方文档:http://opentsdb.net/docs/build/html/api_http/put.html

可以使用chrome插件,如下方式post数据到opentsdb。【返回值204表示提交成功】

也可以使用tcollector来采集系统数据,并写入到opentsdb,方法如下:

?
git clone https://github.com/OpenTSDB/tcollector.git
cd tcollector
如果不修改tcollector.py文件的话,默认采集程序会把采集的东西上送到localhost本地的opentsdb里面。【默认参数如下图】

?
./tcollector start // 即可在后台启动采集程序
ps aux | grep tcollector

?
如果需要采集mysql等其他软件的监控状态,需要去 collectors/etc/ 这个目录下的对应脚本里面,添加相关的账户名和密码,以便采集程序搜集信息。

?
然后,就可以到opentsdb的web界面去绘图了,下面是我采集了好几个小时的数据展示:

?
放到grfana里面,数据显示会更好看点。

?
配置大致这样的:

原文地址:http://blog.51cto.com/lee90/2071936

时间: 2024-10-10 12:33:57

hbase+opentsdb 单机版搭建的相关文章

HBase 分布式环境搭建

HBase 分布式环境搭建 一.前期环境 安装概览 IP Host Name Software Node 192.168.23.128 ae01 JDK 1.7, Zookeeper-3.4.5 HMaster 192.168.23.129 ae02 JDK 1.7, Zookeeper-3.4.5    HRegionServer 192.168.23.130 ae03 JDK 1.7, Zookeeper-3.4.5 HRegionServer    若使用虚拟机安装,可以安装samba,

【甘道夫】HBase开发环境搭建过程中可能遇到的异常:No FileSystem for scheme: hdfs

异常: 2014-02-24 12:15:48,507 WARN  [Thread-2] util.DynamicClassLoader (DynamicClassLoader.java:<init>(106)) - Failed to identify the fs of dir hdfs://fulonghadoop/hbase/lib, ignored java.io.IOException: No FileSystem for scheme: hdfs 解决: 在pom文件中加入: &

hbase伪分布式搭建和完全分布式搭建

hbase配置 (前提是zookeeper能正常使用) HBase是主从式结构,HMaster.HRegionServer HBase的伪分布 1.配置环境变量HBASE_HOME 2.         修改文件$HBASE_HOME/conf/hbase-env.sh,修改内容如下 export JAVA_HOME=/usr/local/jdk  (自定义) export HBASE_MANAGES_ZK=true 3.修改文件hbase-site.xml,修改内容如下 <property>

hbase 集群搭建(公司内部测试集群)

我用的是cdh4.5版本:配置文件:$HBASE_HOME/conf/hbase-env.shexport JAVA_HOME=$JAVA_HOMEexport JAVA_HOME=/home/hadoop/jdk1.7.0_51export HBASE_CLASSPATH=$HBASE_HOME/conf# Tell HBase whether it should manage it's own instance of Zookeeper or not.export HBASE_MANAGES

HBase介绍、搭建、环境、安装部署

hadoop培训课程:HBase介绍.搭建.环境.安装部署 1.搭建环境 部署节点操作系统为CentOS,防火墙和SElinux禁用,创建了一个shiyanlou用户并在系统根目录下创建/app目录,用于存放Hadoop等组件运行包.因为该目录用于安装hadoop等组件程序,用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下创建/app目录,并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanlou /app). Hadoop搭建环

Hbase架构,组件分析 ,Hbase集群搭建

1.hbase的架构 Hbase主要由master,regionserver,zookeeper,client,hdfs文件系统构成. Zk:记录hbase的表的元数据信息 hamster:进行region的分配,发出操作指令 Hlog:记录HregionServer的操作日志,保证数据的可靠性 HRegion:存储Hbase表的信息 store:Hbase表的不同列族的存储 DataNode:存储Hbase的Hlog及Hbase表的Hfile的文件持久化存储 2.hbase的组件及作用 1)C

centos6下部署单机版hbase+opentsdb

一.安装jdk①下载jdkhttp://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html②传到centos主机解压并放到/usr/local下(目录随便放,但是后期要和环境变量保持一致)设置环境变量vim /etc/profile.d/java.sh③测试.使用java -version 如下:二.部署hbase①下载包wget http://mirrors.hust.edu.cn/apach

CentOS 7 伪分布式搭建 hadoop+zookeeper+hbase+opentsdb

一.前期准备 1.配置ip 进入文件编辑模式: vim /etc/sysconfig/network-scripts/ifcfg-ens192 原内容: TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTPROTO=dhcp DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6INIT=yes IPV6_AUTOCONF=yes IPV6_DEFROUTE=yes IPV6_FAILURE_FATAL=no IPV6

hbase zookeeper独立搭建

一.zk单独搭建 1.修改配置文件:conf/zoo.cfg Java代码   tickTime=2000 dataDir=/home/hadoop/data/zookeeper clientPort=2181 initLimit=5 syncLimit=2 server.1=slave-01:2888:3888 server.2=slave-02:2888:3888 server.3=slave-03:2888:3888 2.生成myid文件 Java代码   在slave-01中 echo