关于centos环境下Flume+hadoop+hive常用命令

centos命令

进入root用户
su root

1、 复制

2、解压tar.gz
tar zxvf xxx.tar.gz

3、文件操作

-创建文件夹
mkdir mkdir /usr/

mkdir 文件名

-移动文件
mv [options] 源文件或目录 目标文件或目录

—删除一个文件
rm

—删除一个文件夹
rm /home/test
rm -r /home/test

—文件赋权限
cmod 1.txt

4、修改文件夹权限
chown -R Hadoop.Hadoop /
增加可执行读写权限
chmod 777 ./jdk1.8.0_40/*.*

5、查看端口占用

netstat -lnp|grep 8000
查看进程详情
ps 4848
杀掉该进程
kill -9 4848 

6、通过vi 编辑清楚所有

.,$d

Hadoop相关操作

1)启动相关 
bin/hdfs namenode -format

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start  datanode

sbin/hadoop-daemon.sh start secondarynamenode

2)创建文件夹
./bin/hadoop dfs -mkdir /flume_logs

splunk的启动

bin/splunk start

Flume的启动

bin/flume-ng agent -n agent1 -c conf -f /home/Hadoop/flume/apache-flume-1.5.2-bin/conf/f3.conf  -Dflume.root.logger=DEBUG,console

MySql安装

1、查找是否之前装过mysql
rpm -qa|grep -i mysql
2、删除查询到的包
rpm -ev 包
yum -y remove
3、删除老版本mysql的开发头文件和库
whereis mysql 
rm -f /etc/my.cnf (删掉)
rm -f 查找出来的路径
4、安装mysql
1)安装前准备:两个rpm包
2)执行安装,先安装服务器端软件,再安装客户端软件
rpm -ivh MySQL-server-5.6.24-1.linux_glibc2.5.i386.rpm
rpm -ivh MySQL-client-5.6.24-1.linux_glibc2.5.i386.rpm

Hive操作

1、hive配置

  <?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://10.211.55.3:3306/hive?characterEncoding=UTF-8</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hivedb</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>hivedb</value>
    </property>
     <property>
        <name>hive.metastore.local</name>
        <value>false</value>
   </property>
    <property>
          <name>hive.metastore.uris</name>  
          <value>thrift://127.0.0.1:9083</value>  
    </property>  
</configuration>

2、需要先启动metastore和hiveserver服务的

  bin/hive --service metastore &

  bin/hive --service hiveserver &

3、启动hive

hive

时间: 2024-11-17 20:07:15

关于centos环境下Flume+hadoop+hive常用命令的相关文章

android开发——Eclipse环境下代码编辑最常用快捷键集锦(来了就不能空手而归)

Ctrl+D:删除光标所在行 Ctrl+/ :注释选中行 :Ctrl+\:注销选中行 Ctrl+Shift+/:注释选中的java或xml代码块: Ctrl+Shift+\:注销选中的Java或xml代码块.(形式:/*      */ 或 <!--      -->) shift + alt + j或/**+Enter(回车键):添加javadoc头注释,形如/** * * * * * */(个人更习惯用/**+Enter(回车键)) Ctrl+K:向前查找与当前选定内容相同的代码(如查找与

Centos环境下手动设置-网络参数配置-网络挨排错顺序-

Linux中网络参数大致包含以下内容: IP地址 子网掩码 网关 DNS服务器 主机名(默认 localhost) 历来Linux系统中修改这些参数的方式通常有:命令.文件两种.其中通过命令设置可以立即生效但重启后将失效,通过文件修改实现永久生效,但不会立即生效. 首先我们来看看命令的方式:ifconfig:查看与设置IP地址.子网掩码hostname:查看与设置主机名route:     查看与设置路由信息(默认网关等) 通过文件的方式修改:/etc/sysconfig/network-scr

CentOS环境下R语言的安装和配置

最近在看数据统计和分析,想到了R语言,于是就着手在自己的CentOS环境下进行安装和配置.步骤如下: 1.前往R官网下载安装包. 2.解压压缩包:tar xvzf R-3.2.2.tar.gz 3.进行编译:./configure --prefix=/usr/local/rscript(--prefix的内容自定,这是R的安装目录) 注意:此过程中可能会出现以下错误: --with-readline=yes (default) and headers/libs are not available

CentOS环境下,gdb调试中出现:Missing separate debuginfos, use: debuginfo-install.....的问题

在gdb调试时segmentation fault问题时,遇到下面的了问题: Program received signal SIGABRT, Aborted.0x00007ffff73eb925 in raise (sig=6) at ../nptl/sysdeps/unix/sysv/linux/raise.c:6464 return INLINE_SYSCALL (tgkill, 3, pid, selftid, sig);Missing separate debuginfos, use:

linux centos环境下,perl使用DBD::Oracle遇到报错Can&#39;t locate DBDOracle.pm in @INC 的解决办法

前言 接手前辈的项目,没有接触.安装.使用过perl和DBD::Oracle,也没有相关的文档记录,茫茫然不知所措~~.一开始发现这个问题,就想着迅速解决,就直接在google上搜报错信息,搜索的过程中发现 如果不搞清楚前因后果我连解决方案都'看不见''看不懂'. 所以还是要补充这方面的知识,再思考解决方案.以下内容就是我一边学习一边解决问题的过程,如果不足,请各位大佬指出. 报错 install_driver(Oracle) failed: Can't locate DBD/Oracle.pm

[转]hadoop hdfs常用命令

FROM : http://www.2cto.com/database/201303/198460.html hadoop hdfs常用命令 hadoop常用命令: hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录.子目录及文件信息 hadoop fs –put test.txt /user/sunlightcs 将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlig

linux下维护服务器之常用命令

linux下维护服务器之常用命令! 第1套如下: 正则表达式: 1.如何不要文件中的空白行和注释语句: [[email protected] ~]# grep -v '^$' 文件名 |grep -v '^#' 2.如何查阅系统上面正在运作当中的程序呢? 利用静态的 ps 或者是动态的top,还能以 pstree 来查阅程序树之间的关系! 一个是叧能查阅自己 bash 程序癿『 ps -l 』一个则是可以查阅 所有系统运作癿程序『 ps aux 』 [[email protected] ~]#

centos系统关于防火墙的操作常用命令

centos下关于防火墙的常用命令 查询防火墙状态:firewall-cmd --state 关闭防火墙:systemctl stop firewalld.service 开启防火墙: systemctl start firewalld.service 重启防火墙:firewall-cmd --reload 端口操作 开启端口:firewall-cmd --zone=public --add-port=80/tcp --permanent 命令含义: --zone #作用域 --add-port

hive常用命令

hive常用命令 show tables; 列出hive里面所有数据表名 desc userProfile; 显示数据表userProfile的基本表字段及字段type desc extended trackinfo; 显示数据表trackinfo的详细信息,包括字段说明,数据表等 /usr/local/cloud/hive/bin/hive 进入hive数据库 select attribute_name from pms_attribute where attribute_id=21000 a