大数据之kettle安装

 定制化 大数据平台一键安装OS 大数据平台一键安装OS系列 大数据平台一键安装OS[搭建脚本篇] 定制化OS镜像制作 1.操作环境 操作环境:VMware Workstarion 9 and vSphere client 系统:CentOS -6.8-x86_64 工具:gconf-editor anaconda repodata createrepo mkisofs rsync 2.主要思路 定制化是通过kickstart脚本来实现的,linux系统安装完毕后在root目录下会生成anaco

定制化大数据平台一键安装OS 大数据平台一键安装OS系列 大数据平台一键安装OS[定制化OS镜像制作] 搭建脚本篇 脚本命名随便,只要能看懂就行 镜像包说明 os1.1.iso 用于安装服务端和客户端操作系统 hdp.iso 用于安装hdp服务 1.架构图: 服务端 客户端 2.原理分析 安装系统-安装本地yum源-安装http源-安装并配置ntp服务-配置秘钥-安装jdk-安装mysql-编译安装ambari平台 3.服务端脚本分析 (1)create_local_yum.sh #安装本地yu

为实现全栈,从今天开始研究Hadoop,个人体会是成为某方面的专家需要从三个方面着手 系统化的知识(需要看书或者比较系统的培训) 碎片化的知识(需要根据关注点具体的深入的了解) 经验的积累(需要遇到问题) 好吧,我们从安装入手. 1.找三个CentOS的虚拟环境,我的是centos 7,大概的规划如下,一个master,两个slave 修改三台机器的/etc/hosts文件 192.168.0.104 master 192.168.0.105 slave1 192.168.0.106 slave

1.下载 http://apache.fayea.com/pig/pig-0.14.0/ 2. 解压安装

一.Ambari简介 The Apache Ambari project is aimed at making Hadoop management simpler by developing software for provisioning, managing, and monitoring Apache Hadoop clusters. Ambari provides an intuitive, easy-to-use Hadoop management web UI backed by i

1上传压缩包 2 解压 tar -zxvf apache-hive-1.2.1-bin.tar.gz -C apps 3 重命名 mv apache-hive-1.2.1-bin hive 4 设置环境变量 vi /etc/profile expert HIVE_HOME=/root/apps/hiveexport PATH=$PATH:$HIVE_HOME/bin 5 启动hive cd apps/hive bin/hive 出现上面的问题是因为版本不兼容 解决一下版本不兼容问题:替换 app

百度得到的解决方式都是说mysql通过jdbc链接的时候会进行测试’SET OPTION SQL_SELECT_LIMIT=DEFAULT’,但是5.6以后的版本弃用了set的方式. 我用的MySQL数据库是5.7.20版本因此对应5.1版本的jdbc, 错误提示:You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right sy

echo -e 'export JAVA_HOME=/usr/java/default' >> /etc/profilealternatives --install /usr/bin/java  java /usr/java/jdk1.7.0_67-cloudera/bin/java 200alternatives --set java /usr/java/jdk1.7.0_67-cloudera/bin/javaalternatives --install  /usr/bin/javac j

1.软件环境 RHEL6 角色 jdk hadoop-2.8.1.tar.gz     apache-maven-3.3.9   mysql-5.1 xx.xx.xx.xx ip地址 NN hadoop01 xx.xx.xx.xx ip地址 DN hadoop02 xx.xx.xx.xx ip地址 DN hadoop03 xx.xx.xx.xx ip地址 DN hadoop04 xx.xx.xx.xx ip地址 DN hadoop05 本次涉及伪分布式部署只是要主机hadoop01,软件安装参考