centos hadoop搭建准备

永久修改主机名:hostnamectl set-hostname <hostname>

IP地址:

BOOTPROTO=static

IPADDR=192.168.31.128
NETMASK=255.255.255.0
GATEWAY=192.168.31.2
DNS1=192.168.31.2

java环境:
export JAVA_HOME=/usr/java
export JRE_HOME=/usr/java/jre
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

open-jdk卸载:
先查看 rpm -qa | grep java
显示如下信息:
java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5

卸载:
rpm -e --nodeps java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5

ssh无密码登录:
ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]

远程复制:
scp -r /usr/a [email protected]:/usr/
scp /usr/a/index.html [email protected]:/usr/a/

时间: 2024-09-29 03:55:20

centos hadoop搭建准备的相关文章

centos x64搭建 hadoop2.4.1 HA

Hadoop  HA的实现方式 上图大致架构包括: 1.  利用共享存储来在两个NN间同步edits信息.以前的HDFS是share nothing but NN,现在NN又share storage,这样其实是转移了单点故障的位置,但中高端的存储设备内部都有各种RAID以及冗余硬件包括电源以及网卡等,比服务器的可靠性还是略有提高.通过NN内部每次元数据变动后的flush操作,加上NFS的close-to-open,数据的一致性得到了保证. 2.DataNode同时向两个NN汇报块信息.这是让S

在CentOS中搭建自己的VPN

很多人都有买国外的VPN看视频的经历,今天我们就讲一讲如何搭建一个自己的VPN.下面是我在CentOS中搭建自己的VPN的过程,简单说来,主要分为两步: 1:购买国外的VPS 2:在购买的VPS上搭建VPN 一.购买国外VPS 1.购买国外的VPS主机[我买的时候用的是朋友推荐的链接,省了点钱,只要是8块多],这里推荐一个我的链接,https://my.frantech.ca/aff.php?aff=2099 2.打开链接以后,这里我们需要先注册一个账户. 3.选择主页[Services]下的[

CentOS下搭建SVN Server

1. 介绍 这里想在CentOS上搭建的是基于http访问的SVN Server 2. 软件准备 安装相关软件 yum install httpd httpd-devel mod_dav_svn subversion mod_ssl .csharpcode, .csharpcode pre { font-size: small; color: black; font-family: consolas, "Courier New", courier, monospace; backgro

centos下搭建dhcp服务器

centos下搭建dhcp服务器 一.软件环境 CentOS release 6.5 dhcp-4.1.1-51.P1.el6.centos.x86_64 dhcp-common-4.1.1-51.P1.el6.centos.x86_64 二.网络拓扑 dhcp服务器--H3c交换机(7503)-- H3c交换机(5500)-- H3c交换机(3100)--dhcp客户端(办公电脑) 网段: 10.2.240.0/24 10.2.180.0/24 dhcp服务器ip:10.2.33.253 三.

Centos 7搭建VPN(PPTP)服务器方法

在中国大陆封闭的互联网环境下,VPN这东西是必不可少的 免费VPN很多,可是,既不稳定又不安全,速度还慢,如果你有一台海外的VPS或服务器 自己搭建一个VPN是最好的选择 下面介绍Centos 7搭建VPN(PPTP)服务器方法 注意:本教程只适用于Centos 7 检查是否支持 若你使用XEN架构的VPS,下面的步骤不用执行 检测PPP是否开启: 1 cat /dev/ppp 开启成功的标志:cat: /dev/ppp: No such file or directory 或者 cat: /d

CentOS下搭建LAMP环境详解

前言:在这里将介绍如何在CentOS下搭建LAMP环境(全部使用源码编译安装),用于web服务器开发. •LAMP: Linux + Apache + PHP + Mysql. •系统: CentOS 6.5,32位. CentOS安装 我选取了32位的CentOS 6.5这个Linux系统,安装过程也很简单,不再过多叙述,只稍微介绍一下我的分区情况: 分区名  大小 /boot  200MB /swap  2GB(不大于物理分区即可) /  20GB /home 剩余空间 Apache编译安装

linux Centos下搭建性能监控Spotlight on Unix

公司要做压力测试,有Linux服务器一台,系统Centos6.5,为了直观的展示系统性能,更好的去分析服务器,故要搭建一个监控.闲言休讲,直奔主题. 首先,Linux服务器一台:系统Centos6.5 其次,在我的笔记本上安装监控软件客户端 软件下载地址链接: 链接:http://pan.baidu.com/s/14Vwlw     密码:tmw4 配置spotlight登陆用户,注意spotlight默认不能使用root用户进行连接,需要用户自己创建一个具有root权限的用户.具体方法新建账号

hadoop搭建与eclipse开发环境设置

hadoop搭建与eclipse开发环境设置(转) 1.    Windows下eclipse开发环境配置 1.1 安装开发hadoop插件 将hadoop安装包hadoop\contrib\eclipse-plugin\hadoop-0.20.2-eclipse-plugin.jar拷贝到eclipse的插件目录plugins下. 需要注意的是插件版本(及后面开发导入的所有jar包)与运行的hadoop一致,否则可能会出现EOFException异常. 重启eclipse,打开windows-

大数据学习实践总结(2)--环境搭建,JAVA引导,HADOOP搭建

PS:后续的文章会把我实践的内容分解成为一个个的小模块,方便大家的学习,交流.文未我也会附上相关的代码.一起加油!    学有三年的大数据原理,一直没有实践过.最近准备离职,正好把自己所学的大数据内容全部实践一下,也不至于只会纯理论.面对实践,首先要有空杯心态,倒空自己之后,才能学到更多,加油!也希望大家多关注,以后会更多注重实践跟原理的结合. 环境搭建 对于大数据,重点在于Hadoop的底层架构.虽说现在spark架构用的还是比较多.但hadoop还是基础.还有就是为什么要以Linux为基础,