day03 hadoop的解压与配置文件的配置,还需要看视频

拷贝hadoop1.2.1.tar.gz安装包到其他的节点上

scp -r ~/hadoop-1.2.1.tar.gz  [email protected]:~/

tar -zxvf hadoop-1.2.1.tar.gz  解压tar包

ln -sf /root/hadoop-1.2.1 /home/hadoop-1.2  创建快捷方式

scp ./* [email protected]:/home/hadoop-1.2/conf/   拷贝当前目录下的所有文件到指定的主机的指定目录下

[[email protected] hadoop-1.2]# cd /home/hadoop-1.2/conf/

>>>>>>>>>>>>>>>>>>>[[email protected] conf]# vi core-site.xml 

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://node1:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/hadoop-1.2</value>   //自己在root根目录下的opt目录下简历/hadoop1.2目录

</property>

</configuration>

~

>>>>>>>>>>>>>>>>>>>>>>[[email protected] conf]# vi hdfs-site.xml 

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

</configuration>

cd /home/hadoop-1.2/bin/

>>>>>>>>>>>>>>>>>>>>>[email protected] bin]# ./hadoop namenode -format  

>>>>>>>>>>>>>>>>>>> ./start-dfs.sh 

>>>>>>>>>>>>>>>>>>>>>>j 

在CentOS-6.3中安装与配置JDK-7，有需要的朋友可以参考下

安装说明

系统环境：centos-6.3
安装方式：rpm安装
软件：jdk-7-linux-x64.rpm
下载地址：http://www.oracle.com/technetwork/java/javase/downloads/java-se-jdk-7-download-432154.html

检验系统原版本
[[email protected] ~]# java -version
java version
"1.6.0_24"
OpenJDK Runtime Environment (IcedTea6 1.11.1)
(rhel-1.45.1.11.1.el6-x86_64)
OpenJDK 64-Bit Server VM (build 20.0-b12, mixed
mode)

进一步查看JDK信息：
[[email protected] ~]# rpm -qa | grep
java
tzdata-java-2012c-1.el6.noarch
java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.x86_64

卸载OpenJDK，执行以下操作：
[[email protected] ~]# rpm -e --nodeps
tzdata-java-2012c-1.el6.noarch
[[email protected] ~]# rpm -e --nodeps
java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.x86_64

安装JDK

上传新的jdk-7-linux-x64.rpm软件到/usr/local/执行以下操作：
[[email protected] local]# rpm -ivh
jdk-7-linux-x64.rpm

JDK默认安装在/usr/java中。

验证安装

执行以下操作，查看信息是否正常：
[[email protected] bin]# java
[[email protected] bin]#
javac
[[email protected] bin]# java -version
java version "1.7.0"
Java(TM) SE
Runtime Environment (build 1.7.0-b147)
Java HotSpot(TM) 64-Bit Server VM
(build 21.0-b17, mixed mode)

配置环境变量

我的机器安装完jdk-7-linux-x64.rpm后不用配置环境变量也可以正常执行javac、java
–version操作，因此我没有进行JDK环境变量的配置。但是为了以后的不适之需，这里还是记录一下怎么进行配置，操作如下：
修改系统环境变量文件
vi
+ /etc/profile

向文件里面追加以下内容：
JAVA_HOME=/usr/java/jdk1.7.0
JRE_HOME=/usr/java/jdk1.7.0/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export
JAVA_HOME JRE_HOME PATH CLASSPATH

使修改生效
[[email protected] local]# source /etc/profile  
//使修改立即生效
[[email protected] local]#        echo $PATH   //查看PATH值

查看系统环境状态
[[email protected] ~]# echo
$PATH
/usr/local/cmake/bin:/usr/lib64/qt-3.3/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/usr/java/jdk1.7.0/bin:/usr/java/jdk1.7.0/jre/bin:/root/bin

来源： <在CentOS 6.3中安装与配置JDK-7_RedHat/Centos_操作系统_脚本之家>

免秘钥登陆:

CentOS配置SSH无密码登录需要3步：

  1. 生成公钥和私钥
  2. 导入公钥到认证文件,更改权限
  3. 测试

1.生成公钥和私钥

ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa

默认在 ~/.ssh目录生成两个文件：
    id_rsa      ：私钥
    id_rsa.pub  ：公钥

2.导入公钥到认证文件
    2.1 导入本机

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

2.2 导入要免密码登录的服务器

首先将认证文件复制到服务器

scp ~/.ssh/authorized_keys [email protected]主机名:/home/xxx/.ssh/

一般以上几步就ok了，但我的仍要输入密码，

用root用户登陆查看系统的日志文件：$tail /var/log/secure -n 20

…………

Oct  7 10:26:43 MasterServer sshd[2734]: Authentication refused: bad ownership or modes for file /home/Hadooper/.ssh/authorized_keys
Oct  7 10:26:48 MasterServer sshd[2734]: Accepted password for hadooper from ::1 port 37456 ssh2
Oct  7 10:26:48 MasterServer sshd[2734]: pam_unix(sshd:session): session opened for user hadooper by (uid=0)
Oct  7 10:36:30 MasterServer sshd[2809]: Accepted password for hadooper from 192.168.1.241 port 36257 ssh2
Oct  7 10:36:30 MasterServer sshd[2809]: pam_unix(sshd:session): session opened for user hadooper by (uid=0)
Oct  7 10:38:28 MasterServer sshd[2857]: Authentication refused: bad ownership or modes for directory /home/hadooper/.ssh

…………

提示/home/hadooper/.ssh和 /home/hadooper/.ssh/authorized_keys权限不对，修改如下：

chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys

3.测试
    ssh host，第一次登录可能需要yes确认，之后就可以直接登录了。

来源： <http://www.linuxidc.com/Linux/2014-10/107762.htm>

rpm -ivh jdk-7u60-linux-x64.rpm

JAVA_HOME=/usr/java/jdk1.7.0_60

JRE_HOME=/usr/java/jdk1.7.0_60/jre

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

export JAVA_HOME JRE_HOME PATH CLASSPATH

来自为知笔记(Wiz)

时间： 2024-10-10 15:01:55

day03 hadoop的解压与配置文件的配置,还需要看视频的相关文章

Tomcat 7.0 64位免安装解压版 安装及配置

Tomcat 7.0 win7 64位免安装解压版 安装及配置 Tomcat 推荐官方下载,地址如下 http://tomcat.apache.org/download-70.cgi 或者可在我的CSDN论坛下载,地址为: http://download.csdn.net/detail/shangguanyunlan/9273785 我下载的是apache-tomcat-7.0.65 最新的已经到8了,自己选择合适的版本即可. 下载解压到任意盘符,自己决定,我是下载到D盘的. 环境变量配置:Ja

装机配置相关---mysql解压版安装与配置

一,下载MySQL 5.6.13 MySQL Community Server 5.6.13下载地址: http://dev.mysql.com/downloads/mysql/, 可以选择操作系统平台. 下面有三个可选的下载文件,第一个是MySQL Installer 5.6 for Windows,这将下载下来一个.msi可执行安装文件. 另外有两个解压版(Zip版)分别是Windows (x86, 64-bit), ZIP Archive 和 Windows (x86, 32-bit),

windows下mysql5.7解压版的安装配置注意事项

新版有些不太一样的地方,记录如下: 1.默认有一个my-default.ini的配置文件,另存为一份my.ini,并设置basedir为你的解压目录: 2.cmd下mysqld --initialize,生成data目录,其下有一个err的文件,里面是root的初始化密码,复制出来,登录会用到 3.cmd下mysqld --console,观察最后有没有启动成功 4.用root用户登录,密码为第2步生成的随机密码 5.修改root密码:ALTER USER 'root'@'localhost'

IT忍者神龟之Windows下MySQL解压版安装与配置

1. 到官网下载MySQL解压版,然后将mysql解压到任意路径,本例放在:D:\Program Files\mysql-advanced-5.6.14-win32 2. 设置环境变量,在系统变量Path中添加:;D:\Program Files\mysql-advanced-5.6.14-win32\bin 3. 在根目录下面有以"my-"开头的ini文件,随意复制一个放在根目录,如:my-default.ini,将文件名修改为my.ini,添加以下内容: [mysqld] #设置字

apache 2.4 解压版 与 PHP解压版 的安装配置

apache 解压到指定目录后,修改httpd.conf  文件如下图: 使用cmd, 以管理员身份运行,执行以下命令安装apache服务: 安装成功后,启动apache服务,测试 是否成功,在浏览器地址栏输入 http://localhost 打开界面如下图: 下面安装PHP5.6 下载适合电脑的版本,解压到指定目录后 整合apache 与 php 操作如下: 在apache的httpd.conf 文件添加内容如下图: 然后修改php根目录里面的文件如下图: 找到下图右边的文件重命名为左边的图

upx防解压

直接搜索文件中的 UPX! 字样 ,然后填充00 搞定 不过对于这种文件还是可以修改 upx 的源代码强制解压,目前Linux上还没看到内存中 dump  elf 文件的例子 写了个小脚本 <?php if($argc < 2) {     print 'usage: xxoo.php <elf file>';     exit(-1); } $file = file_get_contents($argv[1]); if(strlen($file)) {     $file = s

高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南

(WJW)高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南 为了部署HA集群,应该准备以下事情: namenode服务器: 运行namenode的服务器应该有相同的硬件配置. journalnode服务器:运行的journalnode进程非常轻量,可以部署在其他的服务器上.注意:必须允许至少3个节点.当然可以运行更多,但是必须是奇数个,如3,5,7,9个等等.当运行N个节点时,系统可以容忍至少(N-1)/2个节点失败而不影响正常运行. 在HA集群中,standby状态的

hadoop streaming -archives 解压jar、zip、tar.gz的验证

1.archives作用描述: Hadoop中DistributedCache方法之一(其他参考文章后面的参考文章) ,作用是 将指定文件分发到各个Task的工作目录下,并对名称后缀为".jar".".zip",".tar.gz".".tgz"的文件自动解压,默认情况下,解压后的内容存放到工作目录下名称为解压前文件名的目录中,比如压缩包为dict.zip,则解压后内容存放到目录dict.zip中.为此,你可以给文件起个别名/软

hadoop压缩与解压

1 压缩 一般来说,计算机处理的数据都存在一些冗余度,同时数据中间,尤其是相邻数据间存在着相关性,所以可以通过一些有别于原始编码的特殊编码方式来保存数据, 使数据占用的存储空间比较小,这个过程一般叫压缩.和压缩对应的概念是解压缩,就是将被压缩的数据从特殊编码方式还原为原始数据的过程. 压缩广泛应用于海量数据处理中,对数据文件进行压缩,可以有效减少存储文件所需的空间,并加快数据在网络上或者到磁盘上的传输速度.在Hadoop中,压缩应用于文件存储.Map阶段到Reduce阶段的数据交换(需要打开相关