要真正的学习hadoop，就必须要使用集群，但是对于普通开发者来说，没有大规模的集群用来测试，所以只能使用伪分布式了。下面介绍如何搭建一个伪分布式集群。
为了节省时间和篇幅，前面一些步骤不再叙述。本文是在基于单机模式的前提下进行得搭建。若不会搭建单机模式，请看我的前一篇文章。Ubuntu下用hadoop2.4搭建集群（单机模式）
第一步 配置hdfs-site.xml
/usr/local/hadoop/etc/hadoop/hdfs-site.xml用来配置集群中每台主机都可用，指定主机上作为namenode和datanode的目录。
通过命令打开文件
sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml
修改文件内容
在该文件的<configuration></configuration>之间增加如下内容
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/hdfs/data</value>
</property>
保存、关闭编辑窗口
然后在hadoop 目录下新建文件夹。这些都可以自己定义的，只不过需要注意一点的是。在hdfs-site.xml里面所写的路径名需要和你建的文件名一样。不要搞错这一点就没问题。
通过命令新建文件夹。
一个命令就可搞定，当然分开写也是可以的。（记得是在hadoop文件夹下面）
第二步 配置core-site.xml
这个文件包含了hadoop启动时候的配置信息 文件在这个目录下usr/local/hadoop/etc/hadoop/core-site.xml
首先通过命令打开配置文件
sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml
在该文件的<configuration></configuration>之间增加如下内容。这里我要特别的说明一下，可以使用以下三个都实验一下，笔者优先推荐第一个，这一个一般不会有问题。有的时候可能和hadoop的版本以及系统本身一些问题，如果配置结束后不能启动，大家可以试试下面两个。
第一种：
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
第二种：
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
defaultFS是新版本得一种写法，如果使用前面的default.name一般没有问题，有时候会提示你过期，让你使用defaultFS。可以都试一下。
第三种：
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
这种配置的目的是有个说法是如没有配置 hadoop.tmp.dir 参数，此时 Hadoop 默认的使用的临时目录为 /tmp/hadoo-hadoop，而这个目录在每次重启后都会被干掉，必须重新执行 format 才行（未验证），所以伪分布式配置中最好还是设置一下。我也没有验证过。读者可以尝试一下。
第三步 配置yarn-site.xml
/usr/local/hadoop/etc/hadoop/yarn-site.xml包含了MapReduce启动时的配置信息。之前的hadoop版本是没有这个的，启动都时候只用bin/start-all.sh就可以，现在使用了yarn框架后需要对它进行配置。我但是配置2.4都时候，使用了以前配置1.1时候的方法，结果搞了半天，白白浪费了时间。
编辑器中打开此文件
sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml
在该文件的<configuration></configuration>之间增加如下内容：
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
保存、关闭编辑窗口
第四步 配置mapred-site.xml
默认情况下，/usr/local/hadoop/etc/hadoop/文件夹下有mapred.xml.template文件，我们要复制该文件，并命名为mapred.xml，该文件用于指定MapReduce使用的框架。之前的有些版本直接使用里面就有mapred.xml文件，2.4版本，只是提供了一个模板，所以我们需要自己复制一个mapred.xml文件。
复制并重命名（注意路径）
cp mapred-site.xml.template mapred-site.xml
编辑器打开此新建文件
sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml
在该文件的<configuration></configuration>之间增加如下内容：
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
保存、关闭编辑窗口
第五步 格式化分布式文件系统并启动hadoop
使用如下命令（路径要在hadoop目录下，新手可能容易忽视这些问题。包括前面的都需要注意路径问题！）
hdfs namenode -format
只需要执行一次即可，如果在hadoop已经使用后再次执行，会清除掉hdfs上的所有数据。
经过上文所描述配置和操作后，下面就可以启动这个单节点的集群
执行启动命令：
sbin/start-dfs.sh
首次执行得话，如果有yes /no提示，输入yes，回车即可。 结果如下
接下来，执行：
sbin/start-yarn.sh
结果如下
执行完这两个命令后，Hadoop会启动并运行
执行 jps命令，会看到Hadoop相关的进程，如下图。如果不完整的话，就是配置没有正确了。
同时我们也可以在浏览器上查看。
浏览器打开 http://localhost:50070/会看到hdfs管理页面
浏览器打开http://localhost:8088，会看到hadoop进程管理页面。
第六步 通过wordcount程序来检查运行结果。
在介绍步骤之前，有必要了解，bin/hadoop是一个命令，现在也可以用bin/dfs 。
首先创建一个文件夹，这不是普通的文件夹，创建完成后你是不能在目录下面看到的，需要用hadoop文件系统指令才可以看到。当然，使用Eclipse开发的话就可以看到文件系统里面的文件。下一篇博客我将会讲解如何使用Eclispe搭建hadoop环境。
bin/hadoop fs -mkdir -p input
把hadoop目录下的README.txt拷贝到dfs新建的input里，也可以拷贝其他的文件。对vim比较熟悉的也可自己写入。
hadoop fs -copyFromLocal README.txt input
-copyFromLocal是hadoop文件系统的一个操作指令。
运行WordCount
hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output
可以看到运行过程。
可以看到运行结果。
运行完毕后，查看单词统计结果
hadoop fs -cat output/*
结果是：
第二次运行之前，请先删除output文件，否则会报错。
使用命令：
hadoop fs -rm -R ./output
细心的读者应该发现了我得截图中，一直存在这样一个异常。
提示WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
这是因为hadoop native library是32位系统编译的，在64位系统上会有这个提示，需要下载hadoop的源码重新编译，可参考http://stackoverflow.com/questions/19943766/hadoop-unable-to-load-native-hadoop-library-for-your-platform-error-on-centos
我编译了问题还是没有解决，可能和我系统本身有一些关系。
具体可以参考这个博客，在文章的末尾作者讲得很清楚
http://dblab.xmu.edu.cn/blog/powerxing/install-hadoop-2-4-1-single-node/