开源框架Mahout配置
机器学习这两年特别火，ATB使劲开百万到几百万年薪招美国牛校的机器学习方向博士，作为一个技术控，也得折腾下，就这样来初步折腾下Mahout这个机器学习的主流开源框架。
一、Mahout简介
Mahout的中文意思：驭象的人，再看看Mahout的logo，骑在象头上的那个Mahout。机器学习是人工智能的一个分支，它涉及通过一些技术来允许计算机根据之前的经验改善其输出。此领域与数据挖掘密切相关，并且经常需要使用各种技巧，包括统计学、概率论和模式识别等。虽然机器学习并不是一个新兴领域，但它的发展速度是毋庸置疑的。许多大型公司，包括 IBM、Google、Amazon、Yahoo! 和 Facebook，都在自己的应用程序中实现了机器学习算法。此外，还有许多公司在自己的应用程序中应用了机器学习，以便学习用户以及过去的经验，从而获得收益。
Mahout 是一个很强大的数据挖掘工具，是一个分布式机器学习算法的集合，包括被称为Taste的分布式协同过滤的实现、分类、聚类等。Mahout最大的优点就是基于hadoop实现，把很多以前运行于单机上的算法，转化为了MapReduce模式，这样大大提升了算法可处理的数据量和处理性能。
在Mahout实现的机器学习算法：
|
算法类 |
算法名 |
中文名 |
|
分类算法 |
Logistic Regression |
逻辑回归 |
|
Bayesian |
贝叶斯 |
|
|
SVM |
支持向量机 |
|
|
Perceptron |
感知器算法 |
|
|
Neural Network |
神经网络 |
|
|
Random Forests |
随机森林 |
|
|
Restricted Boltzmann Machines |
有限波尔兹曼机 |
|
|
聚类算法 |
Canopy Clustering |
Canopy聚类 |
|
K-means Clustering |
K均值算法 |
|
|
Fuzzy K-means |
模糊K均值 |
|
|
Expectation Maximization |
EM聚类（期望最大化聚类） |
|
|
Mean Shift Clustering |
均值漂移聚类 |
|
|
Hierarchical Clustering |
层次聚类 |
|
|
Dirichlet Process Clustering |
狄里克雷过程聚类 |
|
|
Latent Dirichlet Allocation |
LDA聚类 |
|
|
Spectral Clustering |
谱聚类 |
|
|
关联规则挖掘 |
Parallel FP Growth Algorithm |
并行FP Growth算法 |
|
回归 |
Locally Weighted Linear Regression |
局部加权线性回归 |
|
降维/维约简 |
Singular Value Decomposition |
奇异值分解 |
|
Principal Components Analysis |
主成分分析 |
|
|
Independent Component Analysis |
独立成分分析 |
|
|
Gaussian Discriminative Analysis |
高斯判别分析 |
|
|
进化算法 |
并行化了Watchmaker框架 |
|
|
推荐/协同过滤 |
Non-distributed recommenders |
Taste(UserCF, ItemCF, SlopeOne） |
|
Distributed Recommenders |
ItemCF |
|
|
向量相似度计算 |
RowSimilarityJob |
计算列间相似度 |
|
VectorDistanceJob |
计算向量间距离 |
|
|
非Map-Reduce算法 |
Hidden Markov Models |
隐马尔科夫模型 |
|
集合方法扩展 |
Collections |
扩展了java的Collections类 |
二、Mahout安装配置（网上很多相关文档是错误的，我这个方法能成功运行）
1、下载Mahout
进入 http://archive.apache.org/dist/mahout/ 下载最新版本包
wget http://archive.apache.org/dist/mahout/0.12.2/apache-mahout-distribution-0.12.2.tar.gz
2、解压
tar zxvf apache-mahout-distribution-0.12.2.tar.gz
3、配置环境变量（必备前提是hadoop已完全配置好并能正常使用，hadoop的部署文档很多了，我就不说了。）
配置Mahout环境变量
export MAHOUT_HOME=/root/apache-mahout-distribution-0.12.2
export MAHOUT_CONF_DIR=$MAHOUT_HOME/conf
export PATH=$MAHOUT_HOME/conf:$MAHOUT_HOME/bin:$PATH
4、验证Mahout是否安装成功
运行命令mahout，若列出一些算法就配置成功，如图：
三、Mahout 之入门使用
1、启动Hadoop集群
2、下载测试数据，把这个文件放在$MAHOUT_HOME/testdata目录下：
/root/apache-mahout-distribution-0.12.2
mkdir testdata
cd testdata
wget http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_control.data
3、使用Mahout中的kmeans聚类算法，执行命令：
mahout org.apache.mahout.clustering.syntheticcontrol.kmeans.Job
大概28秒完成聚类，结果如下图： （根据集群机器的硬件配置，有人说要10分钟）
注意：当你运行上面命令看到如下的代码时以为是错的，其实不是，原因：MAHOUT_LOCAL：设置是否本地运行，如果设置该参数就不会在hadoop运行了，一旦设置这个参数那HADOOP_CONF_DIR
和HADOOP_HOME两个参数就自动失效了。
MAHOUT_LOCAL is not set, so we don’t add HADOOP_CONF_DIR to classpath.
no HADOOP_HOME set , running locally
4、查看聚类分析结果，结果会在根目录建立output新文件夹，如下图表示mahout配置正确且运行正常：
好了，先到这，下次再深入研究。