R+hadoop

这里面的配置 http://www.rdatamining.com/big-data/r-hadoop-setup-guide

[email protected]:~/hadoop_home/hadoop-1.2.1/bin# start-all.sh
-bash: start-all.sh: command not found
[email protected]:~/hadoop_home/hadoop-1.2.1/bin# ./start-all.sh  （为什么这个可以运行？不太懂unix命令）
starting namenode, logging to /root/hadoop_home/hadoop-1.2.1/libexec/../logs/hadoop-root-namenode-kali.out
localhost: starting datanode, logging to /root/hadoop_home/hadoop-1.2.1/libexec/../logs/hadoop-root-datanode-kali.out
localhost: starting secondarynamenode, logging to /root/hadoop_home/hadoop-1.2.1/libexec/../logs/hadoop-root-secondarynamenode-kali.out
starting jobtracker, logging to /root/hadoop_home/hadoop-1.2.1/libexec/../logs/hadoop-root-jobtracker-kali.out
localhost: starting tasktracker, logging to /root/hadoop_home/hadoop-1.2.1/libexec/../logs/hadoop-root-tasktracker-kali.out

继续运行：

[email protected]:~/hadoop_home/hadoop-1.2.1/bin# jps
4843 Jps
4403 DataNode
4585 JobTracker
4314 NameNode
4513 SecondaryNameNode
4701 TaskTracker

将hadoop-examples-1.2.1.jar拷贝一份，放到bin目录下。然后执行：

[email protected]:~/hadoop_home/hadoop-1.2.1/bin# ./hadoop jar hadoop-examples-*.jar pi 10 100

感觉执行有异常问题，再想想。。。

时间： 2024-08-29 11:57:18

R+hadoop的相关文章

Hadoop快速入门

传说中的Hadoop,我终于来对着你唱"征服"了,好可爱的小象,!J 总的来说,hadoop的思路比较简单(map-reduce),就是将任务分开进行,最后汇总.但这个思路实现起来,比较复杂,但相对于几年前Intel等硬件公司提出的网格运算等方式,显得更加开放. 你难任你难,哥就是头铁! Tip:实践应用是核心,本文概念为主,有些部分可能会有些晦涩,直接跳过就好(不是特别重要). 本文代码实践在:https://github.com/wanliwang/cayman/tree/mast

Linux ->> UBuntu 14.04 LTE下安装Hadoop 1.2.1（集群分布式模式）

安装步骤: 1) JDK -- Hadoop是用Java写的,不安装Java虚拟机怎么运行Hadoop的程序: 2)创建专门用于运行和执行hadoop任务(比如map和reduce任务)的linux用户,就像windows下的服务账户,并且授权给他可以访问运行JDK目录权限,让他可以执行java虚拟机.这个账户最后用来运行bin\.start_all.sh启动hadoop的所有服务,那运行账户肯定是他了,他肯定要有足够的权限.再者,需要配置这个账户的个人环境变量,把Java虚拟机的主目录地址环境

hadoop ubuntu

转载自:http://blog.csdn.net/hitwengqi/article/details/8008203 向原作者致敬! 单机模式(standalone)       单机模式是Hadoop的默认模式.当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置.在这种默认模式下所有3个XML文件均为空.当配置文件为空时,Hadoop会完全运行在本地.因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程.该模式主要用于开

hadoop安装教程

hadoop的核心 Hadoop的核心就是HDFS和MapReduce,而两者只是理论基础,不是具体可使用的高级应用,Hadoop旗下有很多经典子项目,比如HBase.Hive等,这些都是基于HDFS和MapReduce发展出来的.要想了解Hadoop,就必须知道HDFS和MapReduce是什么. HDFS HDFS(Hadoop Distributed File System,Hadoop分布式文件系统),它是一个高度容错性的系统,适合部署在廉价的机器上.HDFS能提供高吞吐量的数据访问,适

hadoop伪分布式平台搭建

1. 安装jdk1.7 JAVA_HOME=/home/hadoop/app/jdk1.7.0 vi /etc/profile.d CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar PATH=$JAVA_HOME/bin:$PATH export JAVA_HOME CLASSPATH PATH source /etc/profile.d 2.ssh免密码登陆 service iptables status chkconfig

hadoop 配置示例

安装配置hadoop: 1 安装前的准备工作 本示例所演示的过程基于RHEL 5.8(32bit)平台,用到的应用程序如下所示. JDK: jdk-7u5-linux-i586.rpm Hadoop:hadoop-0.20.2-cdh3u5.tar.gz 安全起见,运行Hadoop需要以普通用户的身份进行,因此,接下来先建立运行hadoop进程的用户hadoop并给其设定密码. # useradd hadoop # echo "password" | passwd --stdin ha

hadoop 分布式示例

安装完全分布式Hadoop 1 安装准备工作 本安装示例将使用三台主机(RHEL 5.8 32bit)来实现,其规划如下所示: IP地址 主机名 运行的进程或扮演的角色 172.16.100.11 master.magedu.com NameNode,JobTracker 172.16.100.12 datanode.magedu.com DataNode,TaskTracker 172.16.100.13 snn.magedu.com SecondaryNameNode 用到的应用程序: JD

Hadoop学习笔记：使用Mrjob框架编写MapReduce

1.mrjob介绍 一个通过mapreduce编程接口(streamming)扩展出来的Python编程框架. 2.安装方法 pip install mrjob,略.初学,叙述的可能不是很细致,可以加我扣扣:2690382987,一起学习和交流~ 3.代码运行方式 下面简介mrjob提供的3种代码运行方式: 1)本地测试,就是直接在本地运行代码: 2)在本地模拟hadoop运行: 3)在hadoop集群上运行. 本地测试: 在脚本.数据所在的路径下(如果不在此路径下,就要把路径写完整): pyt

hadoop&spark安装（上）

硬件环境: hddcluster1 10.0.0.197 redhat7 hddcluster2 10.0.0.228 centos7  这台作为master hddcluster3 10.0.0.202 redhat7 hddcluster4 10.0.0.181 centos7 软件环境: 关闭所有防火墙firewall openssh-clients openssh-server java-1.8.0-openjdk java-1.8.0-openjdk-devel hadoop-2.7.