hadoop搭建在Ubuntu16.04上

一、环境

Ubuntu16.04、Hadoop2.7.3、java8

系统安装完成后建议先更新一下 apt源

1、复制原文件备份

sudo cp /etc/apt/source.list /etc/apt/source.list.bak

2、编辑源列表文件

sudo vim /etc/apt/source.list

3、将原来的列表删除,添加如下内容(更换阿里的镜像,也可以更换其他的)

deb http://mirrors.aliyun.com/ubuntu/ vivid main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ vivid-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ vivid-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ vivid-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ vivid-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ vivid main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ vivid-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ vivid-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ vivid-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ vivid-backports main restricted universe multiverse

4、运行sudo apt-get update

5、运行sudo apt-get upgrade

二、安装SSH、配置SSH无密码登陆

  1. sudo apt-get install openssh-server
  2. ssh localhost
  3. 输入yes,输入当前帐号的密码
  4. exit # 退出刚才的 ssh localhost
    cd ~/.ssh/ # 若没有该目录,请先执行一次ssh localhost
    ssh-keygen -t rsa # 会有提示,都按回车就可以
    cat ./id_rsa.pub >> ./authorized_keys # 加入授权

这样就可以无密码登录了。

三、安装Java环境

随意搜索一下就好,注意安装java8

四、安装hadoop

Hadoop 2 可以通过 http://mirror.bit.edu.cn/apache/hadoop/common/ 或者 http://mirrors.cnnic.cn/apache/hadoop/common/ 下载,一般选择下载最新的稳定版本,即下载 “stable” 下的 hadoop-2.X这个格式的文件,这是编译好的,另一个包含 src 的则是 Hadoop 源代码,需要进行编译才可使用。

选择将 Hadoop 安装至 /usr/local/ 中:

sudo tar -zxf ~/downloads/hadoop-2.7.3.tar.gz -C /usr/local # 解压到/usr/local中
cd /usr/local/
sudo chown -R hadoop ./hadoop-2.7.3 # 修改文件权限

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用,成功则会显示 Hadoop 版本信息:

cd /usr/local/hadoop
./bin/hadoop version

时间: 2024-10-11 15:35:42

hadoop搭建在Ubuntu16.04上的相关文章

在ubuntu16.04上安装eclipse

 在ubuntu16.04上安装eclipse 一.下载     首先我们需要安装jdk1.8及其以上,然后从官网:https://www.eclipse.org/downloads/上下载,需要注意的是官网的服务器太差,响应的速度非常慢,需要读者有点耐心,哈哈~~~然后选择第一个,就是我们要安装的eclipse的JDE了.    点击下载按钮,将会下载相应的位数和版本的eclipse:     到了这一步,我们要点击"click here"来下载,下载的时候也不提示,我们需要看一下浏

在ubuntu16.04上安装有道词典

参考来源:http://www.cnblogs.com/scplee/archive/2016/05/13/5489024.html 在ubuntu16.04上安装有道词典主要是解决依赖问题,我们在配置文件中把依赖文件删除,就行了 第一步:下载有道词典的.deb包 第二步:创建youdao文件,然后把有道的源文件解压到这个包里 sudo dpkg -X sudo dpkg -X ./youdao-dict_1.1.0-0-ubuntu_amd64.deb youdao 第二步:解压deb包中的c

Docker在Ubuntu16.04上安装和部署Apache Storm

Docker在Ubuntu16.04上安装和部署Apache Storm 1.添加Docker源 sudo apt-get update 2.增加CA证书 sudo apt-get install apt-transport-https ca-certificates 3.添加GPG Key(一种加密手段) sudo apt-key adv --keyserver hkp://p80.pool.sks-keyservers.net:80 --recv-keys 58118E89F3A912897

Ubuntu16.04上使用git

各系统git的使用除了安装方式不同,基本都一样,本文记录的是Ubuntu16.04上使用git 首先要区分git和github的区别: Git是分布式版本控制系统,也指基于命令行的版本管理工具github是个网站,用于远程托管你的项目,相当于云盘 在使用git前先去github注册一个自己的账户,邮箱,用户名,密码在以后都会使用到,不要乱填,也不要忘记. 面对纯英文的网站,可能你会感觉很懵,暂且不用管,我们常用的功能并不多,等你熟悉以后就会觉得so easy 注册完之后根据这个教程学习:http

Ubuntu16.04上使用Nginx部署Laravel应用程序

Laravel 是一个非常流行的PHP框架,以编码风格优雅著称,每行代码都非常简洁,富有表达力,并且拥有强大的组件开发生态,号称为web艺术家创造的PHP框架.我最近的个人项目尝试了下Laravel框架,部署的的时候遇到了一些坑,这里记录下. 我用的服务器是DigitalOcean的Ubuntu 16.04 LTS,其他公司的服务器应该也大同小异,有一些公司甚至简化了安装流程,几乎不用改动配置文件就可以让自己的程序跑起来(比如阿里云 安装依赖 更新apt-get 1 sudo apt-get u

vs2017的 .net core 在Ubuntu16.04上的风雨历程

2017年3月7日,vs2017正式发布,里面的.net core为v1.1.1版本.跨平台,为了实现这个伟大的目标,在漫长的过程中,狼狈的被坑了又坑...终于,哈哈,成功了. 共享一下,那些坑吧. 1. vmware 12.5 开始,用的vmware11,安装的是Ubuntu14.04. 第一个坑:Ubuntu我装的是32位的....同志们啊,.net core只能装在64位上的. 开始不知道,就用http://www.microsoft.com/net/core#linuxubuntu上的教

在Ubuntu16.04上部署LXC容器管理系统的相关步骤

打算安装一个LXC linux容器管理的软件来分配使用资源并配置不同的编程环境,这样就方便大家的使用,步骤如下(宿主机的环境都搭建好了,对应显卡的驱动等): 参考网站: 简单入门和相关指令总结:https://www.ibm.com/developerworks/cn/linux/1312_caojh_linuxlxc/index.html Linux 容器的资源管理方法:https://www.ibm.com/developerworks/cn/linux/1404_caojh_lxc/ 其他

在Ubuntu16.04上使用Autofs

在Solaris上,autofs是默认安装的,可以通过/net/<NFS server>很方便地访问远程的共享目录.但在Linux上(例如Fedora或者Ubuntu),使用autofs则需要自己安装和配置.本文将以Ubuntu16.04作为NFS client, 简单介绍一下如何使用autofs. NFS server: Fedora 27 (IPv4 10.66.12.119) NFS client: Ubuntu 16.04 (IPv4 10.66.13.219) P.S. NFS se

Caffe初学者第二部:Ubuntu16.04上安装caffe(CPU)+Matlab2014a+Opencv3的详细过程 (亲测成功, 20180529更新)

这是caffe初学者系列教程的第二部,旨在帮助更多对深度学习感兴趣的同学们!第一部可以参考以下地址: Caffe初学者第一部:Ubuntu14.04上安装caffe(CPU)+Python的详细过程 (亲测成功, 20180524更新) 好啦,开始我们的教程吧! 前言: 之前的第一部教程发布以后,很受欢迎,看样子我的努力没白费,毕竟写博文花了我好几个小时,感谢同学们的支持啦^_^ 亲测教程: 本教程需要准备的文件有:Ubuntu16.04, Opencv3(必要), Matlab2014a. (