hadoop安装踩坑

切记！！！！！

没有比官网教程更详细，更靠谱的教程！！！！！

其他的基本都是官网的翻译，但是官网的教程是实时更新的，要是不注意版本，坑根本就踩不完！！！

附上官网部署教程：

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

单节点的安装只需要关注两个点：

　　1.linux安装的java版本，各个版本的hadoop对java版本是要求的，具体信息如下：

　　　　https://cwiki.apache.org/confluence/display/HADOOP/Hadoop+Java+Versions

　　2.在多次执行hdfs dfs -format后，namenode和datanode的clusterid可能对不上，在format之前需要删除tmp/hadoop-hadoop目录

原文地址：https://www.cnblogs.com/wanshiming/p/12048387.html

时间： 2024-10-09 22:39:19

hadoop安装踩坑的相关文章

Hadoop编程踩坑

Hadoop踩坑在hadoop所有组件编程中,遇到在Windows下运行程序出现 1 java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 2 at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:356) 3 at org.apache.hadoop.util.Shell.getWinU

hadoop安装(踩完坑终极版)

环境:CentOS 7.3 64位(64位的hadoop需要自己编译) 1.创建新用户 useradd -m hadoop -s /bin/bash 创建hadoop用户并使用/bin/bash作为shell passwd hadoop 给hadoop用户设置密码 visudo 给hadoop用户增加管理员权限,省得后面可能出现一些权限问题麻烦.在root ALL=(ALL) ALL下加上 hadoop ALL=(ALL) A

Ubuntu搭建Hadoop的踩坑之旅（三）

之前的两篇文章介绍了如何从0开始到搭建好带有JDK的Ubuntu的过程,本来这篇文章是打算介绍搭建伪分布式集群的.但是后来想想反正伪分布式和完全分布式差不多,所幸直接介绍完全分布式了. 如果你想自己搭建伪分布式玩的话,参考:在VMware下安装Ubuntu并部署Hadoop1.2.1分布式环境 - CSDN博客这一篇主要参考这篇文章:Hadoop2.6.0安装 - 集群(搭建的过程中没截图,大家可以到原博客看) 一.所需的环境和软件:(以下是我们的环境,仅供参考) 1. 操作系统:Window

tensorflow 1.8, ubuntu 16.04, cuda 9.0, nvidia-390，安装踩坑指南。

被tensorflow 1.8, ubuntu 16.04, cuda 9.0, nvidia-390折磨了5天,终于上坑,留下指南,造福后人. 1.先把依赖搞清楚: tensorflow 1.8依赖cuda 9.0,cuda 9.0依赖nvidia-390. 2.坑: ubuntu 16.04源里只有nvidia-384,nvidia-390太新还没支持. 怎么办? 如果你不在天朝以下可以在个人源中安装nvidia-390 sudo add-apt-repository ppa:graphic

pyltp安装踩坑记录

LTP(Language Technology Platform)由哈工大社会计算与信息检索研究中心开发,提供包括中文分词.词性标注.命名实体识别.依存句法分析.语义角色标注等丰富. 高效.精准的自然语言处理技术. LTP的源码是C++,也提供Java和Python版本.Python版本的安装方法是在cmd下输入 pip install pyltp 安装需要C++的编译环境. 然而在安装包下载下来开始安装的时候,报下面的错误 Exception: Traceback (most recent c

Hadoop EC 踩坑：data block 缺失导致的 HDFS 传输速率下降

环境:hadoop-3.0.2 + 11 机集群 + RS-6-3-1024K 的EC策略状况:某天,往 HDFS 上日常 put 业务数据时,发现传输速率严重下降分析: 检查集群发现,在之前的传输中,发生过个别 datanode 临时不可用的状况. 而由于 hadoop EC 机制,当失效 datanode 小于容忍值 (这里是3),put 等传输任务仍然成功.但 hadoop 当时会报错,用于提示程序员,这个报错不会影响当此传输任务,故 put 等传输请求会返回成功.然后,缺失的 dat

Manjaro （KDE）安装踩坑记录

1.如果双显卡无法安装系统可以进如BIOS屏蔽显卡后进入安装 2.如果安装kde版本后容易冻屏.死机,可以尝试安装闭源驱动 3.如果出现resolving time out 10000ms 这样的问题,可以尝试进入 /etc/resolv.conf 修改dns地址 4.如若发现屏幕菜单界面过大问题,也许是字体太大 5.KDE目前无法安装QQ可以尝试 crossover 原文地址:https://www.cnblogs.com/iwannabe/p/10029518.html

xampp+discuz 安装踩坑后总结

之前安装xampp先是出现mysql无法启动,接着安装discuz到最后一部时出现乱码,以及报错(0).后来卸载了xampp,重新安装xampp和discuz后就可以了,应该是版本太高的问题, xampp5.2.2下载地址: https://pan.baidu.com/s/1YXbdlyOy2EesTlB8rm4XYQ discuz 3.2 下载地址:http://www.onlinedown.net/soft/285573.htm 安装步骤如下: 1.安装路径,最好放置到D盘,不建议不要放到系

pytorch之安装踩坑

Conda换源 1.清华源 conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge conda config --add channels https://mirrors.tuna.tsinghua.e