HDFS数据迁移目录到正确姿势

添加了一块硬盘，原来的DataNode已经把原有的硬盘占满；怎么办，想要把旧有的数据迁移到新的硬盘上面；

1. 在CDH中修改目录（在HDFS组件中搜索.dir)，本例中，新加的硬盘挂载在/data上面，NameNode,DataNode,以及CheckPoint路径都前加一个“/data"；

2. 重启HDFS，NameNode可能会出错，没有关系；

3. 关闭CDH的集群；

4. 切换到hdfs用户，将就有路径下的/dfs拷贝到/data下面；如果不是则拷贝完毕后，要把dfs下面所有的文件权限更变为hdfs:hdfs；

5. 启动CDH集群，一切照旧。

时间： 2024-10-11 05:17:14

HDFS数据迁移目录到正确姿势的相关文章

HDFS数据迁移解决方案之DistCp工具的巧妙使用

前言 在当今每日信息量巨大的社会中,源源不断的数据需要被安全的存储.等到数据的规模越来越大的时候,也许瓶颈就来了,没有存储空间了.这时候怎么办,你也许会说,加机器解决,显然这是一个很简单直接但是又显得有些欠缺思考的办法.无谓的加机器只会带来无限上升的成本消耗,更好的办法应该是做到更加精细化的数据存储与管理,比如说非常典型的冷热数据的存储.对于巨大的长期无用的冷数据而言,应该用性能偏弱,但是磁盘空间富余的机器存,热数据则反之.数据的分类存储一定会带来数据的同步问题,假若我有2套集群,1个是线上的正

史上最牛hadoop2.2伪分布式hdfs数据迁移

1.需求: 由于hadoop的数据文件所在磁盘出现99%占用,导致hdfs无法上传文件 异常:org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /user/root/input could only be replicated to 0 nodes, instead of 1 [[email protected] hadoop]# df -h Filesystem            Size  Used Avai

云时代数据容灾的正确姿势

目前,企业对业务连续性和数据容灾有很高的要求,主要的管理目标如下: 1.提供数据安全保障,规避业务风险. 2.确保应用高可用性,消除计划外的停机时间,减少计划外的停机时间,提高业务连续性. 3.考虑结合的方案,提高投资回报. 传统企业都已经建设或正在规划业务连续性和数据容灾系统.一般会考虑三种线下灾备方式: 1.本地容灾:业务高可用和读写分离,以提高业务连续性 2.同城容灾:兼顾业务连续性和数据安全,应对地区级以 3.异地容灾:以数据安全为目标,应对地区级数据风险. 每种灾备方式面向的管理目标不

Sqoop学习笔记——关系数据库与hdfs间数据迁移

一.安装: 上传到hadoop集群的某一个节点上,将sqoop压缩包解压即可直接使用: 二.配置: 将需要连接的数据库(比如Oracle.MySQL)的连接驱动拷贝到 sqoop目录的lib里: 三.配置mysql远程连接 GRANT ALL PRIVILEGES ON ekp_11.* TO 'root'@'192.168.1.10' IDENTIFIED BY '123456' WITH GRANT OPTION; FLUSH PRIVILEGES; GRANT ALL PRIVILEGES

揭秘“撩”大数据的正确姿势：生动示例解说大数据“三驾马车”

我是我:"缘起于美丽,相识于邂逅,厮守到白头!" 众听众:"呃,难道今天是要分享如何作诗?!" 我是我:"大家不要误会,今天主要的分享不是如何作诗,而是<揭秘:'撩'大数据的正确姿势>,下面进入正题." 话说当下技术圈的朋友,一起聚个会聊个天,如果不会点大数据的知识,感觉都融入不了圈子,为了以后聚会时让你有聊有料,接下来就跟随我的讲述,一起与大数据混个脸熟吧,不过在"撩"大数据之前,还是先揭秘一下研发这些年我们都经

[JIRA] 最新Linux版本 jira6.3.6安装汉化破解以及数据迁移

序言: JIRA是澳大利亚 Atlassian 公司开发的一款优秀的问题跟踪管理软件工具,可以对各种类型的问题进行跟踪管理,包括缺陷.任务.需求.改进等.JIRA采用J2EE技术,能够跨平台部署.它正被广泛的开源软件组织,以及全球著名的公司使用. JIRA产品非常完善且功能强大,安装配置简单,多语言支持.界面十分友好,和其他系统如CVS.Subversion(SVN).VSS.LDAP.邮件服务整合得相当好,文档齐全,可用性以及可扩展性方面都十分出色,拥有完整的用户权限管理. 环境:jira软件

较复杂情况下小型数据库的数据迁移

虽然在操作之前作过一些测试,但主要考虑脚本的正确与否以及对数据库对象的影响.并没有完全在实际系统上运行.这也成为后来出现的一个问题没有预计到的根源.毕竟比较早的版本我没有用过:).那就是8.0.6的exp工具并支持到处数据到多个文件,file=file1,file2不能使用,而且也不清楚老的hp-unix是32位的时候支持大于2g的文件,而且8.0.6是否可以导出一个大于2G文件.后来出现问题之后经过查证系统支持,此避免使用磁带机或者文件压缩的方式(具体方法网络上有相关资料).   由于考虑到加

HBase跨版本数据迁移总结

某客户大数据测试场景为:Solr类似画像的数据查出用户标签--通过这些标签在HBase查询详细信息.以上测试功能以及性能. 其中HBase的数据量为500G,Solr约5T.数据均需要从对方的集群人工迁移到我们自己搭建的集群.由于Solr没有在我们集群中集成,优先开始做HBase的数据迁移,以下总结了HBase使用以及数据迁移遇到的各种问题以及解决方法. 一.迁移过程遇到问题以及解决 客户HBase版本:Version 0.94.15腾讯大数据套件HBase版本:Version 1.2.1客户私

【源】从零自学Hadoop(16)：Hive数据导入导出，集群数据迁移上

阅读目录 序 导入文件到Hive 将其他表的查询结果导入表 动态分区插入 将SQL语句的值插入到表中 模拟数据文件下载 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 上一篇,我们介绍了Hive的表操作做了简单的描述和实践.在实际使用中,可能会存在数据的导入导出,虽然可以使用sqoop等工具进行关系型数据导入导出操作,但有的时候只需要很简便的方式进行导入导出即可   下面我们开始