通过nfs3将hdfs挂载到本地

1.启动hdfs

start-dfs.sh (启动后使用jps查看进程是否启动)

2.执行hdfs portmap starthdfs nfs3 start

使用jps查看portmap和nfs3是否启动

3.执行mount -t nfs -o vers=3,proto=tcp,nolock 10.211.55.38:/ /hdfs

挂载到本地目录

备注:

hadoop配置修改

1.core-site.xml

<property>

<name>hadoop.proxyuser.root.groups</name>

<value>*</value>

<description>

The ‘nfsserver‘ user is allowed to proxy all members of the ‘nfs-users1‘ and

‘nfs-users2‘ groups. Set this to ‘*‘ to allow nfsserver user to proxy any group.

</description>

</property>

<property>

<name>hadoop.proxyuser.root.hosts</name>

<value>*</value>

<description>

This is the host where the nfs gateway is running. Set this to ‘*‘ to allow

requests from any hosts to be proxied.

</description>

</property>

2.hdfs-site.xml

<property>

<name>dfs.namenode.accesstime.precision</name>

<value>3600000</value>

<description>The access time for HDFS file is precise upto this value.

The default value is 1 hour. Setting a value of 0 disables

access times for HDFS.

</description>

</property>

<property>

<name>dfs.nfs3.dump.dir</name>

<value>/tmp/.hdfs-nfs</value>

3.log4j.properties

log4j.logger.org.apache.hadoop.hdfs.nfs=DEBUG

log4j.logger.org.apache.hadoop.oncrpc=DEBUG

时间: 2024-11-07 20:49:57

通过nfs3将hdfs挂载到本地的相关文章

使用sshfs将远程目录挂载到本地

在Linux下我们通常使用ssh命令来登录远程Linux服务器,如果需要登录的远程服务器不止一个,来回切换的过程将会变得非常麻烦.如果使用sshfs,将可以直接将远程目录映射到本地,而不需要修改远程计算机的设置.下面我们来看一下如何使用sshfs. 首先,我们需要安装sshfs软件.sshfs是一个基于SSH文件传输协议的文件系统客户端,它的官方网页是:http://fuse.sourceforge.net/sshfs.html .在CentOS下,我们可以通过yum来安装(注意使用yum安装需

HDFS文件与本地文件的交互操作

1.在HDFS中创建一个新的文件夹,用于保存weblog_entries.txt hadoop fs -mkdir /data/weblogs 2.将weblog_entries.txt文件从本地文件系统复制到HDFS刚创建的新文件夹下 cd /home/data hadoop fs -copyFromLocal weblog_entries.txt /data/weblogs 3.列出HDFS上weblog_entries.txt文件的信息: hadoop fs –ls /data/weblo

Linux服务器上挂载window本地iso镜像文件的方法。

mount //10.7.21.25/linux -o username=Administrator,[email protected] /mnt/ 10.7.21.25是window的地址 Linux目录是window上的共享文件 username password 是window的帐号密码 /mnt/ 是挂载的Linux服务器的位置. 把Linux的iso镜像文件在windows本地用rar解压并配置YUM [[email protected] ~]# mount //10.7.21.25/

腾讯云cos挂载到本地

环境安装Ubuntu 系统下安装环境依赖包方法:sudo apt-get install automake autotools-dev g++ git libcurl4-gnutls-dev libfuse-dev libssl-dev libxml2-dev make pkg-config fuse CentOS 系统下安装环境依赖包方法:sudo yum install automake gcc-c++ git libcurl-devel libxml2-devel fuse-devel m

Linux下搭建nfs把远程主机目录挂载到本地主机

准备2台服务器centos6.5 1.先在每台服务器上安装先关nfs包 yum install nfs-utils yum install nfs* chkconfig --level 35 nfs on service nfs start 2.先在172.16.11.100上执行以下操作: mkdir  /vnetoo vi /etc/exports,加入: /vnetoo 172.16.11.150(rw,sync,no_root_squash) 3.然后,在172.16.11.100(如果

Hadoop生态系统之HDFS

一.介绍 HDFS : 分布式文件系统(distributed filesystem),主从结构. 以流式数据访问模式来存储超大文件,运行于商用硬件集群上. 超大文件: 几百M,几百G,甚至几百TB大小的文件. 流式数据访问: 一次写入,多次读取.每次读取都涉及到数据集的大部分数据甚至是全部,因 此读取整个数据集的延迟比读取一条数据的延迟更为重要) 商用硬件:不需要运行在高昂的高可靠的硬件上. 官方介绍: http://hadoop.apache.org/docs/r2.6.4/hadoop-p

利用sshfs在本地挂在点上挂载远程驱动器

SSH是网络中最常用的文件传输协议,sshfs允许你将远程文件系统挂载到本地挂载点上. GNU/Linux并不默认包含sshfs.用软件包管理器安装这个工具.sshfs是FUSE文件系统的一个扩展,FUSE允许其支持的操作系统像使用本地文件系统一样挂载各类数据. 将远程主机上的文件系统挂载到本地,可以使用: [[email protected] ~]#sshfs [email protected]:/home/path  /mnt/mountpoint password: 在收到提示输入用户密码

利用阿里云镜像构建mysql数据库并挂载本地目录

docker构建mysql镜像,在mysql下创建data数据库,将其挂载到本地物理机磁盘目录,删除mysql容器后,可以在本地目录找到对应数据库 docker image命令查看本地镜像 创建名为mysql1的容器并运行它,将物理机/data目录挂载到mysql1容器的数据库存储位置/var/lib/mysql 安装mysql-server服务 启动mysql服务 查看默认数据库 创建cs数据库 查看镜像本地数据库存储看cs文件夹是否创建 删除mysql1容器 查看物理机/data存储看cs文

Ubuntu下使用sshfs挂载远程目录到本地(和Windows挂载盘一样)

访问局域网中其他Ubuntu机器,在不同机器间跳来跳去,很是麻烦,如果能够把远程目录映射到本地无疑会大大方面使用,就像Windows下的网络映射盘一样.在Linux的世界无疑也会有这种机制和方式,最近在使用的过程中选择了sshfs这个工具来达到把远程目录映射到本地的功能. SSHFS可在本地安装的文件系统中,通过SSH获得所有加密的通信优势.使用sshfs可以把远程目录直接映射到本地,无需修改远程机器的设置,仅要求有ssh连接的权限(ssh都没有的话,还能干啥?) 官网地址: http://fu