No node available for block: blk

刚才利用hadoop和mahout运行kmean是算法，一开始利用了10个节点，一个master，9个slave，运行了7分钟，我为了看速度的变化，就改用伪分布的形式，但是一开始运行就报错了：

17/04/08 11:43:32 INFO hdfs.DFSClient: No node available for block: blk_5391189133848637450_1019 file=/user/root/testdata/synthetic_control.data.txt

意思就是针对文件块block，没有可用的节点，我一开始以为是节点没=没有启动，但是后来看了一下webUI，live nodes为1，说明datanode已经启动了啊，百度才知道是hdfs-site.xml出问题了：需要加上以下配置：

    <property>
                <name>dfs.datanode.max.xcievers</name>
            <value>4096</value>
                <dedication> Datanode 有一个同时处理文件的上限，至少要有4096</dedication>
        </property>

不配置这个property的话，那么默认大小是256，显然有点小了；

时间： 2024-10-18 22:00:56

No node available for block: blk的相关文章

HDFS读文件过程分析：读取文件的Block数据

转自http://shiyanjun.cn/archives/962.html 我们可以从java.io.InputStream类中看到,抽象出一个read方法,用来读取已经打开的InputStream实例中的字节,每次调用read方法,会读取一个字节数据,该方法抽象定义,如下所示:public abstract int read() throws IOException;Hadoop的DFSClient.DFSInputStream类实现了该抽象逻辑,如果我们清楚了如何从HDFS中读取一个文件

Block实现-block的实质

Block的实质: #import <Foundation/Foundation.h> int main() { void(^blk)(void)=^{printf("Block");}; blk(); return 0; } 使用clang将该block转换. clang -rewrite-objc 源代码文件 转换后形成的block文件是: struct __block_impl { void *isa; int Flags; int Reserved; void *F

Block存储域

第一.在OC中允许block改写值的变量有三种: 静态变量 全局变量 静态全局变量 code示例如下所示: int global_val=1; staticint static_global_val=2; int main(int argc,const char * argv[]) { @autoreleasepool { static int static_val=3; void (^blk)(void)=^{ global_val *=2; static_global_val+=3; sta

Oracle RAC 全局等待事件 gc current block busy 和 gc cr multi block request 说明--转载（http://blog.csdn.net/tianlesoftware/article/details/7777511）

一．RAC 全局等待事件说明 在RAC环境中,和全局调整缓存相关的最常见的等待事件是global cache cr request,global cache busy和equeue. 当一个进程访问需要一个或者多个块时,Oracle会首先检查自己的Cache是否存在该块,如果发现没有,就会先通过global cache赋予这些块共享访问的权限,然后再访问.假如,通过global cache发现这些块已经在另一个实例的Cache里面,那么这些块就会通过Cache Fusion,在节点之间直接传递,

centos6.4 ceph安装部署之ceph block device

1,prelight/preface ceph storage clusterceph block deviceceph filesystemceph object storage 此篇记录ceph block device,ceph storage cluster见上一篇 Realiable Autonomic Distributed Object Store(可靠自主分布式对象存储) long term supported [ruiy tips Notes] ERROR: modinfo:

iOS block 机制

本文要将block的以下机制,并配合具体代码详细描述: block 与 外部变量 block 的存储域:栈块.堆块.全局块 定义 块与函数类似,只不过是直接定义在另一个函数里,和定义它的那个函数共享同一个范围内的东西. 访问外部变量 堆块内部,栈是红灯区,堆是绿灯区. 根据块的存储位置,可将块分为全局块.栈块.堆块.这里先主要针对堆块讲解. Block不允许修改外部变量的值.Apple这样设计,应该是考虑到了block的特殊性,block也属于"函数"的范畴,变量进入block,实际就

HDFS源码学习纪录之-NameNode篇（一）

NameNode维护了HDFS命名空间的两层关系: 1) 文件与数据块之间的关系(INodeFile,INodeDirectory) 2) 数据块与DataNode之间的关系(BlockMap.BlockInfo) 首先,贴一张类图: 1. INode类: INode模仿Linux文件系统中的索引节点inode.INode为一个抽象类,INode中保存了文件名,文件所有者,文件的访问权限,文件父目录(INodeDirectory引用,无论是INode的INodeFile子类还是INodeDire

HDFS源码分析(三)-----数据块关系基本结构

前言 正如我在前面的文章中曾经写过,在HDFS中存在着两大关系模块,一个是文件与block数据块的关系,简称为第一关系,但是相比于第一个关系清晰的结构关系,HDFS的第二关系就没有这么简单了,第二关系自然是与数据节点相关,就是数据块与数据节点的映射关系,里面的有些过程的确是错综复杂的,这个也很好理解嘛,本身block块就很多,而且还有副本设置,然后一旦集群规模扩大,数据节点的数量也将会变大,如何处理此时的数据块与对应数据节点的映射就必然不是简单的事情了,所以这里有一点是比较特别的,随着系统的运行

HDFS源码分析(一)-----INode文件节点

前言 在linux文件系统中,i-node节点一直是一个非常重要的设计,同样在HDFS中,也存在这样的一个类似的角色,不过他是一个全新的类,INode.class,后面的目录类等等都是他的子类.最近学习了部分HDFS的源码结构,就好好理一理这方面的知识,帮助大家更好的从深层次了解Hadoop分布式系统文件. HDFS文件相关的类设计 在HDFS中与文件相关的类主要有这么几个 1.INode--这个就是最底层的一个类,抽象类,提炼一些文件目录共有的属性. 2.INodeFile--文件节点类,继承