Hadoop之——有趣问答(一)

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/46039301

问:在eclipse中的写的代码如何提交作业到JobTracker中的哪?

答:(1)在eclipse中调用的job.waitForCompletion(true)实际上执行如下方法

connect();

info = jobClient.submitJobInternal(conf);

(2)在connect()方法中,实际上创建了一个JobClient对象。

在调用该对象的构造方法时,获得了JobTracker的客户端代理对象JobSubmissionProtocol。

JobSubmissionProtocol的实现类是JobTracker。

(3)在jobClient.submitJobInternal(conf)方法中,调用了

JobSubmissionProtocol.submitJob(...),

即执行的是JobTracker.submitJob(...)。

1.Hadoop的数据类型要求必须实现Writable接口。

2.java基本类型与Hadoop常见基本类型的对照

Long    LongWritable

Integer    IntWritable

Boolean    BooleanWritable

String    Text

问:java类型如何转化为hadoop基本类型?

答:调用hadoop类型的构造方法,或者调用set()方法。

new LongWritable(123L);

问:hadoop基本类型如何转化为java类型?

答:对于Text,需要调用toString()方法,其他类型调用get()方法。

时间: 2024-11-10 01:33:18

Hadoop之——有趣问答(一)的相关文章

Hadoop 介绍

1.Hadoop简介 Hadoop[h?du:p]实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS.HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上:而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序.HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据. 诸多优点

你根本不知道的冷知识,看完我惊呆了,原来.....

有些冷知识,非常的有趣,而且说不定就是之后与人交流的谈资,所以,这些必须收藏. 历史文学 1. 朱熹一辈子不吃豆腐 3.方孝儒是中国历史上唯一一个被"株十族"的人 4.猫是<圣经>里唯一没有提到的家养动物 5.埃及金字塔四面均为等边三角形,正对东南西北四个方位 6.条条大路通罗马的原因如图: 科学百科 1. 兔子不会流汗 2.玫瑰和苹果属同科,百合和大葱属同科 3.一张纸不能对折8次 4.北极熊是左撇子 5. dreamt 是唯一以"mt"结尾的英文单词

12个有趣的C语言问答(详解)

本文参照博文<12个有趣的C语言问答>,在原文的基础上增加来对应的知识点的详细介绍. 1 gets()方法 Q:下面的代码有一个被隐藏的问题,你能找到它吗? 1 #include <stdio.h> 2 3 int main(void) 4 { 5 char buff[10]; 6 memset(buff, 0, sizeof(buff)); 7 gets(buff); 8 printf("%s\n", buff); 9 10 return 0; 11 } A:

Quara 上一些有趣的问答

1.在太空上会哭吗. Clayton C是美国的退役宇航员.他曾经在太空中哭过好几次,而且感觉就跟地球上一样.出了眼泪不会掉到地上. Clayton C. Anderson, US Astronaut, Retired I cried in space several times... due to some very emotional circumstances. I speak of several of these situations in my upcoming book.  Loo

Hadoop的辉煌还能延续多久?

Hadoop的辉煌还能延续多久? 摘要:Hadoop已经成为大数据的代名词.短短几年间,Hadoop从一种边缘技术成为事实上的标准.而另一方面,MapReduce在谷歌已不再显赫.当企业瞩目MapReduce的时候,谷歌好像早已进入到了下一个时代. Hadoop技术已经无处不在.不管是好是坏,Hadoop已经成为大数据的代名词.短短几年间,Hadoop从一种边缘技术成为事实上的标准.看来,不仅现在Hadoop是企业大数据的标准,而且在未来,它的地位似乎一时难以动摇. 谷歌文件系统与MapRedu

从事分布式系统,计算,hadoop

作者:廖君链接:https://www.zhihu.com/question/19868791/answer/88873783来源:知乎 分布式系统(Distributed System)资料 <Reconfigurable Distributed Storage for Dynamic Networks> 介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的作者(导师)是MIT读博的时候是做分布式系统的研究的,现在在NUS带学生,不仅仅是分布式系统,还有无线网络.如果感兴趣

Hadoop Balancer源码解读

前言 最近在做一些Hadoop运维的相关工作,发现了一个有趣的问题,我们公司的Hadoop集群磁盘占比数值参差不齐,高的接近80%,低的接近40%,并没有充分利用好上面的资源,但是balance的操作跑的也是正常的啊,所以打算看一下Hadoop的balance的源代码,更深层次的去了解Hadoop Balance的机制. Balancer和Distpatch 上面2个类的设计就是与Hadoop Balance操作最紧密联系的类,Balancer类负载找出<source, target>这样的起

在线问答与学科管理系统

大家都知道,大学不同于中学,在大学,没有固定的上课教室,老师也只是上课的时候在,这样,大家在课堂上的问题不能及时的向同学.老师求教.在大学,也不像高中那样,要选课,成绩要自己查,选修.重修.校选课等都要自己在线处理.本系统的用户是学生.教师和教学管理员.学生可以通过本系统在线问.讨论.解答问题:还可以在其他学生那儿在线购买二手物品,也可以玩一些有趣的小游戏,活动下脑袋:另外,学生与老师都可以通过系统处理自己和课程之间事务,如,选课,提问,发布资料,布置.提交作业,上传下载资料等:最后,,提供一个

[转载]Elasticsearch、MongoDB和Hadoop比较

IT界在过去几年中出现了一个有趣的现象.很多新的技术出现并立即拥抱了“大数据”.稍微老一点的技术也会将大数据添进自己的特性,避免落大部队太远,我们看到了不同技术之间的边际的模糊化.假如你有诸如Elasticsearch或者Solr这样的搜索引擎,它们存储着JSON文档,MongoDB存着JSON文档,或者一堆JSON文档存放在一个Hadoop集群的HDFS中.你可以使用这三种配置完成很多同养的事情. ES是否可以作为一个NoSQL数据库?粗看,这句话说的不太对,但是这是一个合理的场景.类似地,M