MapReduce方法的理解和遇到的问题总结

  昨天联系了一个用map和reduce来编写wordcount当时写出来感觉自己有点懂了,但是今天做到天气站求天气平均数的时候遇到了问题。自己摸索出来了一点歪门邪道。所谓map只管数据中一行,确定要传的key和value。而reduce则是对所有的value值进行计算,而不是只有一行的。在问题中出现类型的错误。通过将Doule换成Int类型解决。

在对数据进行可视化的时候,tomcat突然就炸了,就连普通的网页就不能跑,后来就开始打不开tomcat。后来发现是maven中导入的tomcat包,和本地引入的tomcat是冲突的,所以发生矛盾,从中除去一个就可以解决,最好修改 tomcat的配置文件。

在ercharts显示的时候,从后台获取数据之后不能显示出来,检查许久,数据确实是从后台传回来了已经,确保无误。这个问题在于有些echarts可以直接用mychart.setOption执行,而有的要用先写一个option方法,在下面用mychart.setOption(option)来进行实现。

还有在将项目部署在虚拟机的tomcat的时候,一定要慎重,用maven部署之后,虚拟机的tomcat原有的root文件内容被覆盖,本机就会出现不能访问虚拟机tomcat的问题。删除虚拟机的root文件,将对应版本号的root文件复制进去即可。

还有就是MapReduce在计算过程中可能会提示winutils不存在,如果不能跑则配置环境变量,将hadoop.dll winutils libwinutils 拷入system32中,并且把winutils拷入在hadoop的bin目录下即可

原文地址:https://www.cnblogs.com/xieshiyu/p/9306751.html

时间: 2024-10-12 08:46:54

MapReduce方法的理解和遇到的问题总结的相关文章

对Vue.js $watch方法的理解

博主最近对着vue.js的官方教程在自学vue.js,博主自幼愚钝,在教程中真的是好多点都不太理解,接下来要说的这个$watch方法就是其中一个不太理解的点了.咱们先来看一下对于$watch方法在vue.js的API中是怎么解释的吧:观察 Vue 实例变化的一个表达式或计算属性函数.回调函数得到的参数为新值和旧值.表达式只接受监督的键路径.对于更复杂的表达式,用一个函数取代.官方示例: 1 // 键路径 2 vm.$watch('a.b.c', function (newVal, oldVal)

Canavs arcTo方法的理解

arcTo方法有四个參数 參数1,2为第一个控制点的x,y坐标,參数2为第二个控制点的坐标,參数3为绘制圆弧的半径. 起点和第一个控制点组成的延长线与第一个控制点和第二个控制点组成的延长线都是和圆弧相切的,这个圆弧也就是被夹在两条延长线中间.圆越大,两条延长线能形成的角度能夹住的圆弧就越小. 以下写了一个简单的动画帮助理解 <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <t

C#中Thread类中Join方法的理解(转载)

指在一线程里面调用另一线程join方法时,表示将本线程阻塞直至另一线程终止时再执行      比如 Java代码   using System; namespace TestThreadJoin { class Program { static void Main() { System.Threading.Thread x = new System.Threading.Thread(new System.Threading.ThreadStart(f1)); x.Start(); Console

用实验方法加深理解Oracle的外连接(left/right/full)和内连接(inner)

总是对Oracle的左连接.右连接以及(+)对应的外连接类型糊涂,通过实验加深对连接类型语法的理解.外连接分为三种: 1. 左外连接,对应SQL关键字:LEFT (OUTER) JOIN 2. 右外连接,对应SQL关键字:RIGHT (OUTER) JOIN 3. 全外连接,对应SQL关键字:FULL (OUTER) JOIN 左右外连接都是以一张表为基表,在显示基表所有记录外,加上另外一张表中匹配的记录.如果基表的数据在另一张表中没有记录,那么相关联的结果集行中显示为空值. 精确点说,引用MO

[转]Android View.onMeasure方法的理解

转自:http://blog.sina.com.cn/s/blog_61fbf8d10100zzoy.html Android View.onMeasure方法的理解 View在屏幕上显示出来要先经过measure(计算)和layout(布局).1.什么时候调用onMeasure方法? 当控件的父元素正要放置该控件时调用.父元素会问子控件一个问题,“你想要用多大地方啊?”,然后传入两个参数——widthMeasureSpec和heightMeasureSpec.这两个参数指明控件可获得的空间以及

JAVA中关于set()和get()方法的理解及使用

对于JAVA初学者来说,set和get这两个方法似乎已经很熟悉了,这两个方法是JAVA变成中的基本用法,也是出现频率相当高的两个方法. 为了让JAVA初学者能更好的理解这两个方法的使用和意义,今天笔者来谈一下自己对这两个方法的理解,如果你对于这两个方法还有困惑甚至完全不知道这两个方法是做什么的,那你看下面这篇文章很有用.如果你对于set和get这两个方法已经很熟悉了,那么你完全不用看这篇文章.这篇文章是写给初学者的. 我们先来看看set和get这两个词的表面意思,set是设置的意思,而get是获

Linux网络编程 五种I/O 模式及select、epoll方法的理解

Linux网络编程 五种I/O 模式及select.epoll方法的理解 web优化必须了解的原理之I/o的五种模型和web的三种工作模式 五种I/O 模式--阻塞(默认IO模式),非阻塞(常用语管道),I/O多路复用(IO多路复用的应用场景),信号I/O,异步I/OLinux网络编程 五种I/O 模式及select.epoll方法的理解

initWithFrame方法的理解

initWithFrame方法的理解 有时候,知道initWithFrame方法如何用,但是么有弄明白initWithFrame方法到底是什么? 那就通过查资料弄明白. 1. initWithFrame方法是什么? initWithFrame方法用来初始化并返回一个新的视图对象,根据指定的CGRect(尺寸). 当然,其他UI对象,也有initWithFrame方法,但是,我们以UIView为例,来搞清楚initWithFrame方法. 2.什么时候用initWithFrame方法? 简单的说,

对javascript中call()方法的理解

call ( thisObj [, arg1 [, arg2 [,  [, argN] ] ] ]) call()方法:官方介绍是,调用一个对象的一个方法,以另一个对象替换当前对象. call()方法应用于Function对象,可以用来代替另一个对象调用一个方法,可将一个函数的对象上下文从初始的上下文改变为thisObj指定的新对象.如果没有提供thisObj参数,那么Global对象被用作thisObj. 直接理解这几句话还是挺难理解的.先看一个例子: function Class1(){ t