基于arm架构单片机的hadoop服务器尝试

之前听说了百度用arm服务器搭建了webserver和网盘之类的东西,然后又看到有人用android电视棒里面装ubuntu,于是就有了用arm尝试做hadoop服务器的想法。但是目前arm 64位的cpu还没有出货,所以这只是个前奏性质的尝试。

从淘宝上面买了一个arm的单片机,上面有一颗基于ARMv7架构的单核cpu,1G内存,4G存储。但是最主要的,是上面有网卡接口,虽然是100M的,但这让构建集群成为了一个可能。另外这个比树莓派更好的是,上面有sata硬盘的接口,这样,存储的问题也可以解决。虽然我现在手里没有sata 2.5寸的硬盘,但是起码给了个想象的空间。

很小的一块板子,表就是casio的ef339,去年博客大赛的奖品,也是我唯一的一块表,而且我不担任任何公职,也不是党员,不要平我祖坟。

关于操作系统方面,cubieboard本身内置android 4.0.4,连上HDMI在电视上刷微博很爽,40寸的大pad,谁有?但是android不是我们所需要的,可以用linaro系统,for arm的ubuntu。从网上找了一个国外网友自制的linaro server版,用工具烧进TF(microSD)卡。不比自己本身的android启动速度快,这个启动速度比较慢。不过要做好心理准备,TF卡一旦烧了操作系统img上去,就再也不能当存储用了。

昨天晚上在家通过网线用apt-get install 了openjdk6,也下载好了hadoop-1.0.4。今天在公司利用午休时间配置了单机的hadoop环境。并跑了一下pi任务,结果比我想象的要好,先看几张图吧,最后写上测试数据和对比测试数据。

开机启动图

因为公司绑定mac,所以没有联网,懒得去找ops做mac绑定了。

测试命令,启动10个map,每map投掷100次飞镖,计算pi值。因为主要是看cpu计算能力,sd卡当存储,肯定拼不过sata硬盘的速度。下图有cpu信息和操作系统的信息。

cpu信息大图

连线图,本身采用HDMI作为显示输出,还得去找HDMI转VGA的转换头。

arm hadoop服务器大小,比中南海略大。

最后让我们回到数据上来,琢磨这种方式其实我最关心的是性价比,主要看多少颗arm v7可以顶一颗intel cpu。因为除去这一点,硬盘,内存等等都是必不可少的开销,用哪种架构都是一样的。而性价比主要就集中在cpu单价和能耗上。

在64位arm没有出来以前,就拿arm v7说事吧。

用台式机里的intel做虚拟机单核1G内存做了个对比,Hadoop pi 任务对比数据如下。

首先intel和arm的hadoop配置相同,都是hadoop官网的单机,单复制块默认配置,HEAPSIZE均设置为128M。

午休时间有限,只做了pi的测试。而且没有服务器上的虚拟机,没法测试至强CPU的性能,台式机做个大概的参考好了。

测试命令:sudo -u hadoop hadoop jar hadoop-example-1.0.4.jar pi 10 100

  第一次 第二次 第三次
intel i3 2100 1core centos  82.064s  75.992s  81.971s
arm v7 1core ubuntu  173.46s  157.165s  168.397s

读写存储的效率对比,分别顺序读写200M文件。

intel+机械硬盘 200M写,500M读

arm+sd卡 60M写,60M读,可见读写硬盘intel占大便宜了,不过因为没有外挂硬盘,所以也不知道arm读写效率如何。sd卡就别想了,太慢了,尽管这个SD卡已经算快的了。

且不论读写磁盘操作的差距,仅以这个作为计算能力的差距参考,可以看到,大概2-3颗arm v7可以抵的上intel i3 2100里面的一个核,那么大概12颗可以超越一颗i3 2100。i3 2100的功耗每小时大概在50-60瓦左右,而12颗arm v7的功耗每小时不到4瓦。

在我写这篇作文的时候,i3 2100 大约600多一颗,12颗arm v7大约40美元,折合起来不到300。所以无论从能耗还是价格上看,arm cpu还是具备一定优势的。只是现在64位cpu没出来,做hadoop服务器没有什么计算优势,但是拿来当webserver或者存储服务器还是绰绰有余的。

不过我个人觉得,未来用arm服务器做hadoop服务器还是极具诱惑的。无论从能耗还是采购成本上,arm都很低廉,至少在我来看,还是很性感的。

时间: 2024-10-07 11:03:33

基于arm架构单片机的hadoop服务器尝试的相关文章

高通要做ARM架构服务器芯片:进军服务器

高通作为世界最大的移动芯片制造商,不甘心在一个领域里当“独孤求败”,他们计划生产ARM架构的服务器芯片进军服务器芯片领域. 据eWeek报道,11月19日,高通CEO Steve Mollenkopf于纽约对外透露,公司的工程师们正在研究服务器芯片技术,他说:现在我们要带着一个重量级产品进军服务器领域. 除此之外,Mollenkopf并没有透露这个项目的时间进程和技术细节. 在进军服务器芯片领域的路上,高通一定会遇到劲敌英特尔,立博娱乐城而英特尔已经占领了这个市场总额的90%.另外,ARM架构的

基于ARM的数据中心路在何方?

我们已经了解到百度采用ARM处理器研发数据存储节点.另外,还有一些Startup公司在研发基于ARM的服务器.今年,AMD又宣布开始研发基于ARM的处理器,不再局限于X86处理器架构.这一切都在说明什么?ARM正往数据中心前进. ARM处理器采用RISC的架构,其具有很好的性能/功耗比.对于数据中心而言,低功耗是一个永恒的话题.虽然,在服务器领域,以Intel为首的X86架构一度将MIPS.SPARC击溃,占据了服务器市场的重要份额.所以,如今放眼望去无论是存储设备还是应用服务器,基本都是采用了

基于ARM的SoC设计入门[转]

原文:基于ARM的SoC设计入门 我们跳过所有对ARM介绍性的描述,直接进入工程师们最关心的问题.要设计一个基于ARM的SoC,我们首先要了解一个基于ARM的SoC的结构.图1是一个典型的SoC的结构: 图1从图1我们可以了解这个的SoC的基本构成: ARM core:ARM966E AMBA 总线:AHB+APB 外设IP(Peripheral IPs):VIC(Vector Interrupt Controller), DMA, UART, RTC, SSP, WDT…… Memory bl

X86 架构和 ARM 架构

1.关于x86架构 X86是一个intel通用计算机系列的标准编号缩写,也标识一套通用的计算机指令集合,X86是由Intel推出的一种复杂指令集,用于控制芯片的运行的程序,现在X86已经广泛运用到了家用PC领域.x86是一个intel通用计算机系列的标准编号缩写,也标识一套通用的计算机指令集合,X与处理器没有任何关系,它是一个对所有*86系统的简单的通配符定义,例如:i386, 586,奔腾(pentium).由于早期intel的CPU编号都是如8086,80286来编号,由于这整个系列的CPU

课程设计个人报告——基于ARM实验箱的捕鱼游戏的设计与实现

课程设计个人报告--基于ARM实验箱的捕鱼游戏的设计与实现 个人贡献 实验环境的搭建 代码调试 在电脑上成功运行 在ARM实验箱上成功实现 给程序增加功能(没成功) 研究程序代码撰写小组报告 一.实验环境 Eclipse软件开发环境: ARM实验箱(HonyaS5PC100): windows操作系统. 二.实践内容 Windows环境下ARM集成开发环境的搭建与使用: 安装软件到模拟器: 连接ARM实验箱与PC机: 将工程代码在ARM实验箱上实现: 给程序增加新的功能. 三.实践步骤 3.1

X86 和 ARM架构对比

中央处理单元(CPU): 主要由运算器.控制器.寄存器三部分组成.运算器就是起着运算的作用,控制器就是负责发出CPU每条指令所需要的信息,寄存器就是保存运算或者指令的一些临时文件,这样可以保证更高的速度. CPU有着处理指令.执行操作.控制时间.处理数据四大作用.移动设备很复杂, CPU需要执行数以百万计的指示,才能使它向期待的方向运行,而CPU的速度和功率效率是至关重要的.速度影响用户体验,而效率影响电池寿命.最完美的移动设备是高性能和低功耗相结合. CPU架构 从CPU发明到现在,有非常多种

华为云推出业界首个基于ARM框架的云手机解决方案

华为云推出业界首个基于ARM框架的云手机解决方案在手机已经普及到千家万户的时代,人们对手机应用的诉求日益提升.为此,华为云推出了云手机. 华为云云手机提供基于云的虚拟仿真手机服务,将手机上的应用转移到云上的虚拟手机来运行,重新定义了手机应用的开发和使用. 1 华为云云手机靠谱么?就在2019年新年伊始,华为云云手机就斩获"2018年度杰出云计算创新产品奖".该奖项由51CTO主办的<中国企业"IT印象◆创新IT,赋能未来"年终评选>活动颁发. 同时,在绿

[转帖]华为海思Hi1620芯片发布在即 7nm制程ARM架构最高可达3.0GHz

华为海思Hi1620芯片发布在即 7nm制程ARM架构最高可达3.0GHz https://www.cnbeta.com/articles/tech/850561.htm 中电科旗下的普华软件 支持国产CPU Hi1620 参数看起来 还是很不错的. 一夜间,华为海思“备胎转正”,不仅周边的“备胎股”受到广泛关注.5月23日,普华基础软件在公众号透露“海思hi1620系列即将发布”的消息.并配有一张“普华基础软件”与“华为海思”的关系拼图. 访问: 华为商城 普华是一家什么公司?普华基础软件股份

DreamHouse项目(基于ARM与ZIGBEE技术的智能家居)之项目展示

这是本人做的一次有关智能家居的项目,仅是用来参加比赛的!或者是我用来练手的吧!大概花费了我近2个月的时间来完成他,平台是建立在博创S3C2410的嵌入式的箱子上的,我觉得我唯一没有足够自信说是自己写的代码的话就是驱动部分了,毕竟当时的状态也是刚刚把单片机的知识全部学会罢了,因为这是基础中的基础,对于C语言,在校的学生普遍是没有完全掌握的,对于开发真的知识储备确实不够!好吧废话我不多说了,先讲讲我自己做的项目吧!学生的练手项目,大家应该不会来喷我吧! 上图先! 通用模块 我本人真的是没有做出来,但