[zz] 董昊:交流会小结

原文链接

上周五去北航参加了一个文件系统和存储的交流会,是华为牵头办的,小会议,参会不到30个人。本人水平有限,只能挑一些听懂的留个笔记。

首先是清华大学的陆游游同学讲一个全新设计的基于FLASH存储的文件系统。大概思路是将存储管理和SSD上的FTL合并在一起做成一层,还利用NAND片上每个PAGE的额外存储空间存放一些元数据以在机器断电重启后重新沿链接找回数据(这样就可以不用journal了,似乎也可以认为是把journal放在了PAGE的额外存储空间里),然后在上面架一个新的简化的文件系统做基本的namespace管理。这个思路跟DFS有点像,不过DFS只是上面那一层薄薄的namespace管理,下面就交给Fusionio的firmware了。

华为的谢美伦介绍了手机终端上几种常用文件系统的评测。Android上当然首推ext4,但是后起之秀f2fs更简单且随机写性能不输ext4(这点大家有争论,有人认为这个评测应该写满存储卡再全删掉,再重新测试,也就是要把FTL打乱了再测,会更公正),不过来自阿里云的刘铮表示:google倾向于在服务器和手机上使用统一的文件系统即ext4以方便维护。看来f2fs虽然更贴合NAND,但是大厂支持上还不够丰富。

来自百度的杨勇强介绍了百度的分布式存储和文件系统。这个,互联网的玩法太相似了,主从结构,erasure code,就不累述了。讲到中途的时候,来自华为存储部门的几个工程师问了很多分布式环境下锁的问题,发现互联网由于应用和底层都是自己写,所以可以玩很多花招,比如一个文件只允许一个写进程操作等等,而且,互联网公司不怕内核panic,反正是负载均衡,宕机一台重启就可以了,所以对底层软件的稳定性也没有太多要求。他们深感做企业存储不得不高效的实现整个POSIX,比互联网的分布式存储难做多了。也有工程师向百度提问为什么用ARM服务器?真的那么需要省电吗?百度的谢广军回答说省电是必要的,一台两路服务器光xeon CPU耗电就到了85瓦,换成ARM变成几瓦,还是挺明显的。

最后由来自华为的程菊生博士介绍已经广泛宣传的OceanStore 9000,最大40PB的存储集群。我们几个人马上提问:用的是以太网还是Infiniband?答曰Infiniband,大家相视而笑,这年头,高端一点的企业存储不用Infiniband根本不行,延时降不下来啊。OceanStore 9000里既有硬盘也有SSD,SSD用来做自动分层的缓存层(这大概是为了成本),其中硬盘用RAID 2.0的方式组织,以加快坏盘后的数据恢复速度。

纯个人感受,做存储(泛泛而谈,不专指企业存储),底层和架构就是那些,Infiniband啊,主从结构啊,RAID啊,双控啊,各家的都差不太多。就看怎么拼在一起,怎么处理一系列细节问题了,换句话说,看的是各家的节操 

[zz] 董昊:交流会小结

时间: 2024-10-09 13:07:39

[zz] 董昊:交流会小结的相关文章

linux 内核---------董昊 ( Robin Dong ) and OenHan

http://oldblog.donghao.org/ http://blog.donghao.org/%E6%97%A7%E5%8D%9A%E5%AE%A2/ http://blog.donghao.org/ http://www.oenhan.com/archives Linux kernel virtualization developer, KVM & XEN Blog: www.oenhan.com

[转]Unix/Linux开源世界资源链接汇总

转自:http://blog.csdn.net/21aspnet/article/details/6754126 最后更新:2012.12.04 说明:好东西在后面,Linux镜像基本涵盖全球主要下载点.[长期更新] 世界很大,我们很小,学海无涯,书山有路! 一.内核 Unix代码大全 http://minnie.tuhs.org/ UnixV6 https://github.com/Rajmohan/UnixV6 编程语言开源框架等使用统计网址 http://w3techs.com/ Free

我的2015年小结

2015年就要过去了,回首望去,这一年收获很大,今天小结一番. 1. 关于工作 今天是毕业后工作的第三年了,得益于在学校时打下的基础,再加上前两年很努力的积累,今年的工作得心应手,组里比较重要的几个项目都有我的参与,特别是"无人机Android客户端"和"智能眼镜"这两个项目,让我无论在Android App的开发上,还是在Framework层的定制上,都积累的不少的经验.由于绩效还不错,今年还被公司提前升级为了"Senior",确实感觉挺高兴的

[ZZ] GTX760首测

再一次让AMD难做!NVIDIA新主力GTX760首测 1又见短板高端显卡,GTX760外观对比回顶部 [PConline评测]NVIDIA迅速的步伐真让人吃惊,短时间内拿出GTX780.GTX770,如今GTX760也要跟大家见面了.相对于前两款显卡,GTX760更面向大众市场,价格无需挪动数千,而且按照以往“6”字辈,GTX760在千元价位中,会火起来. 对于GTX760,我们之前就曝光过不少的信息,如今终于确认了,也印证了当时的曝光大多都是正确的,下面我们一齐来看看GTX760的表现. G

Linux磁盘IO监控[zz]

磁盘 I/O 监控是 Unix/Linux 系统管理中一个非常重要的组成部分.它可以监控吞吐量.每秒 I/O 数.磁盘利用率.服务时间等信息,并且在发现异常时,发送告警信息给系统管理员,便于系统管理员进行调整数据布局等管理活动以达到优化系统总体性能的目的. 不同的操作系统监控磁盘 I/O 的命令可能略有不同.本文将介绍 Unix/Linux 操作系统磁盘 I/O 管理命令及相关信息,并讲述 Unix/Linux 操作系统上磁盘 I/O 管理监控的自动化脚本实现. Unix/Linux 磁盘 I/

2017技术人成长交流会

_ p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 16.0px "Helvetica Neue"; color: #3e3e3e; min-height: 18.0px } span.s1 { } 2017 技术人成长交流会 2017年8月6日,趣直播首次线下活动"2017技术人成长交流会"圆满落幕.本次交流会有幸邀请到小猿搜题产品技术负责人唐巧.易宝支付产品中心首席架构师李艳鹏.简书知名技术作者张星宇.<Tens

函数fgets和fputs、fread和fwrite、fscanf和fprintf用法小结 (转)

函数fgets和fputs.fread和fwrite.fscanf和fprintf用法小结 字符串读写函数fgets和fputs 一.读字符串函数fgets函数的功能是从指定的文件中读一个字符串到字符数组中,函数调用的形式为: fgets(字符数组名,n,文件指针): 其中的n是一个正整数.表示从文件中读出的字符串不超过 n-1个字符.在读入的最后一个字符后加上串结束标志'\0'.例如:fgets(str,n,fp);的意义是从fp所指的文件中读出n-1个字符送入 字符数组str中. [例10.

01王雪莲-17董琪-实训一

一:码云代码--https://gitee.com/wxl19981225/sx1/blob/master/Main.java 二:照片 三:标题--黄金点 阿超的课都是下午两点钟,这时班上不少的同学都昏昏欲睡,为了让大家兴奋起来,阿超让同学玩一个叫"黄金点"的游戏: N个同学(N通常大于10),每人写一个0~100之间的有理数 (不包括0或100),交给裁判,裁判算出所有数字的平均值,然后乘以0.618(所谓黄金分割常数),得到G值.提交的数字最靠近G(取绝对值)的同学得到N分,离G

11.7 CSP赛前集训小结

11.7 CSP赛前集训小结 今天是单赛日 1.上午的订正:没啥好说的 昨天的T1,稍微写下思路,维护高度差然后直接分情况讨论会很让人自闭,再加上符号+-和变化量的不同,会爆炸,那么不妨将之间的变化先减去,算上答案后再再加回来即可,正难则反的道理. #include<stdio.h> #include<bits/stdc++.h> #define maxn 200005 using namespace std; long long Ht[maxn]; long long n,q,s