超人学院大数据技术沙龙

头一次,参加技术沙龙哈哈哈哈哈

第一个牛人演讲概要

1.图计算

2.Tungsten

3.建议

图存储与计算机中是一个矩阵,在矩阵中标识各个定点和边的属性。

在图中求取关键路径则需要图计算,相对于hadoop的技术要快很多。主要因为图计算的每次迭代都会去掉一些信息(点和线)。hadoop则是全部在进行运算。所以相对于一些图的问题,还是图计算比较快。

图计算的几个框架

GIRAPH(开源)、GraphLab(开源,速度快)、GoolgePregel(未开源)

图计算的应用:

PageRank图,权重

User_Item Graphs

Triangle Counting三角形计算

Social NetWorks 社交网络

Tungsten比较快,在dateset中自动引用。由于使用了java中的sun.misc.unsafe。不使用jvm的垃圾回收策略,自己控制后大大提升了计算速度。

例如:字符串“abcd”正常应该是4个字节,但是如果是对象的表示则添加object head12字节,而后还加了一些其他的东西,一共是24字节。在java中使用unicod保存,则24*2=48字节。

这个就是使用jvm的差异,在gcTime中

图中使用BSP模型

建议:

不一定是分布式就会快,网路传送数据会有很多的延迟消耗。只要将大数据计算中的模型,基本的原型搞懂,不一定非要分布式才会高效。最好高效的算法需要自己实现。

大数据能力:存储、计算、查询、挖据

pasal语言很重要????不知道什么语言了。妈的

go语言

scala语言

时间: 2024-11-05 06:12:26

超人学院大数据技术沙龙的相关文章

首届中国大数据技术沙龙会议

当今最红的名词是大数据,掌握趋势,才能赢得未来!首届中国大数据技术沙龙会议暨超人学院技术交流会,邀请各位前来参会.在这里,你可以了解大数据技术的趋势,掌握企业对于技术的最新动态,学习和分享你在工作中的经验及问题,你可以分享也可以提问,让你掌握大数据最前沿的技术.奔跑吧,兄弟!赶快报名参加!更多精彩内容抢先看!

首届中国大数据技术沙龙会议邀请函

当今最红的名词是大数据,掌握趋势,才能赢得未来!首届中国大数据技术沙龙会议暨超人学院技术交流会,邀请各位前来参会.在这里,你可以了解大数据技术的趋势,掌握企业对于技术的最新动态,学习和分享你在工作中的经验及问题,你可以分享也可以提问,让你掌握大数据最前沿的技术.奔跑吧,兄弟!赶快报名参加!更多精彩内容抢先看!

超人学院大数据高薪就业班第十期火爆招生中

超人学院第十期火爆招生中,你想明年跳槽吗,你想高薪就业吗,你想一毕业就找到好工作吗,那么赶快报名超人学院大数据高薪就业班吧, 大数据 好工作 成功高薪就业!! http://www.crxy.cn/course/job9 

超人学院Hadoop大数据技术分享

超人学院Hadoop大数据技术分享 Docker从入门到实践 http://yunpan.cn/cQJeEIPQxDzh5 (提取码:a4e9) 更多精彩内容请关注:http://bbs.superwu.cn 关注超人学院微信二维码:

大数据技术人年度盛事! BDTC 2016将于12月8-10日在京举行

2016年12月8日-10日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所和CSDN共同协办的2016中国大数据技术大会(Big Data Technology Conference 2015,BDTC 2016)将在北京新云南皇冠假日酒店隆重举办. 图片描述 中国大数据技术大会(BDTC)的前身是Hadoop中国云计算大会(Hadoop in China,HiC).从2008年仅60余人参加的技术沙龙到当下数千人的技术盛宴,目前已成为国内最具影响力.规模

【云+社区极客说】新一代大数据技术:构建PB级云端数仓实践

本文来自腾讯云技术沙龙,本次沙龙主题为构建PB级云端数仓实践 在现代社会中,随着4G和光纤网络的普及.智能终端更清晰的摄像头和更灵敏的传感器.物联网设备入网等等而产生的数据,导致了PB级储存的需求加大. 但数据保留下来并不代表它真的具有利用价值,曾经保存的几TB的日志,要么用来做做最简单的加减乘除统计,要么就在日后出现问题了,扒出日志堆找证据.你的影视库里面可以下载储存成千上万部影片,但不代表你真的能全部看完. 如何将手里现有的数据变得更具有价值?一些营销云已经可以做到毫秒级响应做到精准投放广告

基于大数据技术的手机用户画像与征信研究

内容提要:手机用户画像是电信运营商实现“数据驱动业务与运营”的重要举措.首先,介绍了手机用户画像过程中对个人隐私保护的方法,然后分析手机用户画像的数据来源与大数据实现技术,最后,通过数据样本实例分析手机用户画像在个人征信中的应用. 引言 随着计算机网络技术的不断发展,“数据即资源”的大数据时代已经来临.用户画像是电信运营商为了避免管道化风险,实现“数据驱动业务与运营”的重要举措.用户画像与应用大数据技术对客户分类密切相关,是单个客户的众多属性标签的累积:另一方面,在运营商涉足的消费金融领域,对手

浅谈大数据技术

忽如一夜春风来,无人不谈大数据.大数据就像前两年的云计算一样,是一个时下被炒得很火的概念.那么什么是大数据,大数据是如何定义的,大数据处理技术有哪些,大数据能给我们带来什么益处?虽然我不知道现在这些概念是如何被炒作的,但是作为一名互联网行业的从业者,作为一个大数据技术的实践者,根据自己的理解和经验发表一点浅显的认识,理解肯定有不到位之处请大家批评指正. 无论是大数据技术还是云计算技术,其实这些技术都不是突然冒出来的,而是随着互联网技术的发展,人们把现有的技术加以整合,总结,概括出来并冠一个新名字

京东基于大数据技术的个性化电商搜索引擎

介绍京东个性化搜索引擎应用场景,和如何利用大数据技术实现个性化搜索.京东个性化场景包括基于行为.偏好.地域.时间.好友关系等维度,其中偏好是个性化搜索重点考虑的内容,分享会介绍搜索如何应用长期偏好.实时偏好以及偏好在不同的平台(web.移动.微信/手Q)起到的作用.在实现个性化搜索当中会分享京东搜索在解决个性化过程中遇到的问题.使用的技术.以及经验和思考. 原文:http://www.infoq.com/cn/presentations/jingdong-personalized-search-