实时检索6700亿条推文,细谈Twitter搜索引擎的演进历程

Twitter的实时搜索引擎起步于一家被收购的小公司,随着流量的增长、功能的增加和服务对象的扩张,搜索引擎不断面临着新的挑战,设计经历了多次变化。本演讲将介绍该实时搜索引擎进化历程中的挑战和决策。

王天, Twitter Senior Staff Engineer, 2003年清华计算机系本科毕业并赴美留学,2005年硕士毕业后加入Google,在Mobile Search、News以及Search Quality等部门从事过近六年开发。2011年初加盟Twitter,参与了Twitter实时相关性搜索产品从无到有的建设过程。现任Twitter的Senior Staff Engineer,带领搜索质量团队。 从小就对计算机很有兴趣,编程序超过二十年,对于互联网尺度软件、分布式系统、搜索引擎等有多年经验。在键盘上一路走来,有幸目睹了两家主要互联网公司在百人、千人、万人员工尺度上的成长,对个中工程上的挑战和人员合作上的曲折有诸多感触。 滑雪爱好者。

以上仅是部分PPT内容,点击阅读原文链接,下载演讲PPT。

时间: 2024-10-10 22:23:44

实时检索6700亿条推文,细谈Twitter搜索引擎的演进历程的相关文章

新浪是如何分析处理32亿条实时日志的?

服务介绍 随着实时分析技术的发展及成本的降低,用户已经不仅仅满足于离线分析.目前我们服务的用户包括微博,微盘,云存储,弹性计算平台等十多个部门的多个产品的日志搜索分析业务,每天处理约32亿条(2TB)日志. 技术架构 简单介绍一下服务的技术架构: 这是一个再常见不过的架构了: (1)Kafka:接收用户日志的消息队列 (2)Logstash:做日志解析,统一成json输出给Elasticsearch (3)Elasticsearch:实时日志分析服务的核心技术,一个schemaless,实时的数

每天近百亿条用户数据,携程大数据高并发应用架构涅槃

互联网二次革命的移动互联网时代,如何吸引用户.留住用户并深入挖掘用户价值,在激烈的竞争中脱颖而出,是各大电商的重要课题.通过各类大数据对用户进行研究,以数据驱动产品是解决这个课题的主要手段,携程的大数据团队也由此应运而生;经过几年的努力,大数据的相关技术为业务带来了惊人的提升与帮助. 以基础大数据的用户意图服务为例,通过将广告和栏位的"千人一面"变为"千人千面",在提升用户便捷性,可用性,降低费力度的同时,其转化率也得到了数倍的提升,体现了大数据服务的真正价值. 在

如何设计好一条推送通知

你注意过么,每天从不同的 App 上收到的大量的推送通知与提醒,这些通知里有多少你真的有兴趣? 智能手表屏幕上无意义的通知 每天,用户对各种没用的通知应接不暇,这些通知让他们分散注意力,甚至成为了骚扰.骚扰的通知是用户卸载移动应用的首要原因(71% 的被调查者) app卸载原因 经过设计的.对用户有用.有相关性的通知,是非常重要的.为了提高参与度,通知是公司能够直接与用户交互,在正确的时间.地点,发送正确的消息最强大的工具. 下面让我们看看,如何把这个反用户体验,转变为对你的产品与用户,既有意义

七牛是如何搞定每天500亿条日志的

转自:http://blog.qiniu.com/archives/3928 七牛是如何搞定每天500亿条日志的 牛小七2015年7月31日发布在 技术分享 7月30日,七牛数据平台工程师王团结在CSDN Spark微信用户群,与近千名Spark技术开发人员,结合七牛内部使用的数据平台,深入分享了团队是如何利用Flume.Kafka.Spark Streaming等技术搞定每天500亿条日志的,并详细讲解了各个工具使用的注意点.王团结,主要负责七牛数据平台的设计研发工作,关注大数据处理和 高性能

公众号的推文

阅读相关文档:https://mp.weixin.qq.com/wiki?t=resource/res_main&id=mp1418702138主要关注[管理]与[开发]模块,统计模块将有助于反馈读者群体的特点,某些推文的热度等等. 公众号的推文目的:增加热度分享认知 推文在:管理-->素材管理-->新建图文消息-->预览-->保存并群发确定阅读人群[根据关注者的特点确定语言风格,同时注意避免不合适的内容]编写标题[简洁,有吸引力,有价值,有味道]上传素材图片[按照素材的功

1.3万亿条数据查询如何做到毫秒级响应?

关注微信公众号"程序员黄小斜",选择"置顶或者星标" 一起成为更好的自己! ![](https://img2018.cnblogs.com/blog/1813797/201912/1813797-20191230133159470-930879899.jpg) 作者:孙晓光 出处:http://itindex.net/ 知乎,在古典中文中意为"你知道吗?",它是中国的 Quora,一个问答网站,其中各种问题由用户社区创建,回答,编辑和组织. 作为

MySQL 快速构造一亿条记录的表

  在上一次朋友问我如何快速构造一亿条记录的表后,我理出了实行的办法,见:http://blog.csdn.net/mchdba/article/details/52938114,但是因为录入一亿表需要2个小时,所以还是感觉速度慢了些,那有没有啥办法能加快这一步骤呢?   1.建一张通用的用户表 建用户表没有啥变化,还是和上次一样. USE test; CREATE TABLE `UC_USER` ( `ID` BIGINT (20), `USER_NAME` VARCHAR (400), `U

MySQL 如何准备一亿条记录的表来测试

曾经一个朋友问我如何快速的在线往一个大表里面添加一个字段或者修改一个字段的长度,mysql版本是5.6,所以就准备在测试环境准备一个一亿条记录的表,然后来实际测试下到底哪种方式比较快,先来开始准备一亿条记录的表.   我线上有上亿条记录的表,但是很多网上朋友都没有,那么我这里就实践了一条办法,来实现自己构造一亿条数据记录的表.实现思路就是先建一张通用的20个字段左右的用户表,然后写一个存储过程,不停的往这个表里面写数据,while循环写上一亿次,这样就形成了一张一亿条记录的表出来.     1.

揭秘亿级推送系统

揭秘亿级推送系统揭秘亿级推送系统揭秘亿级推送系统揭秘亿级推送系统揭秘亿级推送系统揭秘亿级推送系统揭秘亿级推送系统揭秘亿级推送系统揭秘亿级推送系统揭秘亿级推送系统揭秘亿级推送系统揭秘亿级推送系统揭秘亿级推送系统揭秘亿级推送系统揭秘亿级推送系统揭秘亿级推送系统揭秘亿级推送系统揭秘亿级推送系统揭秘亿级推送系统揭秘亿级推送系统