杂谈之SolrCloud这个坑货

杂谈之SolrCloud这个坑货

看《Solr In Action》时候看到对Solr不足的介绍有这么一段话:“One final limitation of Solr worth mentioning is its elastic scalability: the ability to automatically add and remove servers and redistribute content to handle load. While Solr scales well across servers, it doesn’t yet elastically scale by itself in a fully auto- matic way.  ”于是不由得想到公司里部署的SolrCloud的一些问题。

1. SolrCloud的扩容问题,Solr对于集群的扩展上具有明显的劣势,无法做到动态的扩容以及数据的负载均衡。本人的公司是卖服务器的,比如之前卖了一台规格为5亿数据量的服务器,客户使用了一段时间发现数据量超过了5亿,那么它就会再买一台并和前面的那台组成集群。这个时候就涉及到扩容的问题,如何从单台变为集群,如何将一台5亿数据均衡到每台2.5亿上,如何保证扩容的时候服务器仍然进行在线的索引以及查询操作。这简直已经困扰了我半年了,一直都没有有效的策略,这是SolrCloud的短板,但是也是每一个使用Solr的必须去解决的。据说ElasticSearch在这方面做的很出色,接下来得学习下ElasticSearch以取取经。希望很快能找到解决措施再来这里接着写。

2. SolrCloud是依赖zookeeper的,我在对SolrCloud进行容灾和压力测试中,尝会出现SolrCloud的死机,或者shard要么recovery 失败要么就是一直在recovery,初步估计是根zookeeper通信有关(当然这跟我们对zookeeper的使用有关,我们的服务器同时运行solr和zookeeper,没办法谁叫我们是卖服务器的,能省则省),SolrCloud的容灾性能没有他说的那么好,最近有10台以上的集群需求,得充分把集群搞稳定了,甚是担忧。

3.  书上说,集群跟单机的查询性能比是如下,大多数情况是没错,但是Aggregation Overhead这部分的性能还是会很影响集群的查询的,比如极端的情况翻页+排序查询。(Query Speed on N+1 indexes) = Aggregation Overhead + (Query Speed on N indexes)/(N+1)

时间: 2024-10-13 16:24:14

杂谈之SolrCloud这个坑货的相关文章

HDU 4082 Hou Yi's secret-求相似三角形的最大个数-(坑货)

题意:找相似三角形的最大个数.注意不是所有相似三角形的个数,而是不同类相似三角形 中个数最大的 分析: 之前理解成了所有相似三角形的个数,所以尽管考虑了所有的特殊情况以及精度问题还是不停的wawawa,甚至重新写了一遍不用余弦来判断而是用边.绝望之中仔细看别人的代码,原来题意理解错了. 这题的收获: 1.三角形相似的判定:用余弦定理.或者边成比例.最好用边,然后判定的时候不用比值,用乘积,这样就不存在精度问题. 2.耐心.对自己有信心. 代码: #include<iostream> #incl

坑货...放开那个View

1 public class ViewMeasuare extends View { 2 3 public ViewMeasuare(Context context, AttributeSet attrs) { 4 super(context, attrs); 5 } 6 7 protected void onMeasure(int widthMeasureSpec, int heightMeasureSpec) { 8 super.onMeasure(widthMeasureSpec, hei

微信是个坑货2-远程调试

目的:使用vs本地调试微信服务器发送到API接口的内容  --iis配置 打开iis,打开要调试的web项目 web项目必须要使用80端口(或者443端口) 主机名指定花生壳注册的域名,配置需同花生壳的服务器配置一致.  --vs配置(个人使用的是vs2017) >以管理员身份运行vs >打开web项目,右键选择属性 设置服务器为本地IIS 设置项目URL为花生壳注册的域名 Ctrl+S保存当前配置(如未以管理员身份打开vs,则本步骤无法保存) --启动调试 选择调试-附加到进程 >连接

微信是个坑货3-微信小店添加

功能:在自定义菜单中添加微信小店链接 --开通微信服务号并认证 --开通微信支付 --开通微信小店 --微信小店操作 >微信小店依次操作 添加商品-设置分组-设置货架 >小程序管理中绑定体验者 >在货架审核之前,使用体验者账号查看 点击二维码,使用体验者微信号扫描. 点击右上方三条杠,打开功能列表,选择打开调试. 然后关闭体验版微信小店,再重新打开,点开[vConsole],打开调试信息. 记录下 On app route的值 作为自定义菜单的pagepath --发布货架 --小程序管

react js踩坑之路(一)

讲真如果让我选个主流的mvvm框架做项目,我会果断选择vue,写起来不要太方便哦.但是,pc端要兼容ie8这个坑货,所以pc端只好选用react了啦~移动端果断用vue咯 再来讲讲构建工具,还是基于webpack 和 gulp,然后将react和vue 分开打包相关配置如下 webpack会依次将公用的打包到vendors.js .react的打包到react中,vue相关的打包到vue中,最后剩下的部分打包到load.js中. 下面直接用react实现一个后台页面的container组件吧,这

YII配置rabbitMQ时前期工作各种坑

背景如下: 项目需要做一个订阅/发布的功能,然后一大堆讨论不做说明,确认使用rabbitMQ来做: okay,既然 要这个来做,我们下载这个东西吧!在官网上下载就okay了,不做说明,下载安装的时候会提示你下载erlang语言,下就是了,不管: 要知道rabbitMQ是服务器,所以就想进入页面了,相信英文不好的同学,就回去百度啊,谷歌啊,然后有了在浏览器中输入localhost:15672,然后发现根本打不开,然后又继续百度,各种坑, 然后推荐方法:在安装的rabbitmq的sbin目录下去,在

关于近期遇到的坑-SurfaceView,RecylerView等

近期参与了一个多人视频通话的业务,在其中使用SurfaceView负责显示用户的视频流,没想到被坑死.. 关于显示和隐藏 背景: 由于是用六宫格的形式同时展示多人的视频,就选用了RecyclerView来实现,视频用SurfaceView展示,如果用户关掉了摄像头,使用语音模式就不显示SurfaceView,只显示用户头像就可以了. 因为之前仅仅用过SurfaceView当做显示摄像头数据,没有深入研究过,这次栽倒坑里了. 实现的方式是如果是视频模式就add一个surfaceView到一个Fra

codevs1281 矩阵乘法 快速幂 !!!手写乘法取模!!! 练习struct的构造函数和成员函数

对于这道题目以及我的快速幂以及我的一节半晚自习我表示无力吐槽,, 首先矩阵乘法和快速幂没必要太多说吧,,嗯没必要,,我相信没必要,,实在做不出来写两个矩阵手推一下也就能理解矩阵的顺序了,要格外注意一些细节,比如快速幂时ans矩阵的初始化方式,快速幂的次数,矩阵乘法过程中对临时矩阵的清零,最后输出结果时的初始矩阵...矩阵快速幂好理解但是细节还是有点小坑的.. 下面就是满满的槽点,,高能慎入!!! 对于这个题目要求矩阵过程中对m取模,结果对g取模,我表示难以接受,,上来没看清题直接wa19个点,另

迅雷路由器刷机

1.之前买了一个迅雷路由器(一柱擎天),本来想赚些水晶的,谁想到水晶越来越便宜,迅雷就是个坑货,所以就准备刷机,换个系统还能玩玩 2.http://luyou.xunlei.com/thread-12680-1-1.html 这篇帖子里详细的写了刷机方法 3.使用网线连接路由器,使用putty 连接, 192.168.111.1 56 5186 4.确保当前运行在1分区 若显示 second_image_load=on 表示运行在1分区 若显示 second_image_load=off 表示运