solr数据分片相关

solr操作url

使用正常的core，使用命令生成coillection

solr create_collection -c students2 -d ../server/solr/my/conf -shards 2 -replicationFactor 2  -router implicit  -routerField name
##　等价于调用以下url
http://localhost:8081/solr/admin/collections?action=CREATE&name=students&numShards=2&replicationFactor=2&maxShardsPerNode=2&collection.configName=students

1：所有shard上查询数据

http://localhost:8081/solr/mycollection/select?q=*%3A*

2：指定shard查询数据

http://localhost:8081/solr/mycollection/select?q=*%3A*&shard=shard1

3：当shard没有启动时，为了能正常查询需如下：

http://localhost:8081/solr/mycollection/select?q=*%3A*&shards.tolerant=true

4：添加集合

http://localhost:8081/solr/admin/collections?action=CREATE&name=mycollection&numShards=2&replicationFactor=2

参数名 说明

Name 要创建的集合名称

numShards 指定集合Shard的数量

replicationFactor 指定每个Shard副本数量

maxShardsPerNode 每个Solr服务器节点上最大Shard数量

5：删除集合

http://localhost:8081/solr/admin/collections?action=DELETE&name=mycollection

6：重新加载

http://localhost:8081/solr/admin/collections?action=RELOAD&name=mycollection

时间： 2024-10-10 01:12:11

solr数据分片相关的相关文章

第一幕数据分片与路由

---恢复内容开始--- 一.数据分片相关: 数据分片:系统水平扩展.数据分片存的各个机器上 数据复制:保证数据的高可用性,保证读操作的效率,客服端从多个备份数据中选择物理距离较近的读取,提高单次读取效率 数据路由:分片后找到某条记录的存储位置 缺点:数据一致性 二.数据分片和路由的抽象模型 二级映射: 1.key - partation:数据分到数据分片,1对多:一个分片包涵多条数据 2.partation--machine:数据分片到物理机中,1对多:一个物理机包涵多个分片 路由:获得某条记

数据分片

数据分片 在分布式存储系统中,数据需要分散存储在多台设备上,数据分片(Sharding)就是用来确定数据在多台存储设备上分布的技术.数据分片要达到三个目的: 分布均匀,即每台设备上的数据量要尽可能相近: 负载均衡,即每台设备上的请求量要尽可能相近: 扩缩容时产生的数据迁移尽可能少. 数据分片方法 数据分片一般都是使用Key或Key的哈希值来计算Key的分布,常见的几种数据分片的方法如下: 划分号段.这种一般适用于Key为整型的情况,每台设备上存放相同大小的号段区间,如把Key为[1, 10000

MongoDB复制集及数据分片详解

前言 MongoDB是一个由C++语言编写的基于分布式文件存储的数据库,是当前NoSQL数据库中比较热门的一种,旨在为Web应用提供可扩展的高性能数据存储解决方案.本文介绍MongoDB复制集及数据分片. MongoDB 简介 MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的.支持的数据结构非常松散,因此可以存储比较复杂的数据类型.最大的特点是其支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询

大数据图数据库之数据分片

节选自<大数据日知录:架构与算法>十四章,书籍目录在此 对于海量待挖掘数据,在分布式计算环境下,首先面临的问题就是如何将数据比较均匀地分配到不同的服务器上.对于非图数据来说,这个问题解决起来往往比较直观,因为记录之间独立无关联,所以对数据切分算法没有特别约束,只要机器负载尽可能均衡即可.由于图数据记录之间的强耦合性,如果数据分片不合理,不仅会造成机器之间负载不均衡,还会大量增加机器之间的网络通信(见图14-5),再考虑到图挖掘算法往往具有多轮迭代运行的特性,这样会明显放大数据切片不合理的影响,

Solr数据备份

Solr数据备份包括如下这些文件: solr config文件包括: solr.xml, 它位于SOLR_HOME下 schema.xml, solrconfig.xml,stopwords.txt,synonyms.txt等和你应用相关的配置文件,他们通常位于SOLR_HOME/conf下. lucene index文件,它通常位于SOLR_HOME/data下面.该目录下面存放了真正的数据,我们主要就是讨论如何备份这里的数据. 备份方法 备份lucene index数据文件也分成两种方式:冷

《MyCat 学习笔记》第六篇.数据分片 之 按月数据分片

1 应用场景 Mycat 有很多数据分库规则,接下来几篇就相关觉得常用的规则进行试用与总结. 一般来说,按自然月份来进行数据分片的规则比较适用于商城订单查询,类似最近1周.2周.3个月内的数据.或是报表类应用. 这样的数据放在一个片区内省去了数据合并的时间. 当然按月数据量不要过大就OK.   2 环境说明 Windows 7 本机多数据库 Mysql 5.5.2 3306 端口下挂有4个库 : range_db_4.range_db_5.range_db_6.range_db_7 3310 端

带着问题学习分布式系统之数据分片

在前文中,提出了分布式系统(尤其是分布式存储系统)需要解决的两个最主要的问题,即数据分片和数据冗余,下面这个图片(来源)形象生动的解释了其概念和区别: 其中数据即A.B属于数据分片,原始数据被拆分成两个正交子集分布在两个节点上.而数据集C属于数据冗余,同一份完整的数据在两个节点都有存储.当然,在实际的分布式系统中,数据分片和数据冗余一般都是共存的. 本文主要讨论数据分片的三个问题: (1)如何做数据分片,即如何将数据映射到节点 (2)数据分片的特征值,即按照数据中的哪一个属性(字段)来分片 (3

高级开发不得不懂的Redis Cluster数据分片机制

Redis 集群简介 Redis Cluster 是 Redis 的分布式解决方案,在 3.0 版本正式推出,有效地解决了 Redis 分布式方面的需求. Redis Cluster 一般由多个节点组成,节点数量至少为 6 个才能保证组成完整高可用的集群,其中三个为主节点,三个为从节点.三个主节点会分配槽,处理客户端的命令请求,而从节点可用在主节点故障后,顶替主节点. 如上图所示,该集群中包含 6 个 Redis 节点,3主3从,分别为M1,M2,M3,S1,S2,S3.除了主从 Redis 节

26. ClustrixDB 分布式架构/数据分片

数据分片 介绍 共享磁盘vs.无共享 分布式数据库系统可分为两大类数据存储架构:(1)共享磁盘和(2)无共享. Shared Disk Architecture Shared Nothing Architecture 共享磁盘方法在协调对单个中心资源的访问时受到几个固有的体系结构限制.在这样的系统中,随着集群中节点数量的增加,协调开销也随之增加.虽然一些工作负载可以通过共享磁盘很好地扩展(例如,由大量读操作控制的小型工作集),但是大多数工作负载的扩展能力都很差——尤其是具有大量写负载的工作负载.