php-elasticsearch scroll分页详解

背景

ps:首先我们在一个索引里面写入一万条以上的数据。作为数据源

现在我想看到第一万零一条数据,首先第一想法是,from 10000 size 1 ,这样做会包下面错误。显然是不成立的。此时便会用到scroll分页,

补充一点:from size分页,假如你要获取第1000到1010条数据,即from: 1000 size :10,它内部会先取出1-1010条数据,然后丢弃第1-1000条,保留最后十条并展示。

正文 :

(1)es内操作
第一步: index/type/_search?pretty&scroll=2m
此时会返回一个scroll值

第二步: 直接用scroll_id进行查询。

这样一步步的滚动查询就可以了

第三步 清除scroll
虽然我们在设置开启scroll时,设置了一个scroll的存活时间,但是如果能够在使用完顺手关闭,可以提早释放资源,降低ES的负担

DELETE 127.0.0.1:9200/_search/scroll
{
    "scroll_id": "DnF1ZXJ5VGhlbkZldGNoBQAAAAAAdsMqFmVkZTBJalJWUmp5UmI3V0FYc2lQbVEAAAAAAHbDKRZlZGUwSWpSVlJqeVJiN1dBWHNpUG1RAAAAAABpX2sWclBEekhiRVpSRktHWXFudnVaQ3dIQQAAAAAAaV9qFnJQRHpIYkVaUkZLR1lxbnZ1WkN3SEEAAAAAAGlfaRZyUER6SGJFWlJGS0dZcW52dVpDd0hB"
}

(2)php-elasticsearch scroll分页

public function index()
{
$page = $_REQUEST[‘page‘] ?? 1;
$size = $_REQUEST[‘size‘] ?? 10;
$searchParams=array(
"index" => "eds_user_location",
"type" => "info",
// "search_type" => "QUERY_THEN_FETCH",
"scroll" => "1m",
"size" => $size,
// "from" => $page*$size
);
$searchParams[‘body‘] = array(
#查询条件
);
$docs = $this->client->search($searchParams);
$scroll_id = $docs[‘_scroll_id‘];
$i=1;
if($page == 1 ){
$this->ajaxReturn(array(
‘code‘ => 1,
‘data‘ => $docs[‘hits‘][‘hits‘]
));
}
while ($i < $page) {
$response = $this->client->scroll(
array(
"scroll_id" => $scroll_id,
"scroll" => "1m"
)
);

if (count($response[‘hits‘][‘hits‘]) > 0) {
// Do Work Here

// Get new scroll_id
$scroll_id = $response[‘_scroll_id‘];
} else {
break;
}
$i++;
}
$this->ajaxReturn(array(
‘code‘ => 1,
‘data‘ => $response[‘hits‘][‘hits‘]
));
}

原文地址:https://www.cnblogs.com/paopao123/p/10749282.html

时间: 2024-11-16 04:20:09

php-elasticsearch scroll分页详解的相关文章

elasticsearch中api详解

一.cluster API详解 1.cluster health(获取集群的状态) 集群状态: green:绿色表示所有的碎片都被分配 yellow:黄色表示主碎片被分配,但副本不是     red:表示特定的碎片没有在集群中分配 请求参数 level: cluster,indices,shards wait_for_status: green,yellow,red [[email protected] ~]# curl -XGET 'http://10.2.11.225:9200/_clust

jquery easyui datagrid 分页 详解

前些天用jquery easyui的table easyui-datagrid做分页显示的时候,折腾了很久,后来终于解决了.其实不难,最主要我不是很熟悉前端的东西. table easyui-datagrid分页 有一个附加的分页控件,只需后台获取分页控件自动提交的两个参数rows(每页显示的记录数)和page(当前第几页)然后读取相应页数的记录,和总记录数total一块返回即可. 1.界面 2.前端代码 <table id="dg" title="文章管理"

ElasticSearch Java api 详解_V1.0

原英文文档:http://www.elasticsearch.org/guide/en/elasticsearch/client/java-api/index.html (各个版本的api) Search部分: 查询有两种方法:query Java API和filter Java API 首先看一个例子: import org.elasticsearch.action.search.SearchResponse; import org.elasticsearch.action.search.Se

Jquery EasyUI datagrid后台数据表格生成及分页详解

由于项目原因,网站后台需要对用户信息进行各种操作,有时还需要进行批量操作,所以首先需要将用户信息展示出来,查了不少资料.发现Jquery EasyUI确实是一个不错的选择,功能强大,文档也比较全面,而且容易上手.今天就把自己在项目中用到的功能做了一个总结.生成数据表格如下所示: 接下来上代码 界面html及js代码 1 <!DOCTYPE html> 2 <html> 3 <head> 4 <meta charset="utf-8"/>

Asp.NET MVC X.PageList.MVC 分页详解以及自定义样式

最近在研究MVC,自己做了个小项目:其中用到了分页功能,在网上找了很多相关的第三方插件,最后选择了X.PageList.MVC,插件是开源的,有利于学习所以选择了它,这并不是说其它的分页插件不好,只是个人爱好,当然,用于以后还是会说好的.^^ 首先可以看下源,在GitHub上,地址如下: X.PageList.MVC GitHub 源代码地址 初步看了一个项目比较精简,核心部分为X.PagedList.Mvc中的内容,配置文件为:PagedListRenderOptions.cs 这个插件可以完

Laravel 分页详解

Laravel分页很简单,但功能又很强大噢! 首先在控制器的方法中使用paginate(页面显示条数)方法,传入页面显示的条数 然后在模板页面使用方法render()来生成html元素 appends()方法可以设置在url中的参数:(当要根据不同条件显示时可用)

Lodop 分页详解,可详细了呢

首先我们在打印之前数据肯定是要准备好的,首先把标题 题头等信息准备好,然后循环列表采用json串的方式,这样方便遍历和修改 直接把list转换成json,然后赋值给一个对象的某个属性.这样前台就可以直接遍历json串了. json = JsonUtiles.getJsonDataFromCollection(list);//分页newpage用,传递json串,然后解析 finalModel.setJsonString(json); model.addAttribute("singleInfo&

jquery easyui datagrid 分页详解

由于项目原因,用了jquery easyui 感觉界面不错,皮肤样式少点,可是官网最近打不开了,资料比较少,给的demo没有想要的效果,今天在用datagrid 做分页显示的时候,折腾了半天,网上的资料也比较少,后自己动手,终于解决,废话不说,开始: datagrid分页有一个附加的分页控件,只需后台获取分页控件自动提交的两个参数rows每页显示的记录数和page;//当前第几页 然后读取相应页数的记录,和总记录数total一块返回即可 界面如下: 1.下边是datagrid的显示对话框,我直接

Elasticsearch date 类型详解

引言 一直对 elasticsearch 中的 date 类型认识比较模糊,而且在使用中又比较常见,这次决定多花些时间,彻底弄懂它,希望能对用到的同学提供帮助. 注意:本文测试使用是 elasticsearch 6.3 版本,其他版本规则可能有所变化,如遇到不兼容的情况,还请参考 官方文档 Date 数据类型 elasticsearch 数据是以 JSON 格式存储的,而 JSON中是并没有 date 数据类型,因此 Elasticsearch 中虽然有 date 类型,但在展示时却要转化成另外