推荐系统中ES使用过程中遇到的问题:

推荐系统中ES使用过程中遇到的问题:
1.在线业务要和离线业务分离;(不然离线的大量写或者聚合查都会导致资源紧张(cpu idle降低),进而导致在线业务查询响应变慢)
2.控制full gc避免在业务高峰执行;
3数据分布要均匀,如果不能保证自定义主键是均匀的,那么就使用ES默认的主键生成策略;
4.来回修改ES中的同一个记录或者并发插入同一条记录,如何做到记录不重复的问题:在小于index.refresh_interval的时间内进行离线查重并排重(删除重复的,保留最新的)
5.客户端要client.transport.sniff设置为true

原文地址:https://www.cnblogs.com/big1987/p/11028666.html

时间: 2024-10-11 12:34:35

推荐系统中ES使用过程中遇到的问题:的相关文章

Hive通过查询语句向表中插入数据过程中发现的坑

前言 最近在学习使用Hive(版本0.13.1)的过程中,发现了一些坑,它们或许是Hive提倡的比关系数据库更加自由的体现(同时引来一些问题),或许是一些bug.总而言之,这些都需要使用Hive的开发人员额外注意.本文旨在列举我发现的2个通过查询语句向表中插入数据过程中的问题,希望大家注意. 数据准备 为了验证接下来出现的问题,需要先准备两张表employees和staged_employees,并准备好测试数据.首先使用以下语句创建表employees: create table employ

C++中读写文件过程中异常处理机制

在利用C++进行文件读取与写入过程中,无论是针对二进制文件还是文本文件均需要进行异常处理,在C++中我们可以利用CFile进行文件的读写,而在MFC中还可以利用CStdioFile进行文件的读写. 利用CFile进行读文本文件过程中的异常处理可以通过如下代码实现 CString m_strFileName = "test.txt"; CFile m_File; CFileException ex; if (!m_File.Open(m_strFileName,CFile::modeRe

聊一聊 MySQL 中的数据编辑过程中涉及的两阶段提交

MySQL 数据库中的两阶段提交,不知道您知道不?这篇文章就简单的聊一聊 MySQL 数据库中的两阶段提交,两阶段提交发生在数据变更期间(更新.删除.新增等),两阶段提交过程中涉及到了 MySQL 数据库中的两个日志系统:redo 日志和 binlog 文件. redo 日志前面已经介绍过了,就不再介绍了,简单的聊一聊 binlog 文件,binlog 是 MySQL server 层提供的二进制文件,因此所有的存储引擎都可以使用 binlog 功能,binlog 是追加写的逻辑日志,记录了执行

虚拟机中centos7 安装过程中没有自动获取到网络

在虚拟机中选择centos版本的时候,如果安装的是64位的版本,就不能选择centos,应该选择匹配的centos64位,这样安装的时候就会自动获取到网络了.

Linux中对启动过程中选择启动级别那个界面设置密码

生成md5形式的密码: a.执行  grub-md5-crypt  命令 b.在接下来的交互界面中输入自己的密码 c.生成加密后的密码修改配置文件: a.vi /boot/grub/grub.conf b.在timeout和splashimage之间加入: c.password -md5 生成的密码 重启电脑

树莓派raspberry Pi 3B+系统中安装mysql过程中不提示输入密码,安装完后如何设置密码

树莓派raspberry Pi 3B+安装mysql未提示输入密码,安装后修改mysql密码默认密码 使用mysql -uroot -p 命令连接mysql时,报错 [email protected]:/ $ mysql -uroot -p Enter password: ERROR 1698 (28000): Access denied for user 'root'@'localhost' 按照网上的说法, 1.进入到etc/mysql 目录下,查看debian.cnf文件,使用默认的用户名

imx6中uboot启动过程中延时修改的方法

我们需要运用的平台为sail-imx6 系统为linux4.1.15 Linux系统启动时,在uboot阶段有1s延时,想要增大延时或者减少延时应该怎么修改呢? 修改linux的uboot代码: /sail-imx6q-uboot-2015.04/include/configs/mx6sabre_common.h(104行) -#define CONFIG_BOOTDELAY 1 +#define CONFIG_BOOTDELAY 1 这样就没有了1s延时,也可以修改为其他值. 通过上述步骤,大

lock(1)——创建及更新表过程中SQL SERVER锁资源分配情况

锁应该说是由关系型数据库ACID(Atomicity,Consistency,Isolation,Durability)特性而引出的. 以下将测试在创建及更新表过程中SQL Server锁资源分配情况 获取当前会话的事务隔离级别:DBCC USEROPTIONS 测试环境:SQL SERVER 2008 R2 read committed隔离级别下 创建表 当我们只是打开一个SSMS查询窗口,选择数据库为master和tempdb时,没有任何锁产生,当我选择其他数据库,sql server就会在

安装PSU过程中遇到了问题

[[email protected] 18031668]$ ls 17478514  18031668  p6880880_112000_Linux-x86-64.zip  patchmd.xml  README.html  README.txt [[email protected] 18031668]$ opatch apply Oracle Interim Patch Installer version 11.2.0.3.6 Copyright (c) 2013, Oracle Corpor