[Spring cloud 一步步实现广告系统] 12. 广告索引介绍

索引设计介绍

在我们广告系统中,为了我们能更快的拿到我们想要的广告数据,我们需要对广告数据添加类似于数据库index一样的索引结构,分两大类:正向索引倒排索引

正向索引

通过唯一键/主键生成与对象的映射关系。

比如,我们从数据库中查询数据的时候,根据数据主键ID查询当前记录,其实就是一个正向索引的过程。

根据这个描述,很明显,我们的正向索引适用于推广计划,推广单元创意这几张表的数据上,因为广告检索的请求信息,不可能是请求具体的计划推广单元,它的检索请求一定是限制条件。

倒排索引

也叫反向索引,是一种检索方法。它的设计是为了存储在全文检索下某个单词在一个文档货一组文档中存储位置的映射,是在文件检索系统中最常用的数据结构。

也就是我们提供具体的内容实例,根据内容来查询该内容所处的位置。

  • 如何在广告系统中使用倒排索引?

    核心用途是对各个维度 限制的整理

如图中所示,我们希望找到西安市的所有的推广单元信息,那么我们只需要根据陕西省-西安市来进行索引,可以快速定位到所在的推广单元有10,11两个。

索引维护介绍

索引的维护最主要的是为了保证检索服务中的索引是完整的,我们在维护索引数据的时候,有两种场景会带来广告数据。在系统启动之初,会有一部分初始化数据,在系统上线运行之后,会逐渐有不少新的广告信息加入。因此,我们的广告索引类型整体可以分为两大类:

全量索引

检索系统在每次启动的时候,需要一次性读取当前数据库中的所有数据,建立索引。

TIPS:(这里有一个问题,如果我们系统流量高的时候,需要部署多实例,每一个实例在系统启动的时候,都直接从数据库中加载全量索引,会对数据库造成极大的压力。)

因此,通常我们实现全量索引都是通过读取文件中预先存储的广告数据来实现全量索引导入。

增量索引

顾名思义就是后来新增的数据索引。系统在运行过程中,会对数据库的变动进行监控,实现加载更新,构建索引,我们系统中通过对数据库表的CRUD操作的变动,通过监听Binlog来实现增量索引的更新。

原文地址:https://blog.51cto.com/1917331/2427227

时间: 2024-10-08 22:33:53

[Spring cloud 一步步实现广告系统] 12. 广告索引介绍的相关文章

[Spring cloud 一步步实现广告系统] 11. 使用Feign实现微服务调用

上一节我们使用了Ribbon(基于Http/Tcp)进行微服务的调用,Ribbon的调用比较简单,通过Ribbon组件对请求的服务进行拦截,通过Eureka Server 获取到服务实例的IP:Port,然后再去调用API.本节课我们使用更简单的方式来实现,使用声明式的Web服务客户端Feign,我们只需要使用Feign来声明接口,利用注解来进行配置就可以使用了,是不是很简单?实际工作中,我们也只会用到Feign来进行服务之间的调用(大多数).接下来,我们来实例操作一把. 为了代码的重用性,我们

SpringCloud(9)使用Spring Cloud OAuth2保护微服务系统

一.简介 OAth2是一个标准的授权协议. 在认证与授权的过程中,主要包含以下3种角色. 服务提供方 Authorization Server. 资源持有者 Resource Server. 客户端 Client. OAuth2的认证流程如图所示,具体如下. (1)用户(资源持有者)打开客户端 ,客户端询问用户授权. (2)用户同意授权. (3)客户端向授权服务器申请授权. (4)授权服务器对客户端进行认证,也包括用户信息的认证,认证成功后授权给予令牌. (5)客户端获取令牌后,携带令牌向资源服

用Spring Cloud OAuth2保护微服务系统

一.简介# OAth2是一个标准的授权协议. 在认证与授权的过程中,主要包含以下3种角色. 服务提供方 Authorization Server. 资源持有者 Resource Server. 客户端 Client. OAuth2的认证流程如图所示,具体如下. (1)用户(资源持有者)打开客户端 ,客户端询问用户授权. (2)用户同意授权. (3)客户端向授权服务器申请授权. (4)授权服务器对客户端进行认证,也包括用户信息的认证,认证成功后授权给予令牌. (5)客户端获取令牌后,携带令牌向资源

[Spring cloud 一步步实现广告系统] 21. 系统错误汇总

广告系统学习过程中问题答疑 博客园 Eureka集群启动报错 Answer 因为Eureka在集群启动过程中,会连接集群中其他的机器进行数据同步,在这个过程中,如果别的服务还没有启动完成,就会出现Connection refused: connecterror,当其他节点启动完成之后,报错就会消失. AdSearch 服务启动报错 2019-08-16 10:27:57.038 ERROR 73180 --- [ main] o.s.boot.SpringApplication : Applic

[Spring cloud 一步步实现广告系统] 配置项目结构 & 实现Eureka服务

父项目管理 首先,我们在创建投放系统之前,先看一下我们的工程结构: mscx-ad-sponsor就是我们的广告投放系统.如上结构,我们需要首先创建一个Parent Project mscx-ad 来编写父项目的pom,来管理我们的统一依赖信息. <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xm

[Spring cloud 一步步实现广告系统] 业务架构分析

什么是广告系统? 主要包含: 广告主投放广告的<广告投放系统> 媒体方(广告展示媒介-<地铁广告屏幕>)检索广告用的<广告检索系统> 广告计费系统(按次,曝光量等等) 报表系统 Etc. 使用技能栈 JDK1.8 MySQL 8+ Maven 3+ Spring cloud Greenwich.SR2 Eureka Zuul / gateway Feign ... Spring boot 2.1.5 Kafka 2.2.0 MySQL Binlog 项目结构 项目架构

[Spring cloud 一步步实现广告系统] 7. 中期总结回顾

在前面的过程中,我们创建了4个project: 服务发现 我们使用Eureka 作为服务发现组件,学习了Eureka Server,Eureka Client的使用. Eureka Server 加依赖 <dependency> <groupId>org.springframework.cloud</groupId> <!--<artifactId>spring-cloud-netflix-eureka-server</artifactId>

[Spring cloud 一步步实现广告系统] 22. 广告系统回顾总结

到目前为止,我们整个初级广告检索系统就初步开发完成了,我们来整体回顾一下我们的广告系统. 整个广告系统编码结构如下: 1.mscx-ad 父模块 主要是为了方便我们项目的统一管理 2.mscx-ad-db 这个模块主要有2个作用,本身只应该作为数据库脚本管理package来使用,但是我们在生成索引文件的过程中,为了方便,我就直接将导出全量索引的json文件生成也写在了该项目中. 主要目的还是通过flyway进行数据库脚本的管理. 3.mscx-ad-common 这个主要是一些通用工具类的存放

[Spring cloud 一步步实现广告系统] 15. 使用开源组件监听Binlog 实现增量索引准备

MySQL Binlog简介 什么是binlog? 一个二进制日志,用来记录对数据发生或潜在发生更改的SQL语句,并以而进行的形式保存在磁盘中. binlog 的作用? 最主要有3个用途: 数据复制(主从同步) Mysql 的Master-Slave协议,让Slave可以通过监听binlog实现数据复制,达到数据一致性目的 数据恢复 通过mysqlbinlog工具恢复数据 增量备份 Binlog 变量 log_bin (Binlog 开关,使用show variables like 'log_b