使用redis缓存加索引处理数据库百万级并发

使用redis缓存加索引处理数据库百万级并发

前言：事先说明：在实际应用中这种做法设计需要各位读者自己设计，本文只提供一种思想。准备工作：安装后本地数redis服务器，使用mysql数据库，事先插入1000万条数据，可以参考我之前的文章插入数据，这里不再细说。我大概的做法是这样的，编码使用多线程访问我的数据库，在访问数据库前先访问redis缓存没有的话在去查询数据库，需要注意的是redis最大连接数最好设置为300，不然会出现很多报错。

贴一下代码吧


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

package select;

import redis.clients.jedis.JedisPool;

import redis.clients.jedis.JedisPoolConfig;

public class SelectFromMysql {

       public static void main(String[] args) {

            JedisPool pool;

          

            JedisPoolConfig config = new JedisPoolConfig();//创建redis连接池

            // 设置最大连接数，-1无限制

            config.setMaxTotal(300);

            // 设置最大空闲连接

            config.setMaxIdle(100);

            // 设置最大阻塞时间，记住是毫秒数milliseconds

            config.setMaxWaitMillis(100000);

            // 创建连接池

            pool = new JedisPool(config, "127.0.0.1", 6379,200000);

          for (int i =9222000; i <=9222200; i++) {//这里自己设置用多少线程并发访问

                String teacherName=String.valueOf(i);

                new ThreadToMysql(teacherName, "123456",pool).start();

                 

            }

     }

}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

package select;

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.ResultSet;

import java.sql.SQLException;

import java.sql.Statement;

import redis.clients.jedis.Jedis;

import redis.clients.jedis.JedisPool;

public class ThreadToMysql extends Thread {

    public String teacherName;

    public String password;

    public JedisPool pool;

    public ThreadToMysql(String teacherName, String password,JedisPool pool) {//构造函数传入要查询登录的老师姓名和密码

        

        this.teacherName=teacherName;

        this.password=password;

        this.pool=pool;

    }

    

    public void run() {

         Jedis jedis = pool.getResource();

         Long startTime=System.currentTimeMillis();//开始时间

        if (jedis.get(teacherName)!=null) {

             Long entTime=System.currentTimeMillis();//开始时间

            System.out.println(currentThread().getName()+" 缓存得到的结果: "+jedis.get(teacherName)+" 开始时间:"+startTime+"  结束时间:"+entTime+"  用时:" +(entTime-startTime)+"ms");

            pool.returnResource(jedis);

            System.out.println("释放该redis连接");

        } else {

        

         String url = "jdbc:mysql://127.0.0.1/teacher"; 

         String name = "com.mysql.jdbc.Driver"; 

         String user = "root"; 

         String password = "123456"; 

        Connection conn = null; 

        try {

            Class.forName(name);

            conn = DriverManager.getConnection(url, user, password);//获取连接 

            conn.setAutoCommit(false);//关闭自动提交，不然conn.commit()运行到这句会报错

        } catch (ClassNotFoundException e1) {

            e1.printStackTrace();

        } catch (SQLException e) {

            e.printStackTrace();

        }

        if (conn!=null) {

           

            String sql="select t_name from test_teacher where t_name=‘"+teacherName+"‘ and t_password=‘"+password+"‘ ";//SQL语句

            String t_name=null;

            try {

                Statement stmt=conn.createStatement();

                ResultSet rs=stmt.executeQuery(sql);//获取结果集

                if (rs.next()) {

                    t_name=rs.getString("t_name");

                    jedis.set(teacherName, t_name);

                    System.out.println("释放该连接");

                }

                conn.commit();

                stmt.close();

                conn.close();

            } catch (SQLException e) {

                e.printStackTrace();

            }finally {

                pool.returnResource(jedis);

                System.out.println("释放该连接");

            }

                Long end=System.currentTimeMillis();

                System.out.println(currentThread().getName()+"  数据库得到的查询结果:"+t_name+"   开始时间:"+startTime+"  结束时间:"+end+"  用时:"+(end-startTime)+"ms");

            

            

        } else {

            System.out.println(currentThread().getName()+"数据库连接失败:");

        }

        

        

    }

    }

    

}

我的数据库表数据是这样的。可以看到我的t_name是1-10000000，密码固定123456.利用循环创建线程很好做传入循环的次数作为查询的t_name就行了

采用redis缓存替换加索引的方案

1.在200并发访问下：

第一次访问结果：由于第一次访问缓存不存在该数据，速度很慢

最慢90多秒

运行第二次访问后(redis数据库已存在数据)的结果：

最慢700多毫秒

2.当我尝试1000线程并发访问时redis直接挂掉，原因在于reids缓存并没有要查找的数据,就从数据库查找，1000个线程同时并发访问数据库等待时间太长了，造成redis连接等待超时(就算把redis的超时等待时间设置为100分钟也没用，会报redis连接被拒绝的错误)

3.当我利用循环事先把100万条数据插入redis缓存服务器后，在1万个线程并发访问测试下只需要5~6秒就拿到了查询结果，效率出奇的快，而且没有报任何错

4.在3的条件下我把并发线程提升到100万个时，测试在百万并发条件下查询性能，发现完全没有压力，每个线程也是几毫秒就能查到结果，这个时候限制我速度的就是电脑CPU了。我的测试电脑是4核的，处理100万个线程起来比较慢，下面是截图，运行到50多万个线程的时候我就停止了运行

好了，以上都是数据库查询的字段没有加索引直接利用redis缓存查找的

而且有个弊端，百万级的并发访问需要事先把数据放到缓存中，在实际中并不科学（因为并不知道那些是热点数据），下面来看看如何使用索引加缓存的效果

1.给t_name和t_password字段加组合索引

我们来看看在有索引且redis缓存事先没有数据的时候，创建100万个线程并发访问的结果

没问题，这样就完成了百万级别下的并发访问，但是这样我的程序创建线程很慢，因为我的电脑4核CPU的(但是要创建100万个线程），这个时候就是硬件设备的性能了，在设备硬件性能足够的条件下是没问题的

以下是我的总结:

1.我的优化方案中只有两种，一种是给查询的字段加组合索引。另一种是给在用户和数据库中增加缓存

2.添加索引方案：面对1~2千的并发是没有压力的，在往上则限制的瓶颈就是数据库最大连接数了，在上面中我用show global status like ‘Max_used_connections’查看数据库可以知道数据库最大响应连接数是5700多，超过这个数tomcat直接报错连接被拒绝或者连接已经失效

3.缓存方案：在上面的测试可以知道，要是我们事先把数据库的千万条数据同步到redis缓存中，瓶颈就是我们的设备硬件性能了，假如我们的主机有几百个核心CPU，就算是千万级的并发下也可以完全无压力，带个用户很好的。

4.索引+缓存方案：缓存事先没有要查询的数据，在一万的并发下测试数据库毫无压力，程序先通过查缓存再查数据库大大减轻了数据库的压力，即使缓存不命中在一万的并发下也能正常访问,在10万并发下数据库依然没压力，但是redis服务器设置最大连接数300去处理10万的线程，4核CPU处理不过来，很多redis连接不了。我用show global status like ‘Max_used_connections‘查看数据库发现最大响应连接数是388，这么低所以数据库是不会挂掉的。

5.使用场景：a.几百或者2000以下并发直接加上组合索引就可以了。b.不想加索引又高并发的情况下可以先事先把数据放到缓存中，硬件设备支持下可解决百万级并发。c.加索引且缓存事先没有数据，在硬件设备支持下可解决百万级并发问题。d.不加索引且缓存事先没有数据，不可取，要80多秒才能得到结果，用户体验极差。

6.原理：其实使用了redis的话为什么数据库不会崩溃是因为redis最大连接数为300，这样数据库最大同时连接数也是300多，所以不会挂掉，至于redis为什么设置为300是因为设置的太高就会报错(连接被拒绝)或者等待超时(就算设置等待超时的时间很长也会报这个错)。

最后说明：本文不代表实际应用开发场景，更多的是提供一种思想，一种解决方案，如有错误，请指正，谢谢

技术交流群：494389786

本文源码：

http://download.csdn.net/detail/qq_32780741/9606370

本代码需要的jar包下载地址：

http://download.csdn.net/detail/qq_32780741/9606380

时间： 2024-12-28 15:54:20

使用redis缓存加索引处理数据库百万级并发的相关文章

总结：如何使用redis缓存加索引处理数据库百万级并发

前言:事先说明:在实际应用中这种做法设计需要各位读者自己设计,本文只提供一种思想.准备工作:安装后本地数redis服务器,使用mysql数据库,事先插入1000万条数据,可以参考我之前的文章插入数据,这里不再细说.我大概的做法是这样的,编码使用多线程访问我的数据库,在访问数据库前先访问redis缓存没有的话在去查询数据库,需要注意的是redis最大连接数最好设置为300,不然会出现很多报错. 贴一下代码吧 ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 1

[已解决]C#批量高效率导入大数据到数据库[百万级以上]

将几百万条数据导入到数据库中,怎么样高效率的导入?下面我就介绍一个高效率的方法:1.将数据库文件(DB.csv)导入到DataTable中: /// <summary> /// 将CSV文件的数据读取到DataTable中 /// </summary> /// <param name="fileName">CSV文件路径</param> /// <returns>返回读取了CSV数据的DataTable</returns

Mysql数据库百万级记录查询分页优化

很多的朋友在面试中会遇到这样的问题,也有很多的项目在运营一段时间后也会遇到MYSQL查询中变慢的一些瓶颈,今天这儿简单的介绍下我常用的几种查询分页的方法,我所知道的也无非就是索引.分表.子查询偏移,所以要是有什么不对或有更好的方法,欢迎大家留言讨论. 效率分析关键词:explain + SQL语句 一,最常见MYSQL最基本的分页方式limit: select * from `table` order by id desc limit 0, 20 在中小数据量的情况下,这样的SQL足够用了,唯一

支撑百万级并发，Netty如何实现高性能内存管理

Netty作为一款高性能网络应用程序框架,实现了一套高性能内存管理机制 通过学习其中的实现原理.算法.并发设计,有利于我们写出更优雅.更高性能的代码:当使用Netty时碰到内存方面的问题时,也可以更高效定位排查出来 本文基于Netty4.1.43.Final介绍其中的内存管理机制 ByteBuf分类 Netty使用ByteBuf对象作为数据容器,进行I/O读写操作,Netty的内存管理也是围绕着ByteBuf对象高效地分配和释放 当讨论ByteBuf对象管理,主要从以下方面进行分类: Poole

springboot整合redis缓存一些知识点

前言 最近在做智能家居平台,考虑到家居的控制需要快速的响应于是打算使用redis缓存.一方面减少数据库压力另一方面又能提高响应速度.项目中使用的技术栈基本上都是大家熟悉的springboot全家桶,在springboot2.x以后操作redis的客户端推荐使用lettuce(生菜)取代jedis. jedis的劣势主要在于直连redis,又无法做到弹性收缩. 一.配置文件 application.yml文件中的内容 spring: application: name: simple-lettuc

迅雷链技术沙龙第一站：百万级TPS是怎样炼成的

9月15日下午,由迅雷集团主办的链创未来?迅雷链技术沙龙在北京举行,作为此系列技术沙龙的首期活动,本期邀请了来自迅雷链开放平台产品负责人.研发负责人.研发工程师.HGBC等企业的技术大咖,为区块链爱好者和开发者分享智能合约开发与DAPP实践经验等干货满满的区块链技术知识,上百名开发者大牛在现场自由交流,就区块链技术进行了深入探讨. 张慧勇:迅雷链同构多链框架解析,揭开迅雷链神秘面纱 图:迅雷链开放平台研发负责人 张慧勇 迅雷链开放平台研发负责人张慧勇率先揭开迅雷链的神秘面纱,为现场的开发者解析迅

Redis缓存数据库服务器

Redis缓存数据库服务器Redis是一个开源的科技与内存也可持久化的日志型.Key-Value数据库Redis的存储分为内存存储.磁盘存储和Log文件三部分,配置文件中有三个参数对其进行配置. 优势:和Mecached相比,它更加安全也支持存储的value类型相对更多.Redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步 /var/log/redis_6379.log 日志文件/var/lib/redis/6379

Python基础16 - RabbitMQ队列、Redis缓存数据库

@@@文章内容参照老男孩教育 Alex金角大王,武Sir银角大王@@@ RabbitMQ队列 下载安装http://www.rabbitmq.com/install-windows.html RabbitMQ 教程官网:http://www.rabbitmq.com/getstarted.html RabbitMQ:erlang语言 开发的. Python中连接RabbitMQ的模块:pika .Celery(分布式任务队列) .haigha可以维护很多的队列 几个概念说明: Broker:简单

Redis缓存和数据库一致性问题

工作中,经常会遇到缓存和数据库数据一致性问题.从理论上设置过期时间,是保证最终一致性的解决方案.这种方案下,我们可以对存入缓存的数据设置过期时间,所有的写操作以数据库为准,对缓存操作只是尽最大努力即可.也就是说如果数据库写成功,缓存更新失败,那么只要到达过期时间,则后面的读请求自然会从数据库中读取新值然后回填缓存.因此,接下来讨论的思路不依赖于给缓存设置过期时间这个方案. 在这里,我们讨论三种更新策略: 1) 先更新数据库,再更新缓存 2) 先删除缓存,再更新数据库 3) 先更新数据库,再删除缓