python--12、索引知识

MySQL索引及优化

影响性能的因素

需求:一个论坛帖子总量的统计,附加要求:实时更新。从功能上来看非常容易实现,执行一条 SELECT COUNT(*) from 表名 的 Query 就可以得到结果。但是,如果我们采用不是 MyISAM 存储引擎,而是使用的 Innodb 的存储引擎,那么大家可以试想一下,如果存放帖子的表中已经有上千万的帖子的时候,执行这条 Query 语句不可能在 10 秒之内完成一次查询吧

注:没有 where 的 count(*)使用 MyISAM 要比 InnoDB 快得多。因为 MyISAM 内置了一个计数器,count(*)时它直接从计数器中读,而 InnoDB 必须扫描全表。所以在 InnoDB 上执行count(*)时一般要伴随 where,且 where 中要包含主键以外的索引列。

专门为这个功能建一个表,就只有一个字段,一条记录,就存放这个统计量,每次有新的帖子产生的时候,都将这个值增加 1。

如果帖子产生很快,在高峰时期可能每秒就有几十甚至上百个帖子新增操作

的时候,恐怕这个统计表又要成为大家的噩梦了。要么因为并发的问题造成统计结果的不准确,要么因为锁资源争用严重造成整体性能的大幅度下降。

牺牲一定的实时性,通过创建一个统计表,然后通过一个定时任务每隔一定时间段去更新一次里面的统计值,这样既可以解决统计值查询的效率问题,又可以保证不影响新发贴的效率,一举两得。

不适合在数据库中存放的: 二进制多媒体数据、超大文本数据(VARCHAR 类型的最大长度被调整到 64KB了,所以,超大文本数据存放在数据库中不仅会性能低下,还会带来空间占用的浪费问题。)

对于 Web 应用,活跃数据的数据量总是不会特别的大,有些活跃数据更是很少变化。对于这类数据,将变化相对较少的部分活跃数据通过应用层的 Cache 机制 Cache 到内存中,对性能的提升肯定是成数量级的,而且由于是活跃数据,对系统整体的性能影响也会很大。

查询语句对性能的影响:在数据库管理软件中,最大的性能瓶颈就是在于磁盘 IO,也就是数据的存取操作上面。而对于同一份数据,当我们以不同方式去寻找其中的某一点内容的时候,所需要读取的数据量可能会有天壤之别,所消耗的资源也是区别很大。

在执行 sql 语句时可以用 explain 来查看执行计划:

还可以打开 mysql 的 profiling 功能,来查看 sql 的实际执行计划

mysql> set profiling=1; show profile;

show profile CPU,BLOCK IO for query 1;

数据库 Schema 设计对性能的影响

硬件选择对性能的影响

IO 性能肯定是需要最优先考虑的一个因素:由磁盘和内存所决定。

CPU 处理能力 :资源要相对集中很多,单台主机上所需要进行的计算量自然也就比较多。

网络设备的性能:程序的交互中传递的数据量多。

系统架构最优化,逻辑实现精简化,硬件设施理性化。商业需求合理化?

MySQL 性能优化之-索引

帮助我们快速定位数据。建立了索引,MySQL 无须任何扫描全表,即准确可找到该记录。相反,MySQL 会扫描所有记录。比是一本书前面的目录,提高查询速度。在存储引擎中实现的

----已不知曾经于何处摘录

时间: 2024-10-25 11:41:08

python--12、索引知识的相关文章

Python 12 基础知识

原文:https://www.cnblogs.com/Lee-yl/p/9884055.html 原文:https://blog.csdn.net/juxiangming/article/details/70175985 在机器学习当中,什么是训练?什么是模型? 通过已知的数据和目标,调节算法的参数,这就是训练: 最后得到的映射,就是针对这个问题被训练出来的模型. Tensor和numpy之间的转换: 通过a.numpy(),就能将Tensor a转换成numpy数据类型,同时使用torch.f

Python 12:mysql

Python 12:mysql 1.数据库基础 2.数据库基本操作 3.表操作 4.表内容操作 5.视图 6.事务 7.索引 8.pyMySQL 9.sqlalchemy ORM 一.数据库基础 1.关系型数据库 小型关系型数据库软件:MySql.SqlServer/Access.maridb(从原Mysql出来的人马组建的) 大型关系型数据库:Oracle.DB2/Infomix 非关系型数据库,比如云计算大数据所用的mongoDB 目前金融行业oracle占65%-70%,DB2占10%,i

【汇总】Python 编程核心知识体系

[汇总]Python 编程核心知识体系 大神著作,源自:https://woaielf.github.io/2017/06/13/python3-all/ 本文主要涵盖了 Python 编程的核心知识(暂不包括标准库及第三方库,后续会发布相应专题的文章). 首先,按顺序依次展示了以下内容的一系列思维导图:基础知识,数据类型(数字,字符串,列表,元组,字典,集合),条件&循环,文件对象,错误&异常,函数,模块,面向对象编程: 接着,结合这些思维导图主要参考的资料,分享一下我的学习体验,一方面

SQL Server 索引知识-应用,维护

创建聚集索引 a索引键最好唯一(如果不唯一会隐形建立uniquier列(4字节)确保唯一,也就是这列都会复制到所有非聚集索引中) b聚集索引列所占空间应尽量小(否则也会使非聚集索引的空间变大) c聚集索引应固定,不能随便改动(否则会引起分页,碎片,非聚集索引被迫修改等一些列问题) d聚集索引键一般与主键(primary key)分开(基于方便业务调整,如业务逻辑存储数据与clustered index key一致且不会改变,则主键可为聚集索引) 应用实例: 选择聚集键时,尽量避免因插入引起的分页

SQL Server 索引知识-概念

概念篇 索引概念(index concept) 一种表或视图中相关的B-tree的数据结构.索引键列由一列或多列组成.可拥有包含性列(sql2005).用于提升Sql Server 查找相关数据行效率. 聚集索引(Clustered index) 表或索引视图数据行按照聚集索引键排序.每个表只能有一个聚集索引(聚集表中数据只能按一种方式组织).表中有聚集索引则表称为聚集索引表,无聚集索引则称为堆表. 非聚集索引(Nonclustered index) 独立于数据行之外的一种数据结构.用于快速检索

Python入门基础知识实例,值得收藏!

7月的编程语言指数榜已经发布,Python 在今年5月首次超越 Java 拿下榜首位置后,仍保持上涨趋势,正逐渐与 Java 拉开差距.(图为与去年 7 月数据对比) 上周为大家简单介绍了如何安装Python和配置环境?相信大家都将Python安装成功了吧~今天小白就为大家分享一些Python的基础知识,希望大家都能快速入门Python~ 1.在Python 语言中,对象是通过引用传递的. 在赋值时,不管这个对象是新创建的,还是一个已经存在的,都是将该对象的引用(并不是值)赋值给变量. 如:x=

VII python(1)基础知识

VII Python(1)基础知识 1989年诞生(同LinuxOS),google推崇,06年后才开始在中国流行,08年运维开始使用python www.python.org(主流OS默认配的python为2.6或2.7,最好在Ubuntu12.10上使用python,对于开发很方便,否则会浪费很多时间在装某一软件包) https://www.python.org/ftp/python/ Python(简单.容易上手.语法非常简明,任何功能都可实现:胶水语言,粘合剂,能与任何语言结合起来(如j

Python基础入门知识

Python介绍 发展史 Python 2 or 3? 安装 Hello World程序 变量 用户输入 模块初识 .pyc是个什么鬼? 数据类型初识 数据运算 表达式if ...else语句 表达式for 循环 break and continue 表达式while 循环 一. Python介绍 python的创始人为吉多·范罗苏姆(Guido van Rossum).1989年的圣诞节期间,吉多·范罗苏姆为了在阿姆斯特丹打发时间,决心开发一个新的脚本解释程序,作为ABC语言的一种继承. 最新

python基础-基础知识考试_day5 (包括:函数_递归等知识)

老男孩 Python 基础知识练习(三) 1.列举布尔值为 False 的值空,None,0 2.写函数:根据范围获取其中 3 和 7 整除的所有数的和,并返回调用者:符合条件的数字个数以及符合条件的数字的总和如: def func(start,end): 3.函数的默认返回值是什么?None 4.简述break/continue/return的区别Break:用于退出所有循环continue:跳出本次循环,继续执行下次循环return:程序返回,不再执行下面的代码 5.函数传递参数时,是引用还

Python学习基础知识概要

1.输入输出 输出实例 1 2 print 'hello','world' hello world 输入实例 1 2 3 4 5 name = raw_input(); print "hello,",name world hello,world 输入时提示实例 1 2 3 4 5 name = raw_input('please enter your name:'); print "hello,",name please enter your name:world