MYSQL做数据仓库的性能瓶颈

缺少hash join 和parallel 这种工具,MYSQL 注定不是个合适的数据仓库工具。

无论是是myisam还是innodb,在处理一个复杂的SQL查询的时候,并不能发挥多核CPU的性能。

只会有一个CPU正在满负荷地运转。

所以对于一个分析性数据库而言,MYSQL多核实际上是极大的浪费。

但是方案选型了以后,只能做更多的优化。

比如说:手动拆分SQL,再合并结果集。

my.cnf配置优化,增加临时表空间和key_buffer_size等等。

即使是KETTLE, DATASTAGE, 在处理海量数据的时候,也不能做到像hadoop那样分布式计算。

哎,如果让我选型的话,还是上PG库算了。

时间: 2025-01-05 22:33:01

MYSQL做数据仓库的性能瓶颈的相关文章

MySQL做练习时总结的一些知识点

MySQL做练习时总结的一些知识点     0:mysql有三种注释方法 上午插入记录的时候一直没有成功,郁闷不知道为什么.因为是很多条记录一起插入,中间一些不用的数据就用"--"来注释了,结果没有效果. 没有办法,在网上找了找,才发现注释符"--"错了,需要一个空格,应该是"-- ". mysql注释符有三种: 1.#... 2."--  ..." 3. mysql 服务器支持 # 到该行结束.-- 到该行结束 以及 的注释

脚本-每3天对数据库目录/var/lib/mysql做物理备份 把数据备份到系统/opt/dbbak目录

每3天对数据库目录/var/lib/mysql做物理备份 把数据备份到系统/opt/dbbak目录 #!/bin/bash DAY=`date+%Y-%m-%d` SIZE=`du-sh /var/lib/mysql` cd/opt/dbbak  2> /dev/null  || mkdir /opt/dbbak echo"Date: $DAY" > /opt/dbbak/dbinfo.txt echo"Total Database Size: $SIZE&quo

使用 Xtrabackup 在线对MySQL做主从复制【转】

1. 说明 1.1 xtrabackup mysqldump对于导出10G以下的数据库或几个表,还是适用的,而且更快捷.一旦数据量达到100-500G,无论是对原库的压力还是导出的性能,mysqldump就力不从心了.Percona-Xtrabackup备份工具,是实现MySQL在线热备工作的不二选择,可进行全量.增量.单表备份和还原.(但当数据量更大时,可能需要考虑分库分表,或使用 LVM 快照来加快备份速度了) 2.2版本 xtrabackup 能对InnoDB和XtraDB存储引擎的数据库

从数据库、代码和服务器对PHP网站Mysql做性能优化

数据库优化是PHP面试几乎都会被问到的事情,也是我们工作中应该注意的事情,当然,如果是小网站无所谓优化不优化,网站访问量大了自然会暴漏数据库的瓶颈,这个瓶颈是各方面问题综合导致的,下面我们来做下数据库优化的总结. 一:对数据库优化 1.创建索引 对于查询占主要的应用来说,索引显得尤为重要.很多时候性能问题很简单的就是因为我们忘了添加索引而造成的,或者说没有添加更为有效的索引导致.如果不加索引的话,那么查找任何哪怕只是一条特定的数据都会进行一次全表扫描,如果一张表的数据量很大而符合条件的结果又很少

Mysql主从(主从不同步解决办法,常见问题及解决办法,在线对mysql做主从复制)

一.主从不同步解决办法 先上Master库: mysql>show processlist; 查看下进程是否Sleep太多.发现很正常. show master status; 也正常. mysql> show master status; +-------------------+----------+--------------+-------------------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore

asp.net mvc4+mysql做一个简单分页组件(部分视图)

在开始做mysql分页功能组件前,便设定的是要有一定可复用性.先在项目里Views文件夹下右键新建名为_PaginationComponent.cshtml,这里html及css我采用的bootstrap分页组件,这可以参考http://v3.bootcss.com/components/. 先将生成项目效果截图呈上: 这里有需要预先知道的,是mysql分页查询与mssql分页查询实现不同点在于,mysql支持limit语句,limit格式为 limit pageIndex*pageSize,p

搭建redis给mysql做缓存

安装redis的前提是lnmp或者lamp的环境已经搭建完成. 安装redis 1.安装redis(或可以选择yum安装) 1 2 3 4 5 6 7 8 9 10 11 12 [[email protected] ~]# wget -c -t 0 http://download.redis.io/releases/redis-2.8.19.tar.gz [[email protected] ~]# mkdir /usr/local/redis [[email protected] ~]# ta

如何对zabbix mysql做分区表

MySQL Database Partitioning:关于zabbix和MySQL分区表 - 支持zabbix 2.0和2.2,mysql在有外键的表不支持分区表.在zabbix 2.0和2.2中history和trend表没有使用外键,因此是可以在这些表中做分区的. Index changes:1.如果zabbix的数据库已经有了数据,更改索引可能需要一些时间,根据具体的数据量,需要的时间长短也不一样.2.在某些版本的MySQL索引的改变会使整个表上读锁.貌似mysql 5.6没有这个限制.

使用 Xtrabackup 在线对MySQL做主从复制

1. 说明 1.1 xtrabackup mysqldump对于导出10G以下的数据库或几个表,还是适用的,而且更快捷.一旦数据量达到100-500G,无论是对原库的压力还是导出的性能,mysqldump就力不从心了.Percona-Xtrabackup备份工具,是实现MySQL在线热备工作的不二选择,可进行全量.增量.单表备份和还原.(但当数据量更大时,可能需要考虑分库分表,或使用 LVM 快照来加快备份速度了) 2.2版本 xtrabackup 能对InnoDB和XtraDB存储引擎的数据库