横瓜先生纵论NOSQL与MYSQL实现最热最新查询的分页性能比较

【状元】横瓜-PHP教父(601069289)  20:45:59

大家谈谈NOSQL与MYSQL的差距

NOSQL与MYSQL实现最热最新查询的分页性能比较

MYSQL千亿级要优化的,用起来的不敏捷

如果NOSQL一个语句能搞顶,何必用MYSQL

都没有比较过吗

【状元】Fang(1033289127)  20:46:29

nosql 是 sql 的补充啦

【元帅】IT柏拉图(2500875)  20:46:53

mongodb其实查询上的性能并不会比mysql多太大,只是sock有优势,真正的优势是做 mapreduce

【状元】Fang(1033289127)  20:47:21

么看出 mongodb  有啥优势

【元帅】清水煮白菜(554263494)  20:47:45

不过听用过mongodb的说 mapreduce基本无用

【状元】Fang(1033289127)  20:47:49

当作关系数据库用拼不过 mysql , mssql等

【元帅】IT柏拉图(2500875)  20:48:04

mangodb之所以快,因为默认东西都加载到内存,但真正千亿级数据,那来那么多内存,数据量大了,要是单台的,全放内存一样会慢

【状元】Fang(1033289127)  20:48:08

当作非关系 现在已经很多成熟的了

【元帅】清水煮白菜(554263494)  20:48:15

mongodb的最大优势,文档数据非常适合web开发,开发效率远高于Mysql

个人感觉

【状元】广州-kiss-14K立跳(1908510)  20:48:29

【元帅】清水煮白菜(554263494)  20:48:48

我日志分析用的mongodb,比mysql确实方便多了

【状元】广州-kiss-14K立跳(1908510)  20:48:51

个人非常讨厌 mangodg

【状元】Fang(1033289127)  20:49:05

估计就放日志好点

【元帅】清水煮白菜(554263494)  20:49:15

mongodb支持更多的链接。

【状元】Fang(1033289127)  20:49:15

我想了很久  就适合放日志

【元帅】清水煮白菜(554263494)  20:49:19

……。

【状元】Fang(1033289127)  20:49:22

【元帅】木鱼(571398367)  20:49:30

mongodb使用方便

字段任意添加

【状元】广州-kiss-14K立跳(1908510)  20:49:47

不觉得...反而觉得mongodb 非常不方便

【元帅】清水煮白菜(554263494)  20:49:54

非常方便

【状元】Fang(1033289127)  20:49:58

就是

【状元】唐-php(329358447)  20:49:59

日志分析有什么用

【元帅】清水煮白菜(554263494)  20:50:00

扩展性也好

【元帅】木鱼(571398367)  20:50:11

容易配置

【状元】广州-kiss-14K立跳(1908510)  20:50:14

如果数据库要经常任意改变内容...那还需要设计数据库么

【元帅】IT柏拉图(2500875)  20:50:35

字段任意添加呵呵,看起来虽好,实际项目中,会让你抓狂的

【元帅】清水煮白菜(554263494)  20:50:42

mongodb比mysql更需要设计

【状元】横瓜-PHP教父(601069289)  20:50:42

13亿人的记录,分成32个省,要求按照省查询各个省的人,要求可以翻页到所有页,例如第100万页

【状元】广州-kiss-14K立跳(1908510)  20:50:49

写进去的数据任意变化...用的地方谁知道变成什么样了

【状元】横瓜-PHP教父(601069289)  20:51:13

13亿人的记录,分成32个省,要求按照省查询各个省的人,要求可以翻页到所有页,例如安徽省所有人员的第100万页

【元帅】木鱼(571398367)  20:51:15

我实际项目已经使用了,挺好用

【元帅】清水煮白菜(554263494)  20:51:16

越是自由的东西,越需要设计

【状元】广州-kiss-14K立跳(1908510)  20:51:23

反正我是觉得mongodb只适合放日志

【元帅】清水煮白菜(554263494)  20:51:24

我也用了。比mysql方便多了

【元帅】IT柏拉图(2500875)  20:51:37

人这种还好,有固定id

【元帅】清水煮白菜(554263494)  20:51:51

读写性能,也比mysql快4-5倍

【元帅】IT柏拉图(2500875)  20:51:55

死人的id都可以存在,但死的数据删除了就不好处理

【元帅】清水煮白菜(554263494)  20:52:30

如果不用安全写入,用存在更新,不存在插入的方式,写数据,比mysql快10倍

【元帅】唯一(357029887)  20:52:30

【状元】横瓜-PHP教父(601069289)  20:52:41

13亿人的记录,分成32个省,要求按照省查询各个省的人,要求可以翻页到所有页,例如翻到安徽省所有人员的第100万页,

【元帅】木鱼(571398367)  20:53:37

用了mongodb,我就把mysql抛弃了

【元帅】清水煮白菜(554263494)  20:54:02

你不写数据都有会强制同步到硬盘么?

不强制,我发现,丢数据的概率相当大

【元帅】深圳-The Best-(554983108)  20:54:19

断电肿么办

【元帅】奋斗(67063492)  20:54:27

。。

【元帅】木鱼(571398367)  20:54:31

没发现过丢数据

【元帅】奋斗(67063492)  20:54:39

停电最容易坏的的是mysql

【元帅】IT柏拉图(2500875)  20:54:40

人口数据很容易呀,把人口数据分成两个表,一个全国数据表,一个省份表就行了,但至于后面还要不要切分就看你的需求了

【元帅】木鱼(571398367)  20:54:41

阿里云不会断电

【元帅】IT柏拉图(2500875)  20:54:59

人口数据的id是固定不变的,都是1...13亿,是永远不会删除的

【元帅】清水煮白菜(554263494)  20:55:01

使用了强制同步到硬盘么?

【元帅】深圳-The Best-(554983108)  20:55:13

等断电了,你岂不是要跳楼了

【元帅】奋斗(67063492)  20:55:14

【元帅】挨踢精鹰(1452369892)  20:55:44

不能备份吗

【元帅】木鱼(571398367)  20:55:53

不清楚,我不知道在哪配置强制同步

我都是使用默认配置的

【元帅】IT柏拉图(2500875)  20:56:06

如果50条一页,第一页就是 id 1-50的,第100万页就是 5000001 - 5000050 的,这有什么难的

【元帅】奋斗(67063492)  20:56:23

就是啊

【状元】横瓜-PHP教父(601069289)  20:56:43

要求用一个表

【元帅】清水煮白菜(554263494)  20:56:42

他以为我们要用limit

【元帅】IT柏拉图(2500875)  20:56:55

为什么一定要用一个表呢?

【元帅】奋斗(67063492)  20:56:59

横瓜想表达什么

【元帅】IT柏拉图(2500875)  20:57:01

操....

【元帅】挨踢精鹰(1452369892)  20:57:07

操蛋

【元帅】清水煮白菜(554263494)  20:57:12

操蛋

【元帅】挨踢精鹰(1452369892)  20:57:16

为什么只能用一个表

【状元】广州-kiss-14K立跳(1908510)  20:57:33

我们公司放了一批访问数据到mongo里...

每次处理数据都有人在骂

【元帅】奋斗(67063492)  20:57:43

13亿人的记录,分成32个省,要求按照省查询各个省的人,要求可以翻页到所有页,例如翻到安徽省所有人员的第100万页,

【状元】横瓜-PHP教父(601069289)  20:57:44

方便同步

【元帅】IT柏拉图(2500875)  20:57:50

显示出你高富帅还是脑残,用一个表也不是没办法,id前面做一下省份标识,不就行了

【哑巴】|.S.N.|(15996204)  20:57:52

扯了,排序的话第100000万条后就会有问题了

【元帅】清水煮白菜(554263494)  20:57:53

其实人家只是刷存在感的,你们也太配合了

【元帅】木鱼(571398367)  20:57:55

不是要求不能用电脑吗?

【元帅】奋斗(67063492)  20:58:25

【状元】横瓜-PHP教父(601069289)  20:58:42

要求是ID递增

【元帅】深圳-The Best-(554983108)  20:58:42

不要怀疑瓜瓜

【元帅】清水煮白菜(554263494)  20:58:42

要不要用刀在硬盘上刻数据呀。

【元帅】奋斗(67063492)  20:58:49

一个表按省份分区

【元帅】深圳-The Best-(554983108)  20:58:52

瓜瓜是牛X的

【状元】横瓜-PHP教父(601069289)  20:58:58

连续递增

【元帅】深圳-The Best-(554983108)  20:59:05

一般的人做不到他这样

【元帅】奋斗(67063492)  20:59:09

是递增

【状元】横瓜-PHP教父(601069289)  20:59:17

下一个不一定哪个省出生小孩呢

【元帅】IT柏拉图(2500875)  20:59:31

你是否递增和做省份标识有什么关系呢

【元帅】挨踢精鹰(1452369892)  20:59:35

能给你同步就行了

【元帅】木鱼(571398367)  20:59:36

要求不能用电脑

【元帅】挨踢精鹰(1452369892)  20:59:41

你还要求这么多

【元帅】奋斗(67063492)  20:59:42

按省份分区就行了嘛

【元帅】深圳-The Best-(554983108)  20:59:46

一个省,用一个索引

【元帅】挨踢精鹰(1452369892)  20:59:47

不是操蛋是什么

【哑巴】|.S.N.|(15996204)  20:59:47

100万条数据,如果要排序分页,翻到几万页会有问题的

【元帅】奋斗(67063492)  20:59:55

没问题

【元帅】清水煮白菜(554263494)  20:59:58

http://www.ideawu.net/blog/archives/765.html/comment-page-1

【元帅】木鱼(571398367)  21:00:02

要求只能用圆珠笔录入数据

【元帅】IT柏拉图(2500875)  21:00:04

两个标识,一个是全局的,就是你说的默认递增,一个是省份的,每省份开一个不同的递增,不也一样

【元帅】挨踢精鹰(1452369892)  21:00:07

个个客户都像你这样要求人家搞毛啊

【元帅】清水煮白菜(554263494)  21:00:10

ssdb有人用过没

求真相

【状元】横瓜-PHP教父(601069289)  21:00:35

图图,但是要分男女呢

【哑巴】|.S.N.|(15996204)  21:00:35

你见过要翻几万页的么,那不是数据库,是google

【元帅】清水煮白菜(554263494)  21:00:35

图图别较真,人家是刷存在感的

【状元】横瓜-PHP教父(601069289)  21:00:50

要分出生年月的

都作成ID?

所以啊,ID不能那样设计

【元帅】奋斗(67063492)  21:01:21

男女分区,年份分区

【土豪】AB(416435562)  21:01:26

横瓜哥 你这是在求解决方案吗???

【元帅】奋斗(67063492)  21:01:30

【元帅】清水煮白菜(554263494)  21:01:37

人家是刷存在感的

【元帅】挨踢精鹰(1452369892)  21:01:43

他在扯淡

【元帅】深圳-The Best-(554983108)  21:01:44

横瓜在讨论问题

【元帅】IT柏拉图(2500875)  21:01:44

再复杂的条件,就是综合查询了,你觉得综合查询,有必要翻这么多页?

【状元】横瓜-PHP教父(601069289)  21:02:01

要的

【元帅】IT柏拉图(2500875)  21:02:04

如果条件都是能固定,增加多几个字段有时不可?

【元帅】老陈(493258372)  21:02:23

翻页很多就要分解了来处理

【元帅】木鱼(571398367)  21:02:29

redis只有1000多个连接

【元帅】奋斗(67063492)  21:02:35

如何分解法

2

【元帅】IT柏拉图(2500875)  21:02:41

如果你直接用关系字查询那种完全模糊的,就没法弄了

【元帅】老陈(493258372)  21:02:43

但搞那么多分页实在不是给人看的

【元帅】深圳-The Best-(554983108)  21:02:49

分解了来处理?求讲解

【元帅】IT柏拉图(2500875)  21:02:52

此外日期是可以改的

【元帅】老陈(493258372)  21:03:07

那是给采集来采的

【元帅】深圳-The Best-(554983108)  21:03:12

求老陈讲解

【元帅】老陈(493258372)  21:03:22

具体的问瓜瓜

【元帅】奋斗(67063492)  21:03:23

【元帅】深圳-The Best-(554983108)  21:03:35

瓜瓜说一下

【元帅】奋斗(67063492)  21:03:42

求一份13亿的数据

【元帅】挨踢精鹰(1452369892)  21:03:52

【元帅】深圳-The Best-(554983108)  21:03:56

自己生成一下

【元帅】老陈(493258372)  21:04:04

这个很早我是做过这种分页,但后来还是限制了最多分页数

【元帅】奋斗(67063492)  21:04:08

【元帅】IT柏拉图(2500875)  21:04:16

瓜瓜在研究它的千亿级cms,只有这东西才可能有生成一百万页给鬼看的需求

【哑巴】|.S.N.|(15996204)  21:04:18

其实是需求扯淡,你见过银行让你一次现实所以历史订单吗,都要选着日期

【元帅】挨踢精鹰(1452369892)  21:04:19

给统计局一个权限让他们录入得了

【元帅】IT柏拉图(2500875)  21:04:25

百度都最多只能看20页

【元帅】老陈(493258372)  21:04:40

数据大,在复合模糊查询,在提升也是要死人的

【元帅】奋斗(67063492)  21:04:57

瓜瓜不是不做哪个cms了嘛

【元帅】挨踢精鹰(1452369892)  21:05:19

不用模糊查询啊

【元帅】老陈(493258372)  21:05:19

瓜瓜做分腿的

不做分页

【元帅】挨踢精鹰(1452369892)  21:05:30

用傻瓜查询

【状元】横瓜-PHP教父(601069289)  21:08:29

我已经实现了类似千亿之内这样的查询,例如安徽的最新出生的小孩排第一

【元帅】深圳-The Best-(554983108)  21:08:50

【元帅】挨踢精鹰(1452369892)  21:09:05

上线没有

【元帅】老陈(493258372)  21:09:12

快来膜拜啊

【状元】横瓜-PHP教父(601069289)  21:09:16

依据年龄排序翻到100万页

【元帅】深圳-The Best-(554983108)  21:09:17

横瓜牛X

【屌丝】北京-绝迹(1645866)  21:09:20

瓜瓜

【元帅】老陈(493258372)  21:09:23

这是尖端技术

不用上线的

【状元】横瓜-PHP教父(601069289)  21:09:47

如果年龄修改后,可以立即到达指定位置

【元帅】挨踢精鹰(1452369892)  21:09:51

擦,不上线怎么玩

【状元】横瓜-PHP教父(601069289)  21:09:56

的页码

如果年龄修改后,可以立即到达指定位置的页码

【屌丝】北京-绝迹(1645866)  21:10:09

千亿!?

【状元】横瓜-PHP教父(601069289)  21:10:16

【屌丝】北京-绝迹(1645866)  21:10:15

【状元】横瓜-PHP教父(601069289)  21:10:27

10MS从硬盘完成

【元帅】挨踢精鹰(1452369892)  21:10:34

我想知道不上线怎么玩

【元帅】木鱼(571398367)  21:10:36

服务器CPU双核好还是4核好

【元帅】深圳-The Best-(554983108)  21:10:38

牛啊

【元帅】挨踢精鹰(1452369892)  21:10:44

心灵感应吗

【元帅】奋斗(67063492)  21:10:57

这样分页,越往后越慢

从第一页开始,分几下就挂了

横瓜先生纵论NOSQL与MYSQL实现最热最新查询的分页性能比较

时间: 2024-10-06 09:24:27

横瓜先生纵论NOSQL与MYSQL实现最热最新查询的分页性能比较的相关文章

横瓜先生深度剖析QQ空间前端后端技术AJAX与FORM等等

[皇帝]北京-横瓜-7年(601069289)  22:06:34 [元帅]横瓜-PHP教父(601069289)  21:35:29 这里是QQ空间的图片上传方法 是FLASH 我草 [元帅]横瓜-PHP教父(601069289)  21:36:31 竟然不是JS QQ空间用FLASH 图片上传方法 [元帅]横瓜-PHP教父(601069289)  21:37:35 至此,整个QQ空间的技术,已经全部被我破解 @IT柏拉图 [元帅]IT柏拉图(2500875)  21:38:11 你真是天才,

由横瓜先生发起的一种新型的引力波网络传输技术的大讨论

Uyuw's Concert Time Limit: 6000MS   Memory Limit: 65536K Total Submissions: 6587   Accepted: 2611 Description Prince Remmarguts solved the CHESS puzzle successfully. As an award, Uyuw planned to hold a concert in a huge piazza named after its great d

​Keepalive实现mysql双主热备

Keepalive实现mysql双主热备 环境描述: OS: CentoOS6.6_X64 Node1:172.16.10.1 Node2:172.16.10.2 VIP:172.16.10.10 1.配置主机互信 Node1: [[email protected]~]# ifconfig eth0 eth0      Link encap:Ethernet  HWaddr 00:0C:29:11:21:56            inet addr:172.16.100.1  Bcast:17

MySQL单表百万数据记录分页性能优化

原文地址:http://www.cnblogs.com/lyroge/p/3837886.html MySQL单表百万数据记录分页性能优化 背景: 自己的一个网站,由于单表的数据记录高达了一百万条,造成数据访问很慢,Google分析的后台经常报告超时,尤其是页码大的页面更是慢的不行. 测试环境: 先让我们熟悉下基本的sql语句,来查看下我们将要测试表的基本信息 use infomation_schemaSELECT * FROM TABLES WHERE TABLE_SCHEMA = 'dbna

mysql的双机热备

例子:实现mysql的双机热备(AB复制) db1(master)<------->db2(salave) db1.josen365.net eth0 192.168.1.48/24 eth0:0 192.168.33.48/24 eth1  192.168.100.48 db2.josen365.net eth0 192.168.1.49/24 eth0:0 192.168.33.49/24 eth1   192.168.100.49 核心步骤归纳: 1.master必须启动二进制和使用唯一

mysql基础-数据库多表查询-记录(六)

0x01 MySQL多表查询和子查询 联结查询:事先将两张或者多张表join,根据join的结果进行查询 cross join:交叉联结  用的少, 相当于 (a+b)*(c+d+e) 所得结果的形式   用的少 自然联结  --- 只能在两者相等的情况下才能建立连接 等值联结:把相同的字段进行等值连接 外联结: 左外联接:只保留出现在左外连接元算之前(左边)的关系中的元组(以左表为准,) left_tb LEFT JOIN right_tb ON 条件 右外联接:只保留出现在右外连接元算之后(

MySQL基础学习之数据查询

一般查询 SELECT * FROM 表名 SELECT 属性名  FROM  表名 条件查询 SELECT 属性名 FROM 表名  WHERE 条件表达式 查询数据值1,数据值2的表单 SELECT *  FROM  表名  WHERE  属性名 [NOT] IN(数据值1,数据值2....) 查询数值1,数据2的表单 SELECT *  FROM  表名  WHERE  属性=值  AND 属性1=值1 查询数值1到数值2之间的表单 SELECT *  FROM  表名  WHERE  属

MySQL:动态开启慢查询日志(Slow Query Log)

前言 在开发中,高效能的程序 也包括 高效能的查询,所以优化SQL也是程序员必要技能之一.要优化就必须要有慢日志记录才可以知道哪些查询慢,然后反向去修改 慢日志设置方式 写入文件 写入数据库 实践操作 方式一:写入文件 编辑my.conf 中修改 log_slow_queries 的日志地址 $ cd /etc/mysql $ cat my.cnf |grep slow  log_slow_queries = /data/logs/mysql/mysql-slow.log $ sudo /etc

mysql根据汉字拼音排序查询

例如现在有一张数据表label,字段为id.name,此表的字符集设置为gb2312,以gb2312_chinese_ci整理. 设置InnoDB引擎的字符集也为简体中文,且整理为gb2312_chinese_ci. 查询语句如下: select * from label order_by name collate gb2312_chinese_ci; 效果如下: tip:有时候结果不是很准确,不知道是不是因为字符集选择的不当导致的,知道的朋友,请解答下,谢谢! mysql根据汉字拼音排序查询,