技术微博 - 3

。使用innobackupex,extrabackup进行MySQL备份,本质上是拷贝文件到另外一个目录,拷贝时会消耗IO资源,同时要注意空间是否足够,最好一边备份一边压缩,出来的文件小了,相当于节省了IO

。把表结构拷贝到另外一个表,可使用 insert into target_table select * from source_table;

。根据业务可以把数据库分3种,第一种是核心库,保存用户的信息,第二种是账单库,负责保存明细,账单的信息,还有一种是统计库,负责出报表

。修改lepus的php代码,不需要把整个代码打包上传下载,只需要把需要改动的php文件做备份,然后上传新的页面即可

。使用rz -bye上传不压缩的gblic包容易导致目录乱码,在rm -f的时候,容易遇到通配符把文件都删除,正确做法是先把glibc包都放在一个压缩的tar文件里面,再上传

。MySQL导数出来,导入myshard里面,需要加入__version字段,如果不额外加入版本号字段,默认会是0,导入到空白的表还好,如果表已经有数据,就会有大于0的版本号,那么再次导入0的版本号,就无法插入进去

。Innobackupex解压了压缩文件,如果直接使用mysqld_safe启动,回按照MySQL的奔溃恢复方式来启动,会导致启动失败,因为不是按照apply log的方式进行崩溃恢复

。使用pt-table-checksum 2亿的表,修复上千条数据,超过8小时都还没能修复完,因为它的原理是逐条checksum,发现有不对的的地方,再进行具体比较和修复,当然很慢了

。pt-table-sync修复时,把--print --execute的结果重定向到某个文件,为了保存数据,告诉别人结果,我修复了多少条数据。同理要把checksums的结果重定向到某个日志里面,否则屏幕一刷出来就过了,做过的事情要记录下来,业务会有问你的时候

。innobackup很可能解压时会失败,如果空间足够,可以先CP一个备份

。一般数据库服务器用的是惠普的R720,R730

。为什么MySQL rename一个2亿的大表都是瞬间呢?因为背后的命令是mv,只需要修改一下连接指向而已

。即是不能降低别人预期,也不要提高别人期待,给意外和事故留时间,否则最后苦了自己

。windows的MySQL图形客户端软件,在服务端的MySQL不知道授权哪个的时候,windows可以直接去连接,失败会返回你的XX IP不允许连接数据库

。登陆linux系统,获取root权限,需要经过跳板机,但登陆数据库是不需要经过跳板机的,应用程序直接连接即可,所以windows上的navicat是可以使用的

。myshard的按月分表,在查询的时候,要告诉别人你要查询的哪个月,于是要加入__date_partition=201611

时间: 2024-10-13 02:34:11

技术微博 - 3的相关文章

网络挖掘技术——微博文本特征提取

文本特征向量 经典的向量空间模型(VSM: Vector Space Model)由Salton等人于60年代提出,并成功地应用于著名的SMART文本检索系统.VSM概念简单,把对文本内容的处理简化为向量空间中的向量运算,并且它以空间上的相似度表达语义的相似度,直观易懂.当文档被表示为文档空间的向量,就可以通过计算向量之间的相似性来度量文档间的相似性.文本处理中最常用的相似性度量方式是余弦距离.文本挖掘系统采用向量空间模型,用特征词条(T1 ,T2 ,-Tn) 及其权值Wi 代表目标信息,在进行

技术微博 - 2

.myshard分内外网,连内网的myshard ip,需要授权业务机器内网IP白名单,外网同样的道理 .把SQL语句导入数据库,一定要加-f参数,否则遇到错误就会停止了,正确错误是把错误重定向到日志,mysql -h127.0.0.1 -P3306 -u账号 -p密码 -f < db.sql >> export_error.log 2>&1 &, 不要进入MySQL里面用source,而要在linux做数据的导入,速度差异非常的大 .机房之间网络问题,丢包率高,并

iOS常用技术-微博字符串的截取

////  NSString+Range.h//  字符串作业////  Created by andezhou on 15/12/17.//  Copyright © 2015年 周安德. All rights reserved.// #import <Foundation/Foundation.h> @interface NSString (Range) // 截取话题##- (NSArray *)queryTopicFromString:(NSString *)topic; // 截取表

技术微博 - 4

.使用order by语句查询一张表,比如200行,取出200行的同时,还需要对这200行进行排序,也就是filesort的功能,这也是慢的原因,如果有索引,索引本身就是顺序,就不需要再使用filesort功能,结论order by,max,min都需要加索引 .国内机房亚太机房比较稳当,广州亚太机房经常丢包,质量比较差 .使用innobackupex对apply-log的数据库进行启动,主要要修改my.cnf文件,或者使用拷贝过来的my.cnf,而不是使用新部署实例的my.cnf,否则目录不一

技术微博 - 5

.innodb buffer pool的作用是缓存表数据,而不是缓存表结果,缓存查询结果是query cache的事情,缓存表数据是指,把整个表或者表的某部分数据块都放到内存里面,第一次查询以后,就相当于内存数据库,而我不需要再次查询磁盘了 .phxsql的gtid是有多少个MySQL,就有多少个gtid的,跟percona5.6,mysql5.6是一致的,gtid是全局唯一的 .snmp访问,开放防火墙是udp协议,而不是tcp协议 iptables -I INPUT -s  源机器IP  -

聊聊程序员的软技能

聊聊程序员的软技能 最近读到一本有意思的书,叫<软技能-代码之外的生存指南>,这是一本相当跨界的书,内容除了介绍了技术人的职业发展之外,还涉及了自我的营销.学习方法.生产力.健身.甚至还包括理财.应该说,每一个章节都是非常有意思的,值得每一个程序员学习的内容. <软技能>一书的内容分为以上这些章节,我也按这些章节讲讲自己的感悟吧. 职业 职业一章介绍了程序员的面试,晋升,离职,远程办公,自由职业,以及创业.不管做什么事情,专业性总是第一要点.就像书中写的那样,我们应该成为「专业人士

程序员周末怎么过才充实

不知不觉又到周末了,有很大一部分程序员的周末都是献给公司的--无偿加班,当然也有一部分程序员周末就彻底放松了--打球.聚会.泡妹.那么作为程序员,什么样的周末才是充实又有趣的呢?这里我想给大家一些建议. 拒绝加班,周末的时间一定要留给自己和家人,这是底线,这些宝贵的时间你可以用来给自己的生活充充电. 一.阅读技能 在现实生活中,大量的阅读能提高你自身的修养,也不至于让自己一直禁锢在程序员这个狭隘的行业空间内.你可以阅读一些生活周刊.财富杂志.程序员杂志(比如订阅<快乐码农>)和一些可以提高自己

关于pycharm字体大小的调整

我们平常编写pyhton 可以用sublime eclipse 但是eclipse在后期需要安装很多插件,这很是麻烦,为了避免这种麻烦,我们采用pycharm来编写,但是刚装上的该软件 不建议同学们进行汉化,这时候的字体偏小,为了将字体看起来大小合适,现在进行调整 首先双击启动pycharm 1   鼠标左键点击左上角File  出现下拉菜单 然后点击settings....如下图所示 2  点击color&Fonts 如下图所示 3  点击font 此时右边字体大小无法修改 点击右侧Save

微博首席架构师杨卫华:新浪微博技术架构分析

作为国内微博市场的绝对领军者,新浪微博公布一系列针对开发者的扶持政策,以期与第三方开发者联手推动微博行业的整体发展. 以下为演讲实录: 大家下午好,在座的大部分都是技术开发者,技术开发者往往对微博这个产品非常关心.最晚的一次,是12点多收到一个邮件说想了解一下微博底层是怎么构架的.很多技术人员对微博的构架非常感兴趣,就是一个明星他有300万粉丝,这个技术怎么来实现?今天在这里跟大家分享一下微博的底层机构,让大家对微博的底层技术有更好的了解.另外不管是做客户端.Web 1.0.Web 2.0.论坛