MySQLdb的一些经验

遇到过的几类问题:

  1. 如果保持长连接,即使在mysql数据库默认的connection timeout内,也有可能出现"mysql server has gone away"。还有另一种情况,当SQL语句本身有问题的时候,也会出现这个错误。其实不是非常频繁的读写和插入,每次执行前connect,创建cursor,执行完后双双关闭,既不会对性能产生影响,也不会出现这种错误,省略了catch后重连的烦恼。
  2. 关于select的效率,可以发现:当一次select的数量比较大的时候,返回变的很慢,这时候可以采用sscursor的方式,和普通cursor方式的区别就是记录是保存在server端,而不是client端,读的时候for ... in .. + yield组合,非常方便。测试13000+条记录能省两秒的样子。
  3. with的写法真的很方便啊,来自sf: http://stackoverflow.com/questions/8067690/context-manager-for-pythons-mysqldb

然后就整理了一下下面的代码,丢到github上以后备用,欢迎指出问题啊:

地址在这里:https://github.com/fayewu/python_common_module/blob/master/sql_ope.py

时间: 2024-08-04 20:42:24

MySQLdb的一些经验的相关文章

[原创]python MySQLdb在windows环境下的安装、出错问题以及解决办法

版权声明:本文为博主原创文章,未经博主允许不得转载. 问题:windows下安装MySQLdb的方法 解析:python没有php那种集成环境,比如wamp那种集成软件直接把所有需要的东西全部一次性搭建好,但是python也有好的就是在linux环境下特别的简单方便,只是windows下麻烦点啦!但是只要大家去努力不要放弃,还是能成功的:最为windows环境的我,为了python搭建环境我也会各种百度谷歌找了很多博文以及其他文章,苦恼! 注释:其实也很简单,只是大家刚开始接触,还不太明白而已,

Python2 - MySQL适配器 MySQLdb

本文实例讲述了python中MySQLdb模块用法.分享给大家供大家参考.具体用法分析如下: MySQLdb其实有点像php或asp中连接数据库的一个模式了,只是MySQLdb是针对mysql连接了接口,我们可以在python中连接MySQLdb来实现数据的各种操作. python连接mysql的方案有oursql.PyMySQL. myconnpy.MySQL Connector 等,不过本篇要说的确是另外一个类库MySQLdb,MySQLdb 是用于Python链接Mysql数据库的接口,它

微信小程序豆瓣电影项目的改造过程经验分享

在学习微信小程序开发过程中,一部分的难点是前端逻辑的处理,也就是对前端JS的代码编辑:一部分的难点是前端界面的设计展示:本篇随笔基于一个豆瓣电影接口的小程序开源项目进行重新调整,把其中遇到的相关难点和改进的地方进行讨论介绍,希望给大家提供一个参考的思路,本篇随笔是基于前人小程序的项目基础上进行的改进,因此在开篇之前首先对原作者的辛劳致敬及感谢. 1.豆瓣电影接口的小程序项目情况 豆瓣电影接口提供了很多相关的接口给我们使用,豆瓣电影接口的API地址如下所示:https://developers.d

【Spark深入学习 -14】Spark应用经验与程序调优

----本节内容------- 1.遗留问题解答 2.Spark调优初体验 2.1 利用WebUI分析程序瓶颈 2.2 设置合适的资源 2.3 调整任务的并发度 2.4 修改存储格式 3.Spark调优经验 3.1 Spark原理及调优工具 3.2 运行环境优化 3.2.1 防止不必要的分发 3.2.2 提高数据本地性 3.2.3 存储格式选择 3.2.4 选择高配机器 3.3 优化操作符 3.3.1 过滤操作导致多小任务 3.3.2 降低单条记录开销 3.3.3 处理数据倾斜或者任务倾斜 3.

python MySQLdb在windows环境下的快速安装、问题解决方式

使用Python访问MySQL,需要一系列安装 Linux下MySQLdb安装见 Python MySQLdb在Linux下的快速安装 http://blog.csdn.net/wklken/article/details/7271019 ------------------------------------------------------------- 以下是windows环境下的: 1.      安装数据库mysql 下载地址:http://www.mysql.com/downloa

python的MYSQLdb模块在linux环境下的安装

开始学习python数据库编程后,在了解了基本概念,打算上手试验一下时,卡在了MYSQLdb包的安装上,折腾了半天才解决.记录一下我在linux中安装此包遇到的问题.系统是ubuntn15.04. 1.下载 第一个问题是pycharm软件的模块安装功能Project Interpreter无法自动下载安装MYSQLdb包,显示 Error occurred when installling package 那没办法了,只好手动下载了.MYSQLdb包linux系统的下载的地址是 http://s

《运营笔记》:主要是猫扑论坛运营经验。3星。

书中有不少运营的经验,其中以作者在猫扑的运营经验为主.条理略差,在移动互联网时代这些经验的价值也在逐步降低中.总体来说还是值得看一看的.我的评价是3星. 以下是书中一些内容的摘抄: 1:其实真正有消费能力的用户,白天可能根本不会上你的平台,因为他们都有自己繁忙的事情要处理.他们很可能晚上出现.如果你第一次不理他,第一次不理他,第三次还是不理他,那么,很有可能意味着你将失去他了.p56 2:如果帖子内容里面含有视频.图片,可以在标题里加上(图).(视频).(图+视频)的字样.p59 3:最好的用户

ZooKeeper和Curator相关经验总结

一.关于ZooKeeper的watch用法,需要注意 详细说明如下: ZooKeeper Watches All of the read operations in ZooKeeper - getData(), getChildren(), and exists() - have the option of setting a watch as a side effect. Here is ZooKeeper's definition of a watch: a watch event is o

基于MVC+EasyUI的Web开发框架经验总结(1)-利用jQuery Tags Input 插件显示选择记录

最近花了不少时间在重构和进一步提炼我的Web开发框架上,力求在用户体验和界面设计方面,和Winform开发框架保持一致,而在Web上,我主要采用EasyUI的前端界面处理技术,走MVC的技术路线,在重构完善过程中,很多细节花费不少时间进行研究和提炼,一步步走过来,也积累了不少经验,本系列将主要介绍我在进一步完善我的Web框架基础上积累的经验进行分享,本随笔主要介绍利用jQuery Tags Input 插件显示选择记录. 我在利用jQuery Tags Input 插件之前,一直想找一个合适的J