【转】nodejs mysql 链接数据库集群

1、建立数据库连接:createConnection(Object)方法
      该方法接受一个对象作为参数,该对象有四个常用的属性host,user,password,database。与php中链接数据库的参数相同。属性列表如下:

[javascript] view plaincopy

  1. host: 连接数据库所在的主机名. (默认: localhost)
  2. port: 连接端口. (默认: 3306)
  3. localAddress: 用于TCP连接的IP地址. (可选)
  4. socketPath: 链接到unix域的路径。在使用host和port时该参数会被忽略.
  5. user: MySQL用户的用户名.
  6. password: MySQL用户的密码.
  7. database: 链接到的数据库名称 (可选).
  8. charset: 连接的字符集. (默认: ‘UTF8_GENERAL_CI‘.设置该值要使用大写!)
  9. timezone: 储存本地时间的时区. (默认: ‘local‘)
  10. stringifyObjects: 是否序列化对象. See issue #501. (默认: ‘false‘)
  11. insecureAuth: 是否允许旧的身份验证方法连接到数据库实例. (默认: false)
  12. typeCast: 确定是否讲column值转换为本地JavaScript类型列值. (默认: true)
  13. queryFormat: 自定义的查询语句格式化函数.
  14. supportBigNumbers: 数据库处理大数字(长整型和含小数),时应该启用 (默认: false).
  15. bigNumberStrings: 启用 supportBigNumbers和bigNumberStrings 并强制这些数字以字符串的方式返回(默认: false).
  16. dateStrings: 强制日期类型(TIMESTAMP, DATETIME, DATE)以字符串返回,而不是一javascript Date对象返回. (默认: false)
  17. debug: 是否开启调试. (默认: false)
  18. multipleStatements: 是否允许在一个query中传递多个查询语句. (Default: false)
  19. flags: 链接标志.

还可以使用字符串连接数据库例如:

[javascript] view plaincopy

  1. var connection = mysql.createConnection(‘mysql://user:[email protected]/db?debug=true&charset=BIG5_CHINESE_CI&timezone=-0700‘);

2、结束数据库连接end()和destroy()
end()接受一个回调函数,并且会在query结束之后才触发,如果query出错,仍然会终止链接,错误会传递到回调函数中处理。

destroy()立即终止数据库连接,即使还有query没有完成,之后的回调函数也不会在触发。

3、创建连接池 createPool(Object)  Object和createConnection参数相同。
可以监听connection事件,并设置session值

[javascript] view plaincopy

  1. pool.on(‘connection‘, function(connection) {
  2. connection.query(‘SET SESSION auto_increment_increment=1‘)
  3. });

connection.release()释放链接到连接池。如果需要关闭连接并且删除,需要使用connection.destroy()
pool除了接受和connection相同的参数外,还接受几个扩展的参数

[javascript] view plaincopy

  1. createConnection: 用于创建链接的函数. (Default: mysql.createConnection)
  2. waitForConnections: 决定当没有连接池或者链接数打到最大值时pool的行为. 为true时链接会被放入队列中在可用是调用,为false时会立即返回error. (Default: true)
  3. connectionLimit: 最大连接数. (Default: 10)
  4. queueLimit: 连接池中连接请求的烈的最大长度,超过这个长度就会报错,值为0时没有限制. (Default: 0)

4、连接池集群
允许不同的host链接

[javascript] view plaincopy

  1. // create
  2. var poolCluster = mysql.createPoolCluster();
  3. poolCluster.add(config); // anonymous group
  4. poolCluster.add(‘MASTER‘, masterConfig);
  5. poolCluster.add(‘SLAVE1‘, slave1Config);
  6. poolCluster.add(‘SLAVE2‘, slave2Config);
  7. // Target Group : ALL(anonymous, MASTER, SLAVE1-2), Selector : round-robin(default)
  8. poolCluster.getConnection(function (err, connection) {});
  9. // Target Group : MASTER, Selector : round-robin
  10. poolCluster.getConnection(‘MASTER‘, function (err, connection) {});
  11. // Target Group : SLAVE1-2, Selector : order
  12. // If can‘t connect to SLAVE1, return SLAVE2. (remove SLAVE1 in the cluster)
  13. poolCluster.on(‘remove‘, function (nodeId) {
  14. console.log(‘REMOVED NODE : ‘ + nodeId); // nodeId = SLAVE1
  15. });
  16. poolCluster.getConnection(‘SLAVE*‘, ‘ORDER‘, function (err, connection) {});
  17. // of namespace : of(pattern, selector)
  18. poolCluster.of(‘*‘).getConnection(function (err, connection) {});
  19. var pool = poolCluster.of(‘SLAVE*‘, ‘RANDOM‘);
  20. pool.getConnection(function (err, connection) {});
  21. pool.getConnection(function (err, connection) {});
  22. // destroy
  23. poolCluster.end();

链接集群的可选参数

[javascript] view plaincopy

  1. canRetry: 值为true时,允许连接失败时重试(Default: true)
  2. removeNodeErrorCount: 当连接失败时 errorCount 值会增加. 当errorCount 值大于 removeNodeErrorCount 将会从PoolCluster中删除一个节点. (Default: 5)
  3. defaultSelector: 默认选择器. (Default: RR)
  4. RR: 循环. (Round-Robin)
  5. RANDOM: 通过随机函数选择节点.
  6. ORDER: 无条件地选择第一个可用节点.

5、切换用户/改变连接状态

[javascript] view plaincopy

  1. Mysql允许在比断开连接的的情况下切换用户
  2. connection.changeUser({user : ‘john‘}, function(err) {
  3. if (err) throw err;
  4. });

[javascript] view plaincopy

  1. 参数
  2. user: 新的用户 (默认为早前的一个).
  3. password: 新用户的新密码 (默认为早前的一个).
  4. charset: 新字符集 (默认为早前的一个).
  5. database: 新数据库名称 (默认为早前的一个).

6、处理服务器连接断开

[javascript] view plaincopy

  1. var db_config = {
  2. host: ‘localhost‘,
  3. user: ‘root‘,
  4. password: ‘‘,
  5. database: ‘example‘
  6. };
  7. var connection;
  8. function handleDisconnect() {
  9. connection = mysql.createConnection(db_config); // Recreate the connection, since
  10. // the old one cannot be reused.
  11. connection.connect(function(err) {              // The server is either down
  12. if(err) {                                     // or restarting (takes a while sometimes).
  13. console.log(‘error when connecting to db:‘, err);
  14. setTimeout(handleDisconnect, 2000); // We introduce a delay before attempting to reconnect,
  15. }                                     // to avoid a hot loop, and to allow our node script to
  16. });                                     // process asynchronous requests in the meantime.
  17. // If you‘re also serving http, display a 503 error.
  18. connection.on(‘error‘, function(err) {
  19. console.log(‘db error‘, err);
  20. if(err.code === ‘PROTOCOL_CONNECTION_LOST‘) { // Connection to the MySQL server is usually
  21. handleDisconnect();                         // lost due to either server restart, or a
  22. } else {                                      // connnection idle timeout (the wait_timeout
  23. throw err;                                  // server variable configures this)
  24. }
  25. });
  26. }
  27. handleDisconnect();

7、转义查询值

为了避免SQL注入攻击,需要转义用户提交的数据。可以使用connection.escape() 或者 pool.escape()
例如:

[javascript] view plaincopy

  1. var userId = ‘some user provided value‘;
  2. var sql    = ‘SELECT * FROM users WHERE id = ‘ + connection.escape(userId);
  3. connection.query(sql, function(err, results) {
  4. // ...
  5. });
  6. 或者使用?作为占位符
  7. connection.query(‘SELECT * FROM users WHERE id = ?‘, [userId], function(err, results) {
  8. // ...
  9. });
  10. 不同类型值的转换结果
  11. Numbers 不变
  12. Booleans 转换为字符串 ‘true‘ / ‘false‘
  13. Date 对象转换为字符串 ‘YYYY-mm-dd HH:ii:ss‘
  14. Buffers 转换为是6进制字符串
  15. Strings 不变
  16. Arrays => [‘a‘, ‘b‘] 转换为 ‘a‘, ‘b‘
  17. 嵌套数组 [[‘a‘, ‘b‘], [‘c‘, ‘d‘]] 转换为 (‘a‘, ‘b‘), (‘c‘, ‘d‘)
  18. Objects 转换为 key = ‘val‘ pairs. 嵌套对象转换为字符串.
  19. undefined / null ===> NULL
  20. NaN / Infinity 不变. MySQL 不支持这些值,  除非有工具支持,否则插入这些值会引起错误.
  21. 转换实例:
  22. var post  = {id: 1, title: ‘Hello MySQL‘};
  23. var query = connection.query(‘INSERT INTO posts SET ?‘, post, function(err, result) {
  24. // Neat!
  25. });
  26. console.log(query.sql); // INSERT INTO posts SET `id` = 1, `title` = ‘Hello MySQL‘
  27. 或者手动转换
  28. var query = "SELECT * FROM posts WHERE title=" + mysql.escape("Hello MySQL");
  29. console.log(query); // SELECT * FROM posts WHERE title=‘Hello MySQL‘

8、转换查询标识符
如果不能信任SQL标识符(数据库名、表名、列名),可以使用转换方法mysql.escapeId(identifier);

[javascript] view plaincopy

  1. var sorter = ‘date‘;
  2. var query = ‘SELECT * FROM posts ORDER BY ‘ + mysql.escapeId(sorter);
  3. console.log(query); // SELECT * FROM posts ORDER BY `date`
  4. 支持转义多个
  5. var sorter = ‘date‘;
  6. var query = ‘SELECT * FROM posts ORDER BY ‘ + mysql.escapeId(‘posts.‘ + sorter);
  7. console.log(query); // SELECT * FROM posts ORDER BY `posts`.`date`
  8. 可以使用??作为标识符的占位符
  9. var userId = 1;
  10. var columns = [‘username‘, ‘email‘];
  11. var query = connection.query(‘SELECT ?? FROM ?? WHERE id = ?‘, [columns, ‘users‘, userId], function(err, results) {
  12. // ...
  13. });
  14. console.log(query.sql); // SELECT `username`, `email` FROM `users` WHERE id = 1

9、准备查询
可以使用mysql.format来准备查询语句,该函数会自动的选择合适的方法转义参数。

[javascript] view plaincopy

  1. var sql = "SELECT * FROM ?? WHERE ?? = ?";
  2. var inserts = [‘users‘, ‘id‘, userId];
  3. sql = mysql.format(sql, inserts);
  4. 10、自定义格式化函数
  5. connection.config.queryFormat = function (query, values) {
  6. if (!values) return query;
  7. return query.replace(/\:(\w+)/g, function (txt, key) {
  8. if (values.hasOwnProperty(key)) {
  9. return this.escape(values[key]);
  10. }
  11. return txt;
  12. }.bind(this));
  13. };
  14. connection.query("UPDATE posts SET title = :title", { title: "Hello MySQL" });

11、获取插入行的id
当使用自增主键时获取插入行id,如:

[javascript] view plaincopy

  1. connection.query(‘INSERT INTO posts SET ?‘, {title: ‘test‘}, function(err, result) {
  2. if (err) throw err;
  3. console.log(result.insertId);
  4. });

12、流处理
有时你希望选择大量的行并且希望在数据到达时就处理他们,你就可以使用这个方法

[javascript] view plaincopy

  1. var query = connection.query(‘SELECT * FROM posts‘);
  2. query
  3. .on(‘error‘, function(err) {
  4. // Handle error, an ‘end‘ event will be emitted after this as well
  5. })
  6. .on(‘fields‘, function(fields) {
  7. // the field packets for the rows to follow
  8. })
  9. .on(‘result‘, function(row) {
  10. // Pausing the connnection is useful if your processing involves I/O
  11. connection.pause();
  12. processRow(row, function() {
  13. connection.resume();
  14. });
  15. })
  16. .on(‘end‘, function() {
  17. // all rows have been received
  18. });

13、混合查询语句(多语句查询)
 因为混合查询容易被SQL注入攻击,默认是不允许的,可以使用var connection = mysql.createConnection({multipleStatements: true});开启该功能。
 混合查询实例:

[javascript] view plaincopy

  1. connection.query(‘SELECT 1; SELECT 2‘, function(err, results) {
  2. if (err) throw err;
  3. // `results` is an array with one element for every statement in the query:
  4. console.log(results[0]); // [{1: 1}]
  5. console.log(results[1]); // [{2: 2}]
  6. });

同样可以使用流处理混合查询结果:

[javascript] view plaincopy

  1. var query = connection.query(‘SELECT 1; SELECT 2‘);
  2. query
  3. .on(‘fields‘, function(fields, index) {
  4. // the fields for the result rows that follow
  5. })
  6. .on(‘result‘, function(row, index) {
  7. // index refers to the statement this result belongs to (starts at 0)
  8. });

如果其中一个查询语句出错,Error对象会包含err.index指示错误语句的id,整个查询也会终止。
混合查询结果的流处理方式是做实验性的,不稳定。

14、事务处理
connection级别的简单事务处理

[javascript] view plaincopy

  1. connection.beginTransaction(function(err) {
  2. if (err) { throw err; }
  3. connection.query(‘INSERT INTO posts SET title=?‘, title, function(err, result) {
  4. if (err) {
  5. connection.rollback(function() {
  6. throw err;
  7. });
  8. }
  9. var log = ‘Post ‘ + result.insertId + ‘ added‘;
  10. connection.query(‘INSERT INTO log SET data=?‘, log, function(err, result) {
  11. if (err) {
  12. connection.rollback(function() {
  13. throw err;
  14. });
  15. }
  16. connection.commit(function(err) {
  17. if (err) {
  18. connection.rollback(function() {
  19. throw err;
  20. });
  21. }
  22. console.log(‘success!‘);
  23. });
  24. });
  25. });
  26. });

15、错误处理

[javascript] view plaincopy

  1. err.code = string
  2. err.fatal => boolean

更详细的说明请查看:https://github.com/felixge/node-mysql

时间: 2024-10-05 22:33:42

【转】nodejs mysql 链接数据库集群的相关文章

PhxSQL 教程:兼容MySQL的数据库集群

PhxSQL是一个兼容mysql.服务高可用.数据强一致的关系型数据库集群.PhxSQL以单Master多Slave方式部署,在集群内超过一半机器存活的情况下,可自身实现自动Master切换,且保证数据一致性. PhxSQL基于Percona 5.6开发.Percona是MySQL的一个分支,功能和实现与MySQL基本一致(腾云科技TY300.COM).因此本文后续直接把MySQL作为讨论对象. MySQL半同步复制存在缺陷,在Master进行切换的场景下,数据难以保证一致. 当旧Master复

【MySQL】容器集群支持数据库实践

京东容器数据库系统,管理1800台物理计算节点,生产1W+ 多MySQL Docker容器实例.架构简单可靠,Docker容器计算平台与MySQL集群管理平台解耦处理.为描述方便,京东容器化数据库系统命名为CDS,底层京东Docker容器计算平台命名为JDOS. 本文重点介绍JDOS如何支持CDS.CDS是更大的话题,后续数据库团队会分享相关实践. 介绍 CDS依赖京东坚实的JDOS技术,生产运行1W+个MySQL容器实例.CDS借助JDOS技术优势获得主要3个方面的技术收益: CDS借助Doc

PhxSQL兼容MySQL的关系型数据库集群

PhxSQL是一个兼容MySQL.服务高可用.数据强一致的关系型数据库集群.PhxSQL以单Master多Slave方式部署,在集群内超过一半机器存活的情况下,可自身实现自动Master切换,且保证数据一致性. PhxSQL 架构: PhxSQL基于Percona 5.6开发.Percona是MySQL的一个分支,功能和实现与MySQL基本一致(基础教程qkxue.net).因此本文后续直接把MySQL作为讨论对象. 总览: PhxSQL具有服务高可用.数据强一致.高性能.运维简单.和MySQL

MySQL数据库集群进行正确配置步骤

MySQL数据库集群进行正确配置步骤 2010-06-09 10:47 arrowcat 博客园 字号:T | T 我们今天是要和大家一起分享的是对MySQL数据库集群进行正确配置,我前两天在相关网站看见的资料,今天拿出来供大家分享. AD:51CTO 网+首届APP创新评选大赛火热启动——超百万资源等你拿! 此文章主要向大家讲述的是对MySQL数据库集群进行正确配置的实际操作步骤,以及对其概念的讲述,如果你对其相关的实际操作有兴趣了解的话,以下的文章将会给你提供相关的知识. 一.介绍 这篇文档

docker应用-6(mysql+mycat 搭建数据库集群)

上一节,通过使用overlay网络,搭建了跨主机的docker容器集群.下面,在这个跨主机的docker容器集群环境下,搭建mysql 数据库集群. mysql主从自动备份和自动切换 从数据安全性考虑,对数据库的数据进行及时备份非常重要.mysql就提供了主从备份的机制,从数据库会非常及时的将主数据库的操作更新到从库上,从而当主数据库down掉之后,数据不会丢失:同时,也可以通过keepalived等程序来实现主库down掉之后,迅速将数据访问服务切换到从库,从而尽可能维护数据库服务的不间断运行

【Data Cluster】真机环境下MySQL数据库集群搭建

阅读目录 MySQL Cluster简介 mysql-cluster构造 虚拟机安装centos6.6 mysql-cluster下载 centos6.6搭建环境配置 mysql-cluster安装包导入cent中 集群配置 运行mysql-cluster 常见问题 测试 真机环境下MySQL-Cluster搭建文档  摘要:本年伊始阶段,由于实验室对不同数据库性能测试需求,才出现MySQL集群搭建.购置主机,交换机,双绞线等一系列准备工作就绪,也就开始集群搭建.起初笔者对此不甚了解,查阅很多资

CentOS7+MySQL/MariaDB+Galera+HAProxy+Keepalived构建高可用数据库集群

方案优势: Galera能够实现MySQL/MariaDB数据库的主主复制和多主复制等模式,这些复制模式都是同步进行的,同步时间非常短 每一个节点都可以同时写入和读取,当某一节点发生故障时,可自动从集群中自动剔除 HAProxy能提供负载均衡和故障判断等功能解决服务器系统存在的单点故障 Keepalived能提供客户端连接数据库时使用的虚拟IP地址(VIP) 关于HAProxy的负载均衡算法 轮询方式(roundrobin):不适合用于backend为web服务器的情况,因为session.co

配置mysql数据库集群

1.先在所有数据库服务器上安装mysql-cluster包 管理机:192.168.1.6 数据节点:192.168.1.31   192.168.1.32 sql节点:192.168.1.33    192.168.1.111 2.在管理节点上配置  [[email protected] ~]# vim /etc/config.ini [ndbd default]    //数据节点公共配置 noofreplicas=2   //数据备份数 datamemory=300M  //查询缓存 in

MySQL数据库集群-PXC方案

第1章 课程摘要课程内容的概要介绍,包括课程目标,面向用户,预备知识,课程大纲,软件与硬件环境等. 1-1 课程导学1-2 开发环境要求 第2章 创建PXC集群学习安装与创建PXC集群,为了搭建三高特点的数据库集群,我们将把两组PXC集群组建成分片,由MyCat做数据切分与读写分离,然后对MyCat做集群,用Keepalived+Haproxy实现双机热备.了解数据库的基准测试与压力测试,掌握PXC的实际性能.... 2-1 CentOS安装PerconaServer数据库2-2 安装PXC组建