准备工作
本文档是在ubuntu14.04下安装2.2版本的atlas。
官方文档很重要，请熟读。
wiki地址：https://github.com/Qihoo360/Atlas/wiki
QQ 群：326544838(可以加此群进行咨询)
1.所用软件：
Ubuntu14.04 LTS版
2.使用服务器地址：192.168.1.244
3.ubuntu14.04对应的安装文件选择Atlas-2.2-debian7.0-x86_64.deb
4.主库为192.168.1.160，从库为192.168.1.116,192.168.1.149,192.168.236
2 Atlas的整体架构
Atlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上，对其进行了优化，增加了一些新的功能特性。360内部使用Atlas运行的mysql业务，每天承载的读写请求数达几十亿条。
Atlas是一个位于应用程序与MySQL之间中间件。在后端DB看来，Atlas相当于连接它的客户端，在前端应用看来，Atlas相当于一个DB。Atlas作为服务端与应用程序通讯，它实现了MySQL的客户端和服务端协议，同时作为客户端与MySQL通讯。它对应用程序屏蔽了DB的细节，同时为了降低MySQL负担，它还维护了连接池。Atlas的整体架构，可参考下面这两幅图：
3 Atlas的功能介绍
3.1 Atlas到底是个啥玩意？
数据库需要读写分离，一个数据库写数据，多个数据库读库。程序连接数据库的时候，如果没有一个代理，那只能写程序去控制往哪个库写入，然后读哪个库的数据，这种场景下有了mysql-proxy，可以看看相关介绍它的文档。
Atlas是mysql-proxy的升级版，就是起到一个代理功能，在应用层和持久层加了一层，安装配置完atlas，atlas会暴露给应用层ip、端口、数据库名、账号、密码，应用层就可以连接数据库了。
数据库的jdbc连接地址（跟数据库连接一样）如：
String url = "jdbc:mysql://192.168.1.244:1234/altas_test?useUnicode=true&characterEncoding=utf-8&autoReconnect=true"; // JDBC的URL
Connection conn = DriverManager.getConnection(url, "root", "root");
说明：
192.168.1.244 是安装atlas的机器ip
1234 是atlas的接口，供应用层使用
Altas_test是主从库的的实例名
Root/root 是主从库的账号和密码，主从库的账号和密码必须一致
3.2 Atlas是否支持多字符集？
对多字符集的支持是我们对原版MySQL-Proxy的第一项改进，符合国情是必须的。并且支持客户端在连接时指定默认字符集。
3.3 Atlas是否支持事务操作？
支持，且处于事务状态的客户端中途退出时，Atlas会销毁该客户端使用的连接，让后台的mysql回滚事务，保证了事务的完整性。
3.4 自动读写分离挺好，但有时候我写完马上就想读，万一主从同步延迟怎么办?
SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时，需要加-c选项，以防mysql客户端过滤掉注释信息。
3.5 主库宕机，读操作受影响么？
在Atlas中读操作不受影响，Atlas会将读请求转发到其他还存活的从库上。但此时写请求将会失败，因为主库宕机了。
3.6 检测后端DB状态会阻塞正常请求么？
不会, atlas中检测线程是异步进行检测的，即使有db宕机，也不会阻塞主流程。在Atlas中没有什么异常会让主流程阻塞。
3.7 想下线一台DB, 又不想停掉mysql server, 怎么办？
可以通过管理接口手动上下线后端db, Atlas会优先考虑管理员的意愿。
3.8 想给集群中增加一台DB, 不想影响线上正常访问可以吗？
通过管理接口可以轻松实现。
3.9 相比官方mysql-proxy, Atlas还有哪些改进？
A: 这实在是个难以回答的问题，性能，稳定性，可靠性，易维护性，我们做过几十项的改进，下面会尽量列一些较大的改动
3.10 Atlas支持mysql的prepare特性吗？
目前Atlas部分支持prepare功能，支持java,python,PHP(PDO方式）。
3.11 Altas支持多个主库的运行模式吗？
目前还未对于Atlas后面挂接多个主库的情形进行测试过，不建议这样使用。建议使用一主一从或一主多从的模式。
3.12 在使用Atlas的过程中，发现了Atlas存在的bug或者对Atlas有新的功能需求，如何反馈给开发者？
对于用户反馈的bug，我们非常重视。欢迎用户将bug的复现的环境、步骤和运行截图发邮件至zhuchao[AT]360.cn。同时如果用户在实际的应用场景中，对Atlas有新的功能需求，也可以向我们发邮件，我们将及时回复。另外有热心网友建了QQ群326544838，开发者也已经加入，方便讨论。
3.13 java程序连接Atlas出现乱码问题
把jdbc连接中的amp;删除掉，例如：将
jdbc:mysql://10.10.10.37:3306/user_db?useUnicode=true&characterEncoding=utf-8&autoReconnect=true
修改为：
jdbc:mysql://10.10.10.37:3306/user_db?useUnicode=true&characterEncoding=utf-8&autoReconnect=true
3.14 监控主从同步之间的延迟?
Atlas不负责MySQL的主从同步操作，需要DBA自己管理。但热心的网友已经通过脚本实现了通过调用Atlas提供的接口，来监控主从之间的同步，并做上下线从库的操作。有需要的同学参看：
https://github.com/chenzhe07/Atlas_auto_setline
3.15 java程序连接Atlas发现不能读写分离，所有的请求都发向主库，这是为什么？
检查一下java框架，是不是默认将autocommit设置为0了，很多java框架将语句都封装在一个事务中，而Atlas会将事务请求都发向主库。
3.16 Atlas有sql语句黑名单过滤机制吗？
有的，Atlas会屏蔽不带where条件的delete和update操作，以及sleep函数。
4 安装atlas
去github下载安装包，下载页地址：https://github.com/Qihoo360/Atlas/releases
下载Atlas-2.2-debian7.0-x86_64.deb文件(一开始安装的是Atlas-2.2-debian6.0-x86_64.deb文件，总是错误百出，安装7.0非常顺利，这是通过atlas群里边问的。)上传到/var/tmp路径下，执行如下命令：
cp /var/tmp/Atlas-2.2-debian7.0-x86_64.deb /home/atlas/
dpkg -i Atlas-2.2-debian7.0-x86_64.deb
5 配置atlas
安装完毕后，需要配置/usr/local/mysql-proxy/conf下的test.cnf,执行命令如下：
Vi /usr/local/mysql-proxy/conf/test.cnf
注：红色部分是需要修改的地方
#管理接口的用户名
admin-username = user
#管理接口的密码
admin-password = pwd
#实现管理接口的Lua脚本所在路径
admin-lua-script = /usr/local/mysql-proxy/lib/mysql-proxy/lua/admin.lua
#Atlas后端连接的MySQL主库的IP和端口，可设置多项，用逗号分隔
proxy-backend-addresses =192.168.1.160:3306
#Atlas后端连接的MySQL从库的IP和端口，@后面的数字代表权重，用来作负载均衡，若省略则默认为1，可设置多项，用逗号分隔
proxy-read-only-backend-addresses = 192.168.1.116:3306@1 ,192.168.1.149:3306@1 ,192.168.1.236:[email protected]
#设置Atlas的运行方式，设为true时为守护进程方式，设为false时为前台方式，一般开发调试时设为false，线上运行时设为true
daemon = true
#设置Atlas的运行方式，设为true时Atlas会启动两个进程，一个为monitor，一个为worker，monitor在worker意外退出后会自动将其重启，设为false时只有worker>，没有monitor，一般开发调试时设为false，线上运行时设为true
keepalive = true
#工作线程数，推荐设置与系统的CPU核数相等
event-threads = 4
#日志级别，分为message、warning、critical、error、debug五个级别
log-level = message
#日志存放的路径
log-path = /usr/local/mysql-proxy/log
#实例名称，用于同一台机器上多个Atlas实例间的区分
instance = test
#Atlas监听的工作接口IP和端口
proxy-address = 0.0.0.0:1234
#Atlas监听的管理接口IP和端口
admin-address = 0.0.0.0:2345
#连接池的最小空闲连接数，应设为event-threads的整数倍，可根据业务请求量大小适当调大或调小
min-idle-connections = 8
#分表设置，此例中person为库名，mt为表名，id为分表字段，3为子表数量，可设置多项，以逗号分隔，若不分表则不需要设置该项
#tables = person.mt.id.3
#用户名与其对应的加密过的MySQL密码，密码使用PREFIX/bin目录下的加密程序encrypt加密，此设置项用于多个用户名同时访问同一个Atlas实例的情况，若只有一>个用户名则不需要设置该项
# For example, the username is: myuser, and the password is:mypwd (encrypted ciphertext is:HJBoxfRsjeI=).
#pwds = root:+jKsgB3YAG8=, root:GS+tr4TPgqc=
pwds = root:DAJnl8cVzy8=
#默认字符集，若不设置该项，则默认字符集为latin1
charset = utf8
#允许连接Atlas的客户端的IP，可以是精确IP，也可以是IP段，以逗号分隔，若不设置该项则允许所有IP连接，否则只允许列表中的IP连接
#client-ips = 127.0.0.1, 192.168.1
#Atlas前面挂接的LVS的物理网卡的IP(注意不是虚IP)，若有LVS且设置了client-ips则此项必须设置，否则可以不设置
#lvs-ips = 192.168.1.1
6 启动atlas
配置完毕后，执行如下命令：
/usr/local/mysql-proxy/bin/mysql-proxyd test start
看到如上信息，说明安装成功了，恭喜发财!
启动成功后，在atlas安装机器上测试与出从库的连通情况；
1.验证与主库的连通
看到上边图说明atlas与主库连通成功
与其他从库的连通用同样的方式，这里不一一列举。
7 管理
执行如下命令：
mysql -h127.0.0.1 -uuser -ppwd -P2345;
进入管理:
命令给的非常清楚了，不一一说了。
8 客户端连接测试
本实验使用的是jdbc，可以使用数据库连接池进行连接。
建立一个maven工程，添加mysql驱动依赖：
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>5.1.35</version>
</dependency>
测试类：
package com.heli.altas;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.ArrayList;
import java.util.List;
import java.util.UUID;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
public class DbUtil {
class User {
private int id;
private String name;
private String address;
public String getAddress() {
return address;
}
public void setAddress(String address) {
this.address = address;
}
public int getId() {
return id;
}
public void setId(int id) {
this.id = id;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
}
class News {
private int id;
public int getId() {
return id;
}
public void setId(int id) {
this.id = id;
}
public int getUserId() {
return userId;
}
public void setUserId(int userId) {
this.userId = userId;
}
public String getTitle() {
return title;
}
public void setTitle(String title) {
this.title = title;
}
public String getContent() {
return content;
}
public void setContent(String content) {
this.content = content;
}
private int userId;
private String title;
private String content;
}
/**
* @Description: 写用户表
* @param
* @return void 返回类型
* @throws
*/
public static void insertUsers(List<User> users) {
try {
Connection conn = connection();
conn.setAutoCommit(false);
// 插入数据的代码
String sql2 = "insert into user(name,address) values(?,?)";
PreparedStatement pst = conn.prepareStatement(sql2);
for (User user : users) {
pst.setString(1, user.getName());
pst.setString(2, user.getAddress());
pst.addBatch();
}
// 执行批量更新
pst.executeBatch();
// 语句执行完毕，提交本事务
conn.commit();
pst.close();
conn.close();
} catch (Exception e) {
e.printStackTrace();
}
}
/**
* @Description: 写新闻表测试
* @param
* @return void 返回类型
* @throws
*/
public static void insertNews(List<News> newss) {
try {
Connection conn = connection();
conn.setAutoCommit(false);
// 插入数据的代码
String sql = "insert into news(user_id,title,content) values(?,?,?)";
PreparedStatement pst = conn.prepareStatement(sql);
for (News news : newss) {
pst.setInt(1, news.getUserId());
pst.setString(2, news.getTitle());
pst.setString(3, news.getContent());
pst.addBatch();
}
// 执行批量更新
pst.executeBatch();
// 语句执行完毕，提交本事务
conn.commit();
pst.close();
conn.close();
} catch (Exception e) {
e.printStackTrace();
}
}
/**
* @Description:
* @param
* @return Connection 返回类型
* @throws
*/
private static Connection connection() throws ClassNotFoundException, SQLException {
// 调用Class.forName()方法加载驱动程序
Class.forName("com.mysql.jdbc.Driver");
String url = "jdbc:mysql://192.168.1.244:1234/altas_test?useUnicode=true&characterEncoding=utf-8&autoReconnect=true"; // JDBC的URL
Connection conn = DriverManager.getConnection(url, "root", "root");
return conn;
}
public static void testBatchInsert(int threadNum, List<User> users, List<News> newss) throws Exception {
// 创建一个可重用固定线程数的线程池
ExecutorService pool = Executors.newFixedThreadPool(threadNum);
// 创建实现了Runnable接口对象，Thread对象当然也实现了Runnable接口
long start = System.currentTimeMillis();
DbUtil dbUtil = new DbUtil();
for (int i = 0; i < threadNum; i++) {
// 将线程放入池中进行执行
pool.execute(dbUtil.new MyThread(users, newss));
}
// 关闭线程池
pool.shutdown();
while (true) {
if (pool.isTerminated()) {
System.out.println("全部线程跑完了！");
break;
}
Thread.sleep(200);
}
// 关闭线程池
pool.shutdown();
long end = System.currentTimeMillis();
System.out.println("耗时" + (end - start) / 1000);
}
class MyThread extends Thread {
List<User> users = new ArrayList<User>();
List<News> newss = new ArrayList<News>();
public MyThread(List<User> users, List<News> newss) {
super();
this.users = users;
this.newss = newss;
}
@Override
public void run() {
// System.out.println(Thread.currentThread().getName() + "正在执行。");
try {
long start = System.currentTimeMillis();
insertUsers(users);
insertNews(newss);
long end = System.currentTimeMillis();
System.out.println(Thread.currentThread() + "耗时" + (end - start) / 1000);
// Thread.sleep(0);
} catch (Exception e) {
e.printStackTrace();
}
}
}
/**
* 测试读
*/
public static void testQuery() {
try {
Connection conn = connection();
String sql = "select u.name name ,n.title title ,n.content content from user u left join news n on u.id = n.user_id where u.id=?";
PreparedStatement pst = conn.prepareStatement(sql);
pst.setInt(1,1);
ResultSet rs = pst.executeQuery();
while (rs.next()) {
String name = rs.getString("name");
String title = rs.getString("title");
String content = rs.getString("content");
System.out.println(name + "====" + title + "====" + content);
}
rs.close();
pst.close();
conn.close();
} catch (Exception e) {
e.printStackTrace();
}
}
public static void main(String[] args) throws Exception {
// 初始化数据
List<User> users = new ArrayList<User>();
for (int i = 0; i < 0; i++) {
User user = new DbUtil().new User();
user.setName(UUID.randomUUID().toString().substring(0, 4));
user.setAddress("北京10里店嘎啦胡同犄角户");
users.add(user);
}
List<News> newss = new ArrayList<News>();
for (int i = 0; i < 0; i++) {
News news = new DbUtil().new News();
news.setUserId(i);
news.setTitle("自动读写分离挺好，但有时候我写完马上就想读，万一主从同步延迟怎么办?");
news.setContent("SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时，需要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时，需要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时，需要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时，需要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时，需要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时，需要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时，需要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时，需要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时，需要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时，需要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时，需要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时，需要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时，需要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时，需要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时，需要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时，需要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时，需要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时，需要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时，需要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时，需要加-c选项，以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时，需要加-c选项，以防mysql客户端过滤掉注释信息。");
newss.add(news);
}
// 单线程测试开始
// insert(users);
// 单线程测试结束
// 多线程测试开始
//testBatchInsert(100, users, newss);
//多线程测试结束
//测试读
testQuery();
}
}
8.1 重要说明
String url = "jdbc:mysql://192.168.1.244:1234/atlas_test";
// JDBC的URL,192.168.1.244为atlas的ip，端口是1234，atlas_test是主（写）库的实例名
Connection conn = DriverManager.getConnection(url, "root", "root");
//root/root是各个主从库的账号密码
9 常用命令
进入/usr/local/mysql-proxy/bin目录，执行下面的命令启动、重启或停止Atlas。
9.1 启动
sudo ./mysql-proxyd test start或/usr/local/mysql-proxy/bin/mysql-proxyd test start
9.2 重启
sudo ./mysql-proxyd test restart
9.3 停止
sudo ./mysql-proxyd test stop
9.4 查看状态
可以使用ps -ef | grep mysql-proxy查看Atlas是否已经启动或停止
9.5 密码加密
进入 /usr/loca/mysql-proxy/bin/encrypt. 路径执行：
9.6 查看日志
tail /usr/local/mysql-proxy/log/test.log
注意：
(1). 运行文件是：mysql-proxyd(不是mysql-proxy)。
(2). test是conf目录下配置文件的名字，也是配置文件里instance项的名字，三者需要统一。
执行命令：mysql -h127.0.0.1 -P1234 -u用户名 -p密码，如果能连上则证明Atlas初步测试正常，可以再尝试发几条SQL语句看看执行结果是否正确。
进入Atlas的管理界面的命令：mysql -h127.0.0.1 -P2345 -uuser -ppwd，进入后执行:select * from help;查看管理DB的各类命令。
10 安装错误解决
启动错误：
/usr/local/mysql-proxy/bin/mysql-proxy: error while loading shared libraries: libcrypto.so.6: cannot open shared object file: No such file or directory
解决办法：
换安装版本：
dpkg -i Atlas-2.2-debian7.0-x86_64.deb
启动错误：
loading module ‘/usr/local/mysql-proxy/lib/mysql-proxy/plugins/libproxy.so‘ failed: libmysqlclient.so.16: cannot open shared object file: Too many levels of symbolic links
解决办法：
安装依赖：
apt-get install mysql-client-5.6