用户访问ClickHouse，需要默认的客户端clickhouse-client，但是这个工具不够友好：
- 需要额外安装，并且使用上，不是那么nice
- clickhouse-client其实是clickhouse的软连接，即要么全装，要么不用
啥最普及啊？
答：MySQL基本所有的服务器都装了mysql，注意，这里指的是mysql-client，就是那个让你用命令行连接到MySQL服务的那个命令
ProxySQL是众多MySQL中间件中的佼佼者，一直被Percona推崇，最近他们也放出了支持ClickHouse的版本
因此，今天的话题就是：
ClickHouse+ProxySQL = Using ClickHouse like MySQL
Install
- https://github.com/sysown/proxysql/releases/tag/v1.4.3
- 注意下载ClickHouse打头的包
- 安装依赖
1 |
yum -y install perl-DBD-MySQL |
- 注意
- 支持ClickHouse的ProxySQL版本，只支持Ubuntu 16, Debian 9, CentOS 7, and Fedora 24，其他版本的不要往下看了
启动ProxySQL
1 2 3 4 5 6 7 8 9 10 |
# 默认配置文件是这个： /etc/proxysql.cnf # 默认是没有这个数据目录的: mkdir /var/lib/proxysql # 启动 proxysql --clickhouse-server # ProxySQL默认会以daemon的方式在后台 |
创建ClickHouse用户
- 用户通过MySQL协议，访问ProxySQL，ProxySQL代理请求访问ClickHouse
- 在第一步里，需要一个密码，这个密码不是ClickHouse的，而是访问ProxySQL的
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 |
# 登陆本地的ProxySQL
# ProxySQL端口是6032，默认用户名密码在配置文件里写有
[email protected]:/root # mysql -h 127.0.0.1 -P 6032 -uadmin -padmin
Welcome to the MariaDB monitor. Commands end with ; or g.
Your MySQL connection id is 3
Server version: 5.5.30 (ProxySQL Admin Module)
Copyright (c) 2000, 2017, Oracle, MariaDB Corporation Ab and others.
Type 'help;' or 'h' for help. Type 'c' to clear the current input statement.
MySQL [(none)]> INSERT INTO clickhouse_users VALUES ('clicku','clickp',1,100);
Query OK, 1 row affected (0.00 sec)
MySQL [(none)]> select * from clickhouse_users ;
+----------+----------+--------+-----------------+
| username | password | active | max_connections |
+----------+----------+--------+-----------------+
| clicku | clickp | 1 | 100 |
+----------+----------+--------+-----------------+
1 row in set (0.00 sec)
MySQL [(none)]> LOAD CLICKHOUSE USERS TO RUNTIME;
Query OK, 0 rows affected (0.00 sec)
MySQL [(none)]> SAVE CLICKHOUSE USERS TO DISK;
Query OK, 0 rows affected (0.00 sec)
|
通过MySQL客户端连接ClickHouse
- ProxySQL默认开启6090端口，来接收用户对ClickHouse的访问
1 2 3 4 5 6 7 8 9 10 11 12 13 |
# 使用上面的用户名和密码 # 如果是不同机器，记得改IP [email protected]:/root # mysql -h 127.0.0.1 -P 6090 -uclicku -pclickp --prompt "ProxySQL-ClickHouse> " Welcome to the MariaDB monitor. Commands end with ; or g. Your MySQL connection id is 13 Server version: 5.5.30 (ProxySQL ClickHouse Module) Copyright (c) 2000 大专栏 Using ClickHouse like MySQL by ProxySQL, 2017, Oracle, MariaDB Corporation Ab and others. Type 'help;' or 'h' for help. Type 'c' to clear the current input statement. ProxySQL-ClickHouse> |
执行ClickHouse操作
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 |
MySQL [(none)]> select version(); +-------------------+ | version | +-------------------+ | 5.5.30-clickhouse | +-------------------+ 1 row in set (0.00 sec) MySQL [(none)]> select now(); +---------------------+ | now() | +---------------------+ | 2017-12-19 15:45:26 | +---------------------+ 1 row in set (0.00 sec) MySQL [(none)]> select today(); +------------+ | today() | +------------+ | 2017-12-19 | +------------+ 1 row in set (0.00 sec) # 我们的某个表 600多亿 ProxySQL-ClickHouse> select count(*) from XXXXX ; +-------------+ | count() | +-------------+ | 62699641362 | +-------------+ 1 row in set (11.20 sec) # 另一个表 1300多亿 ProxySQL-ClickHouse> select count(*) from edge_msg_all; +--------------+ | count() | +--------------+ | 131929726359 | +--------------+ 1 row in set (5.30 sec) |
缺点
- 缺乏clickhouse-client默认的
- SQL格式化
- SQL进度条
- 这2个功能非常之好用，格式化后的SQL非常美观，如果是要发给其他人的SQL，会显得非常专业
- 进度条功能可以明显看到SQL的执行进度，对于明显慢的不能再慢的SQL，可以及时终止掉，防止把集群资源跑满
问题
- ProxySQL目前对后端的ClickHouse支持很弱，必须是本地的ClickHouse，并且，这个ClickHouse不能有密码，目前是写死的，不支持修改
总结
- MySQL方式访问ClickHouse，可以减少ClickHouse对于新手的陌生感，非常值得一试
- ProxySQL还有很多先进的功能，这里没有展开。不确定是否提供了SQL的控制功能，如果有，那简直太好了
Reference
Update
- 调研ProxySQL其实有一个明显的目的，那就是支持可视化方面的需求
- 在github上有非常多的数据可视化项目，如Superset、SQLPad、Metabase、Franchise等，但是只有Superset官方支持了ClickHouse，其他几个都不支持，但是支持MySQL
- 虽然ProxySQL给ClickHouse做了一层包装，可以用MySQL协议访问ClickHouse，但是由于各家具体产品在实际操作过程中的命令不同，导致无法使用
- Metabase
- 执行了一个命令，
select CONCAT(DATE_FORMAT(current_timestamp, '%Y-%m-%d %H:%i:%S.%f' ), ' ', @@system_time_zone);，这做不到啊
- 执行了一个命令，
- SqlPad
- 获取DB信息的时候，需要查询INFORMATION_SCHEMA.columns，这个也做不到啊
- Franchise直接没跑通
- Redash
- 安装复杂，还要额外依赖PG和Redis，没试
- 我们觉得还是继续用Superset吧。。。。
ProxySQL在ClickHouse里能干吗？
- 之所以讨论这个问题，原因是有的同学对中间件产生了误会，误以为ProxySQL会主动帮你把MySQL的函数转换成ClickHouse的函数
- 然鹅并不是这个意思
- ProxySQL的意义，是提供了一个MySQL协议的通讯方式，具体的SQL还得是ClickHouse自己的
- 说白了，以前你用Python的mysqldb模块，写MySQL专有的函数操作MySQL，现在数据库操作类、方法不用变，把SQL写成ClickHouse专门的函数或者语法，ProxySQL帮你去操作ClickHouse
- 注意一点，如果是mysqldb模块，需要在SQL里用db.tb的方式来指定数据库名
原文地址：https://www.cnblogs.com/sanxiandoupi/p/11712834.html
时间： 2024-08-30 10:59:30