1. ClickHouse 查询时,报错:Memory limit (for query) exceeded: would use 9.38 GiB (attempt to allocate chunk of 135439453 bytes), maximum: 9.31 GiB
1.1 ClickHouse 环境
1.2 报错原因
默认情况下,ClickHouse会限制group by使用的内存量(它使用 hash table来处理group by)。这很容易解决 - 如果你有空闲的内存,增加这个参数
1.3 解决方法
1. 内存足够情况下
SET max_memory_usage = 128000000000; #128G
2. 内存不足情况下
GROUP BY中允许将临时数据转存到磁盘上,以限制对内存的使用
set max_bytes_before_external_group_by=20000000000; #20G,默认值为0,表示在GROUP BY中启动将临时数据转存到磁盘上的内存阈值。
# 使用max_bytes_before_external_group_by时,建议将max_memory_usage设置为它的两倍。这是因为一个聚合需要两个阶段来完成:
#(1)读取数据并形成中间数据
#(2)合并中间数据。临时数据的转存只会发生在第一个阶段。
# 如果没有发生临时文件的转存,那么阶段二将最多消耗与1阶段相同的内存大小。
set max_memory_usage=40000000000; #40G
参考:https://clickhouse.yandex/docs/zh/query_language/select/
原文地址:https://www.cnblogs.com/wuning/p/12156915.html
时间: 2024-10-16 05:24:44