ClickHouse 集群分布式 DDL 被阻塞案例

1、背景

线上有套10节点 clickhouse 集群，5分片 * 2副本，版本19.7.3。

开发执行一个创建分布式表的操作，9个节点都成功返回，有个节点报错，返回信息如下：

2、诊断

登录该节点查看 show processlist ，正在执行1个分布式 ddl ，该 ddl 已经运行100多个小时，应该是卡住了。

clickhouse 的分布式 ddl 是串行执行的，每次将任务存储到 zookeeper的/clickhouse/task_queue/ddl目录，按照 FIFO 排列。

对于每个节点，只有当前的ddl执行完毕，后面的才能被调用。

刚刚发起的创建分布式表 ddl 排在第一位，上述截图中的 optimize table 排在第23，说明被其阻塞的 ddl 有22条之多，开发也确认最近两天的 ddl 任务在该节点上都没有成功。

尝试将其kill，等待几个小时仍然没有效果。

加 sync 关键字，直接卡住。

尝试重启ck实例也卡住，最后只能Kill -9。

重启实例后该任务依然存在，而且执行了10多分钟没有要结束的意思，kill操作仍然无效。

既然这个 ddl 无法绕过，执行的时候又长时间不结束，只能曲线救国，重命名该表让其临时消失一会。

optimize table 当即返回，并且其后22个 ddl 也很快执行完毕，最后再将其重命名回原表。

此时再次执行 optimize table ，只需5s便成功返回，该问题解决。

3、总结

clickhouse 的分布式 ddl 在每个节点是 FIFO 串行执行的，任意1个 ddl 卡住了都会阻塞后续任务。

后续精彩内容已被小麦苗无情隐藏，请输入验证码解锁本站所有文章

验证码：

请关注本站微信公众号，回复“小麦苗博客”，获取验证码。在微信里搜索“DB宝”或者“www_xmmup_com”或者微信扫描右侧二维码都可以关注本站微信公众号。