clickhouse升级问题

最近需要将clickhouse服务器从20.4.5.36版本升级到22.10.2.11版本，在升级的过程中遇到一些问题，特意写篇文章和大家交流下

1.停止clickhouse容器 先将使用的clickhouse所有容器停止，因为容器在运行会不停造数据，没法做到无损迁移 docker stop clickhouse-server 2.备份原来数据 如果原来挂载的数据目录是/home/admin/data/clickhouse,可以新建目录/home/admin/data/clickhouse2022,将clickhouse所有数据拷贝到clickhouse2022。 cp -r /home/admin/data/clickhouse/* /home/admin/data/clickhouse2022 原因：升级有风险，所以数据备份是必要的，因为升级是不可逆的，没法进行降级，分成两个目录，当升级失败时，至少老数据是不受影响的。 3.先升级到中间版本 直接升级到新版本会出现报错，启动不了，按照官方的建议是升级到一个中间版本（中间版本和最终版本相差不要超过1年），经过调研，21.11.2.2版本比较合适，所以先升级到此版本

升级成功后，等待初始化完成后（怎么判断是否初始化完成见注意事项），停止和删除容器

4.升级到新版本

注意：初始化过程中千万不要对容器进行停止，重启等操作，会破坏初始化流程，导致数据被破坏。 5.配置文件修改 进入clickhouse容器，根据具体业务修改config.xml和users.xml的配置值，也可以把其挂载出来修改，修改后重启容器

6.清理老数据（慎重，可以等一段时间观察再决定是否清理） 如果升级成功，数据无问题，可以将老的clickhouse删除，对应的/home/admin/data/clickhouse可以删除 docker rm clickhouse-server rm -rf /home/admin/data/clickhouse

先确认原始数据大小和磁盘剩余空间大小，如果不够，需要扩容

一般升级到某个版本后，需要等3-5分钟才能初始化完成（可能与数据量有关系，数据量小可能比较短），确认是否初始化完成，可以进入容器目录/var/log/clickhouse-server，tail -f clickhouse-server.log

如果每隔1-2秒打印这样的数据，说明初始化已经完成，才可以停止容器进行接下来的升级。

1.如果升级失败，需要回退到老版本，则停止掉新容器，重启老容器即可；

2.如果升级了一段时间后，发现重大问题需要回退，则需要将增量数据（或者全量数据覆盖）从LTS版本迁移到老版本，然后使用老的ck;还可以采用双写策略，新库和老库都同时写入，如果新库遇到问题，随时切换到老库，不需要做数据迁移，但是数据需要写两份，线上部署两个clickhouse服务，当业务不复杂代码改动不太大时可以考虑此方案

1.system目录有问题

当直接从老版本通过挂载目录的方式直接升级到新版本时，会偶现该问题（当ck数据量较大时会出现），说明system库没有初始化成功，当通过中间版本过度升级，不会遇到该问题

2.url校验报错导致启动失败

2023.01.09 09:23:11.175168 [ 1 ] {} Application: Caught exception while loading metadata: Code: 36. DB::Exception: Bad hdfs url: s3a://alibaba-store/alibaba-store/table_cache/demo/h3f35eaaa4d004d348772bf9/part-00000-5b7579c2-9e54-448c-aaac-62857e64ace5-c000.snappy.parquet. It should have structure 'hdfs://:/': Cannot attach table alibaba.h3f35eaaa4d004d348772bf9_0 from metadata file /var/lib/clickhouse/metadata/alibaba/h3f35eaaa4d004d348772bf9_0.sql from query ATTACH TABLE alibaba.h3f35eaaa4d004d348772bf9_0 (Order_Id Nullable(String), Member_Id Nullable(Int64), Itemnum Nullable(Int64), Createtime Nullable(DateTime), Cost_Item Nullable(Float64), Total_Amount Nullable(Float64), Pmt_Amount Nullable(Float64), Shipping_Area Nullable(String)) ENGINE = HDFS('s3a://alibaba-store/alibaba-store/table_cache/demo/h3f35eaaa4d004d348772bf9/part-00000-5b7579c2-9e54-448c-aaac-62857e64ace5-c000.snappy.parquet', 'Parquet'): while loading database alibaba from path /var/lib/clickhouse/metadata/alibaba. (BAD_ARGUMENTS), Stack trace (when copying this message, always include the lines below):

这个是因为创建表结构时设置的url错误，打开这个sql文件

将这个ENGINE配置的url修改为： HDFS('hdfs://alibaba-store/alibaba-store/table_cache/demo/h3f35eaaa4d004d348772bf9/part-00000-5b7579c2-9e54-448c-aaac-62857e64ace5-c000.snappy.parquet', 'Parquet'); 或者 S3('s3a://alibaba-store/alibaba-store/table_cache/demo/h3f35eaaa4d004d348772bf9/part-00000-5b7579c2-9e54-448c-aaac-62857e64ace5-c000.snappy.parquet', 'Parquet');

将报错的sql修改成后重启容器

原因：新版本增加了url格式校验，老版本是没有这个校验的，所以对于错误的url，校验失败后会阻塞启动

参考文章： 1.升级参考 https://clickhouse.com/docs/en/operations/update/ 2.报错参考 https://github.com/ClickHouse/ClickHouse/issues/45090