单机部署需要修改以下文件

/etc/clickhouse-server/config.xml

替换文件中/var/lib/clickhouse/为/data/clickhouse/ （/data/clickhouse/为数据存储目录）

修改服务器的配置文件/etc/clickhouse-server/config.xml，第65行，放开注释即可（放开远程访问）

<listen_host>::</listen_host>

修改 /etc/clickhouse-server/users.xml （单次查询使用的最大内存量）

<max_memory_usage>10000000000</max_memory_usage>

每个个节点多实例多副本集群部署需要修改以下文件

具体为什么这样配置可以参考clickhouse-server/config.xml就能明白，有这么一段被注释的配置说明：

<!– If element has 'incl' attribute, then for it's value will be used corresponding substitution from another file.

By default, path to file with substitutions is /etc/metrika.xml. It could be changed in config in 'include_from' element.

Values for substitutions are specified in /yandex/name_of_substitution elements in that file.

–>

<1>复制启动脚本，启动脚本路径：/etc/init.d/clickhouse-server

cp /etc/init.d/clickhouse-server /etc/init.d/clickhouse-server2

主要修改clickhouse-server2脚本中配置文件位置和pid文件位置

配置文件比如使用config1.xml，pid使用clickhouse-server-1.pid

<2>修改 /etc/clickhouse-server/config.xml

进入到配置文件目录，将原有配置文件拷贝一份，这里是config1.xml，

首先 cp /etc/clickhouse-server/config.xml /etc/clickhouse-server/config1.xml

然后重点修改配置：

主要修改内容是：日志文件(和之前不要冲突)、http端口、tcp端口、副本同步端口

(这个改完之后clickhouse按照当前实例的端口自动和其他实例同步)、数据文件和tmp目录、users.xml(这个如果都一样可以用同一个)、

最后就是集群配置了，下面重点叙述：

集群配置默认为：<remote_servers incl="clickhouse_remote_servers" />

zookeeper默认为：<zookeeper incl="zookeeper-servers" optional="true" />

macros默认为：<macros incl="macros" optional="true" />

首先是集群分片的配置，这个配置所有节点的所有实例完全保持一致：

<remote_servers>

<perftest_2shards_2replicas>

<shard>

<weight>1</weight>

<internal_replication>true</internal_replication>

<replica>

<host>s02</host>

<port>9000</port>

</replica>

<replica>

<host>s03</host>

<port>9001</port>

</replica>

</shard>

<shard>

<weight>1</weight>

<internal_replication>true</internal_replication>

<replica>

<host>s03</host>

<port>9000</port>

</replica>

<replica>

<host>s02</host>

<port>9001</port>

</replica>

</shard>

</perftest_2shards_2replicas>

</remote_servers>

配置里面的<perftest_2shards_2replicas>是分布式标识标签，可以自定义，到最后创建分布式表的时候会用到；然后weight是分片权重，

即写数据时有多大的概率落到此分片，因为这里所有分片权重相同所有都设置为1，然后是internal_replication，表示是否只将数据写入

其中一个副本，默认为false，表示写入所有副本，在复制表的情况下可能会导致重复和不一致，所以这里一定要改为true，clickhouse分

布式表只管写入一个副本，其余同步表的事情交给复制表和zookeeper来进行，然后是replica配置这个好理解，就是一个分片下的所有副本，

这里副本的分布一定要手动设计好，保证相互备份，然后再次说明是所有的节点配置一致. 此部分配置严格按照官网配置，

参考链接：https://clickhouse.yandex/docs/en/operations/table_engines/distributed/

然后是zookeeper配置，这个也是所有示例配置都一样：

<zookeeper optional="true">

<node index="1">

<host>m01</host>

<port>2181</port>

</node>

<node index="2">

<host>s01</host>

<port>2181</port>

</node>

<node index="3">

<host>s02</host>

<port>2181</port>

</node>

</zookeeper>

然后是复制标识的配置，也称为宏配置，这里唯一标识一个副本名称，每个实例都要配置并且都是唯一的，这里配置如下：

clickhouse1 9000 分片1, 副本1:

<macros optional="true">

<layer>01</layer>

<shard>01</shard>

<replica>cluster01-01-1</replica>

</macros>

clickhouse1 9001 分片2, 副本2:

<macros>

<layer>01</layer>

<shard>02</shard>

<replica>cluster01-02-2</replica>

clickhouse2 9000 分片2, 副本1:

<macros>

<layer>01</layer>

<shard>02</shard>

<replica>cluster01-02-1</replica>

</macros>

clickhouse2 9001 分片1, 副本2:

<macros>

<layer>01</layer>

<shard>01</shard>

<replica>cluster01-01-2</replica>

</macros>

由上面配置可以看到replica的分布规律，其中layer是双级分片设置，在Yandex公司的集群中用到，

因为我们这里是单集群所以这个值对我们没有影响全部一样即可，这里是01；然后是shard表示分片编号；

最后是replica是副本标识，这里使用了cluster{layer}-{shard}-{replica}的表示方式，比如cluster01-02-1表示cluster01

集群的02分片下的1号副本，这样既非常直观的表示又唯一确定副本. 副本的文档链接下面会给出.

CREATE TABLE fact_user_trip_info(

trip_id String,

user_id String,

start_times Int64,

start_lon_lat String,

end_times Int64,

end_lon_lat String,

data_dt date

) ENGINE MergeTree() PARTITION BY toYYYYMM(data_dt) ORDER BY (user_id,trip_id) SETTINGS index_granularity=8192;

举例：

ENGINE MergeTree() PARTITION BY toYYYYMM(EventDate) ORDER BY (CounterID, EventDate, intHash32(UserID)) SAMPLE BY intHash32(UserID) SETTINGS index_granularity=8192

ENGINE – 引擎名和参数。 ENGINE = MergeTree(). MergeTree 引擎没有参数。

PARTITION BY — 分区键 。

要按月分区，可以使用表达式 `toYYYYMM(date_column)` ，这里的 `date_column` 是一个 [Date](../../../engines/table_engines/mergetree_family/mergetree.md) 类型的列。这里该分区名格式会是 `"YYYYMM"` 这样。

ORDER BY — 表的排序键。

可以是一组列的元组或任意的表达式。 例如: `ORDER BY (CounterID, EventDate)` 。

PRIMARY KEY – 主键，(如果要设成 跟排序键不相同的话设置，默认情况和排序键相同)。

默认情况下主键跟排序键（由 `ORDER BY` 子句指定）相同。

因此，大部分情况下不需要再专门指定一个 `PRIMARY KEY` 子句。

SAMPLE BY — 用于抽样的表达式。

如果要用抽样表达式，主键中必须包含这个表达式。例如：

`SAMPLE BY intHash32(UserID) ORDER BY (CounterID, EventDate, intHash32(UserID))` 。

SETTINGS — 影响 MergeTree 性能的额外参数：

index_granularity — 索引粒度。即索引中相邻『标记』间的数据行数。默认值，8192 。该列表中所有可用的参数可以从这里查看 MergeTreeSettings.h 。

index_granularity_bytes — 索引粒度，以字节为单位，默认值: 10Mb。如果仅按数据行数限制索引粒度, 请设置为0(不建议)。

enable_mixed_granularity_parts — 启用或禁用通过 index_granularity_bytes 控制索引粒度的大小。在19.11版本之前, 只有 index_granularity 配置能够用于限制索引粒度的大小。

当从大表(数十或数百兆)中查询数据时候，index_granularity_bytes 配置能够提升ClickHouse的性能。如果你的表内数据量很大，可以开启这项配置用以提升SELECT 查询的性能。

use_minimalistic_part_header_in_zookeeper — 数据片段头在 ZooKeeper 中的存储方式。如果设置了 use_minimalistic_part_header_in_zookeeper=1 ，ZooKeeper 会存储更少的数据。

min_merge_bytes_to_use_direct_io — 使用直接 I/O 来操作磁盘的合并操作时要求的最小数据量。合并数据片段时，ClickHouse 会计算要被合并的所有数据的总存储空间。如果大小超过了

min_merge_bytes_to_use_direct_io 设置的字节数，则 ClickHouse 将使用直接 I/O 接口（O_DIRECT 选项）对磁盘读写。如果设置 min_merge_bytes_to_use_direct_io = 0 ，则会禁用直接 I/O。

默认值：10 * 1024 * 1024 * 1024 字节。

merge_with_ttl_timeout — TTL合并频率的最小间隔时间。默认值: 86400 (1 天)。

write_final_mark — 启用或禁用在数据片段尾部写入最终索引标记。默认值: 1（不建议更改）。

storage_policy — 存储策略。

下载hive行程数据作为测试数据（206395条）

INSERT OVERWRITE local DIRECTORY '/home/big_data/biwenjun/ckdata'

ROW FORMAT DELIMITED FIELDS TERMINATED BY','

select

trip_id

,uid

,start_times

,regexp_replace(start_lon_lat,',',':')

,end_times

,regexp_replace(end_lon_lat,',',':')

,from_unixtime(unix_timestamp(data_dt,'yyyyMMdd'),'yyyy-MM-dd')

from fact_user_trip_info_dt

distribute by 1;

复制数据到clickhouse 所在服务器

scp -rv test.csv big_data@10.60.150.218:/home/big_data/biwenjun/clickhouse

cat test.csv | clickhouse-client –query="insert into default.fact_user_trip_info FORMAT CSV"

echo 'select * from default.fact_user_trip_info' | clickhouse-client

登录四个实例客户端

clickhouse-client –host 10.60.150.218 –port 9000

clickhouse-client –host 10.60.150.218 –port 9001

clickhouse-client –host 10.60.150.219 –port 9000

clickhouse-client –host 10.60.150.219 –port 9001

每个实例创建库

create database cktest;

use cktest;

各自创建表

实例1 9000

CREATE TABLE cktest.fact_user_trip_info_repli(

trip_id String,

user_id String,

start_times Int64,

start_lon_lat String,

end_times Int64,

end_lon_lat String,

data_dt date

) ENGINE = ReplicatedMergeTree('/clickhouse/tables/01-01/fact_user_trip_info_repli','cluster01-01-1',data_dt,(trip_id, data_dt),8192);

实例1 9001

CREATE TABLE cktest.fact_user_trip_info_repli(

trip_id String,

user_id String,

start_times Int64,

start_lon_lat String,

end_times Int64,

end_lon_lat String,

data_dt date

) ENGINE = ReplicatedMergeTree('/clickhouse/tables/02-01/fact_user_trip_info_repli','cluster01-02-2',data_dt,(trip_id, data_dt),8192);

实例2 9000

CREATE TABLE cktest.fact_user_trip_info_repli(

trip_id String,

user_id String,

start_times Int64,

start_lon_lat String,

end_times Int64,

end_lon_lat String,

data_dt date

) ENGINE = ReplicatedMergeTree('/clickhouse/tables/02-01/fact_user_trip_info_repli','cluster01-02-1',data_dt,(trip_id, data_dt),8192);

实例2 9001

CREATE TABLE cktest.fact_user_trip_info_repli(

trip_id String,

user_id String,

start_times Int64,

start_lon_lat String,

end_times Int64,

end_lon_lat String,

data_dt date

) ENGINE = ReplicatedMergeTree('/clickhouse/tables/01-01/fact_user_trip_info_repli','cluster01-01-2',data_dt,(trip_id, data_dt),8192);

注意引号部分只能用单引号，其中核心的地方是同一个分片在zookeeper上面的znode相同

创建分布式表，分布式表只是作为一个查询引擎，本身不存储任何数据，查询时将sql发送到所有集群分片，然后进行进行处理和聚合后将结果返回给客户端，因此clickhouse限制聚合结果大小不能大于分布式表节点的内存，当然这个一般条件下都不会超过；分布式表可以所有实例都创建，也可以只在一部分实例创建，这个和业务代码中查询的示例一致，建议设置多个，当某个节点挂掉时可以查询其他节点上的表，分布式表的建表语句如下：

CREATE TABLE fact_user_trip_info_all AS fact_user_trip_info_repli ENGINE = Distributed(perftest_2shards_2replicas, cktest, fact_user_trip_info_repli, rand());

INSERT OVERWRITE local DIRECTORY '/home/big_data/biwenjun/ckdata/test'

ROW FORMAT DELIMITED FIELDS TERMINATED BY','

select

trip_id

,uid

,start_times

,regexp_replace(start_lon_lat,',',':')

,end_times

,regexp_replace(end_lon_lat,',',':')

,'2020-08-25'

from fact_user_trip_info_dt

distribute by 1;

复制数据到clickhouse 所在服务器

scp 20200825.csv root@s03:/home/big_data/biwenjun/ckdata

cat 20200825.csv | clickhouse-client –query="insert into cktest.fact_user_trip_info_repli FORMAT CSV"

select * from fact_user_trip_info_all where data_dt='2018-08-25' limit 1;