作者：王继顺 宝尊电商 DBA，主要负责数据库监控告警以及自动化平台的设计开发工作，擅长数据库性能调优、故障诊断。
背景
随着公司各个环境的服务器数量增加，部署有多套 Prometheus（包括生产、测试、Tidb、Kubernetes 等）集群，在一定集群规模下，普通 Prometheus 集群的承载能力会出现短板（查询速度慢、OOM、以及存储空间不够等问题）。加上公司需要保存双十一、双十二等活动期间的监控数据，来统计活动期间同比环比的监控报表。
SO！我们需要有一个统一的查看各个 Prometheus 监控数据的入口，而且具有不受限制的历史数据存储能力的解决方案，经过多个方案的 POC，最终选用 Thanos 的解决方案并和大家分享一下。
Thanos 介绍
1. 全局视图：与现有 Prometheus 设置无缝集成，能够跨集群联合，跨所有连接的 Prometheus 服务器的全局查询视图，很好的对 HA 中的 Prometheus 进行容错路由查询。
2. 不受限的保留数据：支持各种对象存储。
3. 压缩和降准采样：对历史数据进行自定义的降准采样以大幅提高查询速度。
4. 实现包括 Prometheus 在内的各个组件高可用。
5. 能够记录规则，实现告警。
Thanos 架构介绍
Thanos 只有一个二进制启动文件，但是根据启动时候的变量不同分为多个组件，结合架构图，我们来介绍一下各个组件所实现的功能。
Sidecar
Bucket
Store
本文的部署章节中未涉及 Rule 组件部署。
更多具体信息请参阅：
https://thanos.io/components/rule.md/
Check
配置
https://github.com/thanos-io/thanos/releases
./thanos --help
usage: thanos [<flags>] <command> [<args> ...]
A block storage based long-term storage for Prometheus
Flags:
-h, --help Show context-sensitive help (also try --help-long and --help-man).
--version Show application version.
--log.level=info Log filtering level.
--log.format=logfmt Log format to use.
--tracing.config-file=<file-path>
Path to YAML file with tracing configuration. See format details:
https://thanos.io/tracing.md/#configuration
--tracing.config=<content>
Alternative to 'tracing.config-file' flag (lower priority). Content of YAML file with tracing
configuration. See format details: https://thanos.io/tracing.md/#configuration
Commands:
help [<command>...]
Show help.
sidecar [<flags>]
sidecar for Prometheus server
store [<flags>]
store node giving access to blocks in a bucket provider. Now supported GCS, S3, Azure, Swift and Tencent COS.
query [<flags>]
query node exposing PromQL enabled Query API with data retrieved from multiple store nodes
rule [<flags>]
ruler evaluating Prometheus rules against given Query nodes, exposing Store API and storing old blocks in bucket
compact [<flags>]
continuously compacts blocks in an object store bucket
bucket verify [<flags>]
Verify all blocks in the bucket against specified issues
bucket ls [<flags>]
List all blocks in the bucket
bucket inspect [<flags>]
Inspect all blocks in the bucket in detailed, table-like way
bucket web [<flags>]
Web interface for remote storage bucket
downsample [<flags>]
continuously downsamples blocks in an object store bucket
receive [<flags>]
Accept Prometheus remote write API requests and write to local tsdb (EXPERIMENTAL, this may change drastically without
notice)
check rules <rule-files>...
Check if the rule files are valid or not.
部署
Sidecar
更改配置文件 prometheus.yml 中的 external_labels 并 reload，目的是使用此 labels 在 Thanos 中区分各个不同 Prometheus 集群。
external_labels:
cluster: 'test-cluster'
monitor: "prometheus"
replica: "A"
启动 Promethus
本地 Prometheus 保留 30 天，同时需要添加 –storage.tsdb.min-block-duration=2h –storage.tsdb.max-block-duration=2h 这两个参数（Prometheus 服务器 IP 为 :1.1.1.1.1）
./prometheus \
--config.file=/data1/deploy/conf/prometheus.yml \
--web.listen-address=:9090 \
--web.external-url=http://0.0.0.0:9090/ \
--web.enable-admin-api \
--log.level=info \
--storage.tsdb.path=/data1/deploy/prometheus2.0.0.data.metrics \
--storage.tsdb.min-block-duration=2h \
--storage.tsdb.max-block-duration=2h \
--storage.tsdb.retention=30d
启动 Sidecar
./thanos sidecar \
--tsdb.path /data1/deploy/prometheus2.0.0.data.metrics \
--prometheus.url http://localhost:9090 \
--objstore.config-file bucket_config.yaml \
--shipper.upload-compacted
Bucket 配置文件
cat bucket_config.yaml
type: S3
config:
bucket: "bucket的名字"
endpoint: 's3的链接地址'
access_key: "s3的access_key"
insecure: true #是否使用安全协议http或https
signature_version2: false
encrypt_sse: false
secret_key: "s3的scret_key"
put_user_metadata: {}
http_config:
idle_conn_timeout: 90s
response_header_timeout: 2m
insecure_skip_verify: false
trace:
enable: false
part_size: 134217728
启动成功后 Sidecar 组件就会向 S3 发送所有的本地数据以及新在 Prometheus 中落盘的数据。
安装 Store,Query,Compact,Bucket
本文使用单台服务器部署上边四个组件，实现高可用可以使用多台服务器部署（服务器 IP 为 1.2.3.4）
./thanos store \
--data-dir /service/thanos-0.9.0.linux-amd64/store \
--objstore.config-file bucket_config.yaml \
--http-address 0.0.0.0:19191 \
--grpc-address 0.0.0.0:19090
启动 Query
./thanos query \
--http-address 0.0.0.0:19193 \
--grpc-address 0.0.0.0:19091 \
--store 1.2.3.4:19090 \ #接入Store
--store 1.1.1.1:10901 #接入Sidecar
启动 Compact
./thanos compact \
--data-dir /service/thanos-0.9.0.linux-amd64/compact \
--http-address 0.0.0.0:19192 \
--objstore.config-file bucket_config.yaml
可以看到界面与 Prometheus 非常相似，完全兼容 Promql，通过 thanos web ui 可以查看所有历史监控数据。
在 store 中可以看到 thanos 集群中接入的 Store 和 Sidecar，并且可以看到目前在 thanos 集群中保留监控数据的最大和最小时间等信息。
启动 Bucket web
./thanos bucket web \
--http-address=0.0.0.0:19194 \
--objstore.config-file bucket_config.yaml
更多信息可以使用 ./thanos –help 来获取
使用
搭建完成后将 Thanos query http 接入 Grafana，实现统一的访问入口，对跨 Prometheus 集群的聚合等操作。
社区近期动态
Mycat 问题免费诊断
诊断范围支持：
Mycat 的故障诊断、源码分析、性能优化
服务支持渠道：
技术交流群，进群后可提问
QQ群（669663113）
社区通道，邮件&电话
osc@actionsky.com
现场拜访，线下实地，1天免费拜访
关注“爱可生开源社区”公众号，回复关键字“Mycat”，获取活动详情。
社区技术内容征稿
征稿内容：
格式：.md/.doc/.txt
主题：MySQL、分布式中间件DBLE、数据传输组件DTLE相关技术内容
要求：原创且未发布过
奖励：作者署名；200元京东E卡+社区周边
投稿方式：
邮箱：osc@actionsky.com
格式：[投稿]姓名+文章标题
以附件形式发送，正文需注明姓名、手机号、微信号，以便小编及时联系