云原生分布式PostgreSQL+Citus集群在Sentry后端的实践

优化一个分布式系统的吞吐能力,除了应用本身代码外,很大程度上是在优化它所依赖的中间件集群处理能力。如:kafka/redis/rabbitmq/postgresql/分布式存储(CephFS,JuiceFS,C urve,Longhorn)等集群的处理能力。

成都创新互联公司-专业网站定制、快速模板网站建设、高性价比嵩县网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式嵩县网站制作公司更省心,省钱,快速模板网站建设找我们,业务覆盖嵩县地区。费用合理售后完善,10余年实体公司更值得信赖。

分布式存储集群(Longhorn)

这里主要用于 Citus 集群的协调器(coordinator)和工作器(worker) 节点的数据持久化。

具体文档,请参阅:https://longhorn.io/

分布式 PostgreSQL 集群(Citus)

这里主要用于对 Sentry 事件源数据大表 nodestore_node 的分片。

具体文档,请参阅:

https://docs.citusdata.com/en/v11.1/

读写分离和高可用(PgPool+Repmgr)

这里主要用于对 Citus 节点(协调器/工作器)进行读写分离和主备高可用。

具体文档,请参阅:

https://www.pgpool.net/docs/pgpool-II-4.2.3/en/html/example-kubernetes.html

https://repmgr.org/

管理集群节点(PgAdmin)

具体文档,请参阅:

https://www.pgadmin.org/

nodestore_node 大表分片

选择分布式 key,并将表转换分布式表,这里将表划分为 64 个分片,数据平均分配到 6 台 worker 节点:

# 创建分布式表
SELECT create_distributed_table('nodestore_node', 'id', colocate_with => 'none', shard_count => 64);
# 平衡分片
SELECT rebalance_table_shards();
# 查询分片
SELECT * FROM citus_shards;

总结

中间件集群基础设施建设,本身涉及细节较多,可以说是另一个领域。

本文提供了一种笔者的实践思路,抛砖引玉。

分享文章:云原生分布式PostgreSQL+Citus集群在Sentry后端的实践
标题来源:http://www.shufengxianlan.com/qtweb/news1/105501.html

网站建设、网络推广公司-创新互联,是专注品牌与效果的网站制作,网络营销seo公司;服务项目有等

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联