实现分布式Kv-1StandaloneKV

实现分布式 Kv-1 Standalone KV

作者： roseduan 2021-11-29 10:41:09
存储
存储软件
分布式 在 TinyKV 中，存储层是一个抽象接口，分别实现了 raft storage、mem storage、standalone storage，这里我们只需要实现 standalone storage 就行了。

成都创新互联-专业网站定制、快速模板网站建设、高性价比盈江网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式盈江网站制作公司更省心,省钱,快速模板网站建设找我们，业务覆盖盈江地区。费用合理售后完善，10多年实体公司更值得信赖。

本文转载自微信公众号「roseduan写字的地方」，作者roseduan。转载本文请联系roseduan写字的地方公众号。

旨在实现一个简易的分布式 kv，其中很多代码框架它已经提供了，我们只需要填充具体的逻辑即可。

这个课程分为了 4 个 Project：

  • Standlone KV
  • Raft KV
  • Multi Raft KV
  • Transaction

分别需要实现单机版 kv、基于 raft(和 multi raft) 一致性算法的 kv、具有分布式事务的 kv，除了第一个 standalone kv 没有什么难度之外，其他的几个 Project 都非常的有挑战，涉及到手写 raft 算法以及分布式事务。

当然这个课程也是入门和实践分布式存储领域的挺好的学习资源，因此记录一下自己的学习历程。

今天这篇文章先来看看第一个 Project。

第一个 Project 是集成 Badger，实现一个简易的单机版 kv。

Badger 是一个很优秀的开源的单机版 kv 存储引擎，基于 LSM Tree 实现，读写性能都很好，因此需要简单熟悉下 Badger 的用法，可以参考下官方示例：github.com/dgraph-io/bager。

在 TinyKV 中，存储层是一个抽象接口，分别实现了 raft storage、mem storage、standalone storage，这里我们只需要实现 standalone storage 就行了。

具体的实现，在 kv/storage/standalone_storage/standalone_storage.go 中，需要封装一下 Badger，然后实现 storage 接口中定义的几个方法。

这里贴一下结构体的定义：

  
 
 
    
   
  
  
  1. type StandAloneStorage struct { 
    2.    
  
  
  2.   // Your Data Here (1). 
    3.    
  
  
  3.   badgerDB *badger.DB 
    4.    
  
  
  4.   options badger.Options 
    5.    
  
  
  5. } 
    6.

需要说明的是，在 Reader 方法中，需要返回一个 StorageReader 接口，这是一个抽象接口，具体逻辑需要我们自定义。

  
 
 
    
   
  
  
  1. func (s *StandAloneStorage) Reader(ctx *kvrpcpb.Context) (storage.StorageReader, error) { 
    2.    
  
  
  2.   // Your Code Here (1). 
    3.    
  
  
  3.   txn := s.badgerDB.NewTransaction(false) 
    4.    
  
  
  4.   reader := NewStandaloneReader(txn) 
    5.    
  
  
  5.   return reader, nil 
    6.    
  
  
  6. } 
    7.

例如我定义了一个 StandaloneReader：

  
 
 
    
   
  
  
  1. type StandaloneReader struct { 
    2.    
  
  
  2.   txn *badger.Txn 
    3.    
  
  
  3. } 
    4.    
  
  
  4.  
    5.    
  
  
  5. func NewStandaloneReader(txn *badger.Txn) *StandaloneReader { 
    6.    
  
  
  6.   return &StandaloneReader{ 
    7.    
  
  
  7.     txn: txn, 
    8.    
  
  
  8.   } 
    9.    
  
  
  9. } 
    10.

这里完成之后，还需要在 kv/server/raw_api.go 中完善相应的 gRPC 接口，直接解析传过来的参数，然后调用 Storage 接口中的方法即可。这里展示一个示例：

  
 
 
    
   
  
  
  1. func (server *Server) RawGet(_ context.Context, req *kvrpcpb.RawGetRequest) (resp *kvrpcpb.RawGetResponse, err error) { 
    2.    
  
  
  2.   // Your Code Here (1). 
    3.    
  
  
  3.   resp = &kvrpcpb.RawGetResponse{} 
    4.    
  
  
  4.  
    5.    
  
  
  5.   // get storage reader. 
    6.    
  
  
  6.   var reader storage.StorageReader 
    7.    
  
  
  7.   reader, err = server.storage.Reader(req.Context) 
    8.    
  
  
  8.   if err != nil { 
    9.    
  
  
  9.     return 
    10.    
  
  
  10.   } 
    11.    
  
  
  11.   defer reader.Close() 
    12.    
  
  
  12.  
    13.    
  
  
  13.   val, err := reader.GetCF(req.Cf, req.Key) 
    14.    
  
  
  14.   if len(val) == 0 { 
    15.    
  
  
  15.     resp.NotFound = true 
    16.    
  
  
  16.   } 
    17.    
  
  
  17.   resp.Value = val 
    18.    
  
  
  18.   return 
    19.    
  
  
  19. } 
    20.

这里的几个接口完成之后，一个完整的 Standalone KV 就完成了。

你可以把 TinyKV 的代码 clone 下来，然后自己跟着我的节奏做，一步一步坚持下去，相信能够在分布式存储领域有个初步的认知。

本文题目：实现分布式Kv-1StandaloneKV
网站URL：http://www.shufengxianlan.com/qtweb/news1/100551.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联

猜你还喜欢下面的内容

标签优化知识

分类信息网

时嘉做网站　　 　成都网站制作　　 　重庆电商网站建设　　 　高端网站建设　　 　成都营销网站建设　　 　成都移动主机托管　　 　移动APP　　 　泸州洋跃建站　　 　成都网站制作　　 　网站优化排名推广　　 　成都展柜设计　　 　成都网站设计　　 　德阳机房托管　　 　网站seo优化　　 　成都艾瑞格　　 　康明斯发电机　　 　响应式网站建设　　 　成都网站设计　　 　网站建设　　 　教育培训网站建设方案