巧用Dictionary实现日志数据批量插入

本文转载自微信公众号「UP技术控」，作者conan5566 。转载本文请联系UP技术控公众号。   

创新互联建站基于成都重庆香港及美国等地区分布式IDC机房数据中心构建的电信大带宽，联通大带宽，移动大带宽，多线BGP大带宽租用,是为众多客户提供专业服务器托管报价，主机托管价格性价比高，为金融证券行业服务器托管，ai人工智能服务器托管提供bgp线路100M独享，G口带宽及机柜租用的专业成都idc公司。

背景

最近再做一个需求，就是对站点的一些事件进行埋点，说白了就是记录用户的访问行为。那么这些数据怎么保存呢，人家点一下保存一下?显然不合适，肯定是需要批量保存，提高效率。

问题窥探

首先，我想到的是Dictionary，对于C#中的Dictionary类相信大家都不陌生，这是一个Collection(集合)类型，可以通过Key/Value(键值对的形式来存放数据;该类最大的优点就是它查找元素的时间复杂度接近O(1)，实际项目中常被用来做一些数据的本地缓存，提升整体效率。Dictionary是非线程安全的类型，可以实现先添加到内存当中，在批量保存进去数据库。

主要代码实现

1、定义一个Dictionary。

 
 
 

  
  
  
private readonly Dictionary> _storage = new Dictionary>(StringComparer.OrdinalIgnoreCase); 
 
 
 

2、添加元素，操作的时候需要对其进行线程安全处理，最简单的方式就是加锁(lock)。

 
 
 

  
  
  
public bool SaveObject(string path, T value) where T : class { 
  
  
  
            if (String.IsNullOrWhiteSpace(path)) 
  
  
  
                throw new ArgumentNullException("path"); 
  
  
  
 
  
  
  
            lock (_lock) { 
  
  
  
                _storage[path] = Tuple.Create(new ObjectInfo { 
  
  
  
                    Created = DateTime.Now, 
  
  
  
                    Modified = DateTime.Now, 
  
  
  
                    Path = path 
  
  
  
                }, (object)value); 
  
  
  
 
  
  
  
                if (_storage.Count > MaxObjects) 
  
  
  
                    _storage.Remove(_storage.OrderByDescending(kvp => kvp.Value.Item1.Created).First().Key); 
  
  
  
            } 
  
  
  
 
  
  
  
            return true; 
  
  
  
        } 
 
 
 

3、定义一个队列，定时消费日志。

 
 
 

  
  
  
public DefaultEventQueue(ExceptionlessConfiguration config, IExceptionlessLog log, ISubmissionClient client, IObjectStorage objectStorage, IJsonSerializer serializer, TimeSpan? processQueueInterval, TimeSpan? queueStartDelay) { 
  
  
  
            _log = log; 
  
  
  
            _config = config; 
  
  
  
            _client = client; 
  
  
  
            _storage = objectStorage; 
  
  
  
            _serializer = serializer; 
  
  
  
            if (processQueueInterval.HasValue) 
  
  
  
                _processQueueInterval = processQueueInterval.Value; 
  
  
  
 
  
  
  
            _queueTimer = new Timer(OnProcessQueue, null, queueStartDelay ?? TimeSpan.FromSeconds(2), _processQueueInterval); 
  
  
  
        } 
 
 
 

这里删除的时候也需要lock 操作。

 
 
 

  
  
  
public bool DeleteObject(string path) { 
  
  
  
            if (String.IsNullOrWhiteSpace(path)) 
  
  
  
                throw new ArgumentNullException("path"); 
  
  
  
 
  
  
  
            lock (_lock) { 
  
  
  
                if (!_storage.ContainsKey(path)) 
  
  
  
                    return false; 
  
  
  
 
  
  
  
                _storage.Remove(path); 
  
  
  
            } 
  
  
  
 
  
  
  
            return true; 
  
  
  
        } 
 
 
 

 
 
 

  
  
  
public IEnumerable GetObjectList(string searchPattern = null, int? limit = null, DateTime? maxCreatedDate = null) { 
  
  
  
            if (searchPattern == null) 
  
  
  
                searchPattern = "*"; 
  
  
  
            if (!maxCreatedDate.HasValue) 
  
  
  
                maxCreatedDate = DateTime.MaxValue; 
  
  
  
 
  
  
  
            var regex = new Regex("^" + Regex.Escape(searchPattern).Replace("\\*", ".*?") + "$"); 
  
  
  
            lock (_lock) 
  
  
  
                return _storage.Keys.Where(k => regex.IsMatch(k)).Select(k => _storage[k].Item1).Where(f => f.Created <= maxCreatedDate).Take(limit ?? Int32.MaxValue).ToList(); 
  
  
  
        } 
 
 
 

总结

1、利用Dictionary。多线程添加数据到内存;

2、达到一定量的时候，批量保存数据。

3、使用lock ，保证Dictionary操作安全。

网页名称：巧用Dictionary实现日志数据批量插入
文章URL：http://www.shufengxianlan.com/qtweb/news45/35545.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联