使用MongoDB 记录业务日志

最近公司有个需求，要对业务日志进行记录并根据日志排查问题，以前都是使用log4net之类的日志组件来记录到文件，这种方式已经不能满足业务的需要，因为日志文件会很大，即使进行分割后，查找也是很不方便，何况现在项目基本都是分布式，会有多台应用服务器，那么就需要把多台服务器上的日志弄到一起，十分的麻烦，经过选择后ELK进入视线，测试环境也搭建了一套，现在唯一的问题就是怎么把多台服务器上的日子泵出到elstaticsearch中，我们的应用服务器都是windows，所以需要在每一台应用服务器上安装一个服务，如：NXlog之类的，经过考虑觉得这种方式太麻烦，所以决定把日志先记录到MongoDb，先实现简单的日志查询，再统一从MongoDb将数据泵出到elstaticsearch中，思路有了，开始动手测试。

第一步，插入测试数据，MongoDb数据库我是安装在本地一个linux虚拟机里，插入1000000条数据耗时8分钟，有兴趣的童鞋自己测试一下，用来存储日志完全没有问题，废话不多说了，上代码：

         static void Main(string[] args)
         {
             try
             {
 #region 插入测试数据
                 //var sw = new Stopwatch();
                 //sw.Start();
                 //string tableName = "InsuranceLog";
                 //for (var i = 0; i < 1000000; i++)
                 //{
                 //    var lb = new LogBase<InsuranceLog>()
                 //    {
                 //        Message = new InsuranceLog
                 //        {
                 //            BusinessKey = i.ToString(),
                 //            BusinessName = "政策查询" + i,
                 //            BusinessParameters = "根据实际需要组织<xml><OrderId>AutoHome" + i + "</OrderId></xml>"
                 //        }
                 //    };
 
                 //    InsertOneLogToMongoDbAsync(lb, tableName);
                 //}
                 //sw.Stop();
                 //Console.WriteLine("插入100000条数据耗时：" + sw.ElapsedMilliseconds + "ms");
 #endregion
 
 #region 根据条件从1000000条数据中获取指定数据
                 var sw = new Stopwatch();
                 sw.Start();
                 var obj = GetList();
                 sw.Stop();
                 Console.WriteLine("从100000条数据获取指定数据耗时：" + sw.ElapsedMilliseconds + "ms");
                 foreach (var o in obj)
                 {
                     if (o.Message != null)
                     {
                         Console.WriteLine("调用时间："+o.CallTime);
                         Console.WriteLine("业务key：" + o.Message.BusinessKey);
                         Console.WriteLine("业务名称：" + o.Message.BusinessName);
                         Console.WriteLine("业务参数：" + o.Message.BusinessParameters);
                     }
                 }
 #endregion
                 Console.ReadKey();
             }
             catch (Exception ex)
             {
                 throw;
             }
         }
 
         /// <summary>
         /// 从MongoDb 获取数据
         /// </summary>
         /// <returns></returns>
         static List<LogBase<InsuranceLog>> GetList()
         {
             try
             {
                 var client = new MongoClient("mongodb://192.168.21.129:27017");
                 var database = client.GetDatabase("logs");
                 var collection = database.GetCollection<LogBase<InsuranceLog>>("InsuranceLog");
                 var b = (from x in collection.AsQueryable()
                          where x.CallTime.StartsWith("")
                          && x.CallTime.EndsWith("")
                          select x).ToList();
                 return b;
             }
             catch (Exception ex)
             {
                 throw;
             }
         }
 
         /// <summary>
         /// 插入单条数据
         /// </summary>
         /// <typeparam name="T"></typeparam>
         /// <param name="t"></param>
         /// <param name="name"></param>
         static async Task InsertOneLogToMongoDbAsync<T>(T t, string name)
         {
             try
             {
                 var client = new MongoClient("mongodb://192.168.21.129:27017");
                 var database = client.GetDatabase("logs");
                 var collection = database.GetCollection<T>(name);
                 await collection.InsertOneAsync(t);
             }
             catch (Exception ex)
             {
                 throw;
             }
         }

主要测试点在查询上，要根据条件快速检索出需要的数据，我测试了一下，单条数据大概是800ms左右，我的查询条件取出来38条数据，耗时842ms，

重点：日志基类，扩展性很好，支持自定义实体类

     /// <summary>
     ///     日志基类
     /// </summary>
     [BsonIgnoreExtraElements]
     public class LogBase<T>
     {
         public LogBase()
         {
             CallTime = DateTime.Now.ToString("yyyyMMddHHmmssfff");
             SerialNo = Guid.NewGuid().ToString("N");
             ClientType = "";
             Message = default(T);
             var myEntry = Dns.GetHostEntry(Dns.GetHostName());
             var address = myEntry.AddressList.FirstOrDefault(e => e.AddressFamily.ToString().Equals("InterNetwork"));
             if (address == null) return;
             var ip = address.ToString();
             HostIp = ip;
         }
 
         /// <summary>
         ///     调用时间，格式：yyyyMMddHH24mmss
         /// </summary>
         public string CallTime { get; private set; }
 
         /// <summary>
         ///     消息序列号 UUID
         /// </summary>
         public string SerialNo { get; private set; }
 
         /// <summary>
         ///     客户端IP地址
         /// </summary>
         public string HostIp { get; private set; }
 
         /// <summary>
         ///     客户端类型:1:pc 2:手机
         /// </summary>
         public string ClientType { get; private set; }
 
         /// <summary>
         ///     业务信息
         /// </summary>
         public T Message { get; set; }
 
     }

测试程序用到的自定义日志类：

 public class InsuranceLog
     {
         /// <summary>
         ///     当前登录用户
         /// </summary>
         public string UserName { get; set; }
 
         /// <summary>
         ///     业务key
         /// </summary>
         public string BusinessKey { get; set; }
 
         /// <summary>
         ///     业务名称 如：查询政策  下订单  查看订单
         /// </summary>
         public string BusinessName { get; set; }
 
         /// <summary>
         ///     业务参数
         /// </summary>
         public string BusinessParameters { get; set; }
     }

未完待续