很多小步快跑的公司,开发人员多则3-4个,面对巨大业务压力,日连夜的赶着上线,快速试错,自然就没时间搭建一些基础设施,比如说logCenter,但初期

项目不稳定,bug又多,每次都跑到生产去找日志,确实也不大方便,用elk或者用hadoop做日志中心,虽然都是没问题的,但基于成本和人手还是怎么简化怎么来,

本篇就来说说直接使用log4net的ElasticSearchAppender扩展直接将log写入到es中。

  

一:从nuget下载

    nuget下来的都是开箱可用,如果看源码的话可以在github上找一下log4net.ElasticSearch项目。https://github.com/jptoto/log4net.ElasticSearch

1. App.config配置

  nuget包下来之后,就可以配置config文件了,其实还是蛮简单的,大家可以根据自己的项目合理的配置里面的各项参数,为了方便大家理解,我在每个配置

项上加了详细的注释,大家可以仔细看看。

  1. <?xml version="1.0" encoding="utf-8" ?>
  2. <configuration>
  3. <configSections>
  4. <section name="log4net" type="log4net.Config.Log4NetConfigurationSectionHandler, log4net" />
  5. </configSections>
  6. <log4net>
  7. <!-- 日志的处理类:log4net.ElasticSearch.ElasticSearchAppender -->
  8. <appender name="ElasticSearchAppender" type="log4net.ElasticSearch.ElasticSearchAppender, log4net.ElasticSearch">
  9.  
  10. <!-- ES地址 rolling=true:表示每天一个index(datamipcrm_log_2018.05.31) -->
  11. <connectionString value="Scheme=http;Server=192.168.23.145;Index=datamiprm_log;Port=9200;rolling=true"/>
  12. <!-- 有损配置: 如果配置的buffer满了还没来的及刷新到es中,那么新来的log将会被丢弃。 -->
  13. <lossy value="false" />
  14. <evaluator type="log4net.Core.LevelEvaluator">
  15. <!--
  16. 表示 小于ERROR级别的日志会进入buffer数组,大于等于这个级别的,直接提交给es。
  17. 通常情况下,ERROR级别的错误,我们直接塞到ES中,这样更有利于我们发现问题。 DEBUG,INFO WARN ERROR -->
  18. <threshold value="ERROR" />
  19. </evaluator>
  20.  
  21. <!-- buffer池的阈值50,一旦满了就会触发flush 到 es的动作(bulk api) -->
  22. <bufferSize value="50" />
  23. </appender>
  24. <root>
  25. <!-- 指定所有的loglevel(DEBUG,INFO,WARN,ERROR)级别都是用 ElasticSearchAppender 处理 -->
  26. <level value="ALL"/>
  27. <appender-ref ref="ElasticSearchAppender" />
  28. </root>
  29. </log4net>
  30. <startup>
  31. <supportedRuntime version="v4.0" sku=".NETFramework,Version=v4.6.1" />
  32. </startup>
  33. </configuration>

  上面有几点要特别注意一下:

《1》 bufferSize

这个大家理解成缓存区,方便批量提交到es中,否则的话,过于频繁的和es进行交互,对带宽,对application,es都是比较大的压力。

《2》 <threshold value="ERROR" />

有时候我们有这样的需求,我希望ERROR,Fault这种级别的错误不要走buffer,直接提交给es,这样更容易让初创团队发现问题,找到问题,恭喜你,

上面这个配置就是解决这个事的。

2. 在AssemblyInfo中追加如下配置。

  1. // 可以指定所有值,也可以使用以下所示的 "*" 预置版本号和修订号
  2. // 方法是按如下所示使用“*”: :
  3. // [assembly: AssemblyVersion("1.0.*")]
  4. [assembly: AssemblyVersion("1.0.0.0")]
  5. [assembly: AssemblyFileVersion("1.0.0.0")]
  6. [assembly: log4net.Config.XmlConfigurator(Watch = true)]

3. 然后就可以写一段测试代码啦。

  1. namespace ConsoleApp1
  2. {
  3. class Program
  4. {
  5. private static readonly ILog _log = LogManager.GetLogger(typeof(Program));
  6.  
  7. static void Main(string[] args)
  8. {
  9.  
  10. for (int i = ; i < ; i++)
  11. {
  12. try
  13. {
  14. var m = "";
  15.  
  16. var result = / Convert.ToInt32(m);
  17. _log.Info("我要开始记录日志啦");
  18.  
  19. }
  20. catch (Exception ex)
  21. {
  22. _log.Error("调用失败" + i, ex);
  23. //_log.Info("调用失败" + i, ex);
  24. //Console.WriteLine(i);
  25. }
  26. }
  27.  
  28. Console.Read();
  29. }
  30.  
  31. }
  32. }

然后通过elasticsearch-head 插件进行查看,各种数据就都在es中了。

二:elasticsearch-header 插件

  关于这个插件的下载,因为google官网被屏蔽,大家如果有VPN的话,可以自行在chrome商店搜索,当然也可以直接下载我的zip包,elasticsearch-head

在浏览器中加载插件的时候选择0.1.3.0 文件夹即可

完了之后点击右上边的 “放大镜“ 按钮就可以看到你想看到的UI了。

三:下载elasticsearch

  这是一个基于luncene的分布式搜索框架,用起来还是挺顺手的,你可以下载5.6.4版本。

  1. [elsearch@localhost myapp]$ ls
  2. elasticsearch-5.6..tar.gz

  一般来说,安装的过程中你可能会遇到3个坑。

1.  不能用root账号登录

  1. [root@localhost bin]# ./elasticsearch
  2. [--31T04::,][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [] uncaught exception in thread [main]
  3. org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root
  4. at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:) ~[elasticsearch-5.6..jar:5.6.]
  5. at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:) ~[elasticsearch-5.6..jar:5.6.]
  6. at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:) ~[elasticsearch-5.6..jar:5.6.]
  7. at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:) ~[elasticsearch-5.6..jar:5.6.]
  8. at org.elasticsearch.cli.Command.main(Command.java:) ~[elasticsearch-5.6..jar:5.6.]
  9. at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:) ~[elasticsearch-5.6..jar:5.6.]
  10. at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:) ~[elasticsearch-5.6..jar:5.6.]
  11. Caused by: java.lang.RuntimeException: can not run elasticsearch as root
  12. at org.elasticsearch.bootstrap.Bootstrap.initializeNatives(Bootstrap.java:) ~[elasticsearch-5.6..jar:5.6.]
  13. at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:) ~[elasticsearch-5.6..jar:5.6.]
  14. at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:) ~[elasticsearch-5.6..jar:5.6.]
  15. at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:) ~[elasticsearch-5.6..jar:5.6.]
  16. ... more

这个简单,增加一个elasearch用户就可以了。

  1. groupadd elsearch #新建elsearch组
  2. useradd elsearch -g elsearch -p elasticsearch #新建一个elsearch用户
  3. chown -R elsearch:elsearch ./elasticsearch #指定elasticsearch所属elsearch组

2.  内存不足的问题。

  1. [elsearch@localhost bin]$ ./elasticsearch
  2. Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000a9990000, 1449590784, 0) failed; error='Cannot allocate memory' (errno=12)
  3. #
  4. # There is insufficient memory for the Java Runtime Environment to continue.
  5. # Native memory allocation (mmap) failed to map 1449590784 bytes for committing reserved memory.
  6. # An error report file with more information is saved as:
  7. # /usr/myapp/elasticsearch/bin/hs_err_pid33341

这是ES默认分配的堆内存是2g,如果出现这个问题,一般来说是你的虚拟机拥有的内存小于2g,只需要在jvm.options中将2g修改1g就可以了。

  1. [root@localhost config]# ls
  2. elasticsearch.yml jvm.options log4j2.properties scripts
  1. # Xms represents the initial size of total heap space
  2. # Xmx represents the maximum size of total heap space
  3.  
  4. -Xms1g
  5. -Xmx1g

3. max file descriptors 太少 和 max virtual memory 虚拟内存太低。

  1. [elsearch@localhost bin]$ ./elasticsearch
  2. [2018-05-30T20:44:56,484][INFO ][o.e.n.Node ] [] initializing ...
  3. [2018-05-30T20:44:56,632][INFO ][o.e.e.NodeEnvironment ] [f9t2Sfl] using [1] data paths, mounts [[/ (rootfs)]], net usable_space [14.4gb], net total_space [22.1gb], spins? [unknown], types [rootfs]
  4. [2018-05-30T20:44:56,632][INFO ][o.e.e.NodeEnvironment ] [f9t2Sfl] heap size [989.8mb], compressed ordinary object pointers [true]
  5. [2018-05-30T20:44:56,634][INFO ][o.e.n.Node ] node name [f9t2Sfl] derived from node ID [f9t2SfljReiND4XeMLUbyA]; set [node.name] to override
  6. [2018-05-30T20:44:56,634][INFO ][o.e.n.Node ] version[5.6.4], pid[33546], build[8bbedf5/2017-10-31T18:55:38.105Z], OS[Linux/3.10.0-327.el7.x86_64/amd64], JVM[Oracle Corporation/Java HotSpot(TM) 64-Bit Server VM/1.8.0_144/25.144-b01]
  7. [2018-05-30T20:44:56,634][INFO ][o.e.n.Node ] JVM arguments [-Xms1g, -Xmx1g, -XX:+UseConcMarkSweepGC, -XX:CMSInitiatingOccupancyFraction=75, -XX:+UseCMSInitiatingOccupancyOnly, -XX:+AlwaysPreTouch, -Xss1m, -Djava.awt.headless=true, -Dfile.encoding=UTF-8, -Djna.nosys=true, -Djdk.io.permissionsUseCanonicalPath=true, -Dio.netty.noUnsafe=true, -Dio.netty.noKeySetOptimization=true, -Dio.netty.recycler.maxCapacityPerThread=0, -Dlog4j.shutdownHookEnabled=false, -Dlog4j2.disable.jmx=true, -Dlog4j.skipJansi=true, -XX:+HeapDumpOnOutOfMemoryError, -Des.path.home=/usr/myapp/elasticsearch]
  8. [2018-05-30T20:44:57,530][INFO ][o.e.p.PluginsService ] [f9t2Sfl] loaded module [aggs-matrix-stats]
  9. [2018-05-30T20:44:57,530][INFO ][o.e.p.PluginsService ] [f9t2Sfl] loaded module [ingest-common]
  10. [2018-05-30T20:44:57,530][INFO ][o.e.p.PluginsService ] [f9t2Sfl] loaded module [lang-expression]
  11. [2018-05-30T20:44:57,531][INFO ][o.e.p.PluginsService ] [f9t2Sfl] loaded module [lang-groovy]
  12. [2018-05-30T20:44:57,531][INFO ][o.e.p.PluginsService ] [f9t2Sfl] loaded module [lang-mustache]
  13. [2018-05-30T20:44:57,531][INFO ][o.e.p.PluginsService ] [f9t2Sfl] loaded module [lang-painless]
  14. [2018-05-30T20:44:57,531][INFO ][o.e.p.PluginsService ] [f9t2Sfl] loaded module [parent-join]
  15. [2018-05-30T20:44:57,531][INFO ][o.e.p.PluginsService ] [f9t2Sfl] loaded module [percolator]
  16. [2018-05-30T20:44:57,531][INFO ][o.e.p.PluginsService ] [f9t2Sfl] loaded module [reindex]
  17. [2018-05-30T20:44:57,531][INFO ][o.e.p.PluginsService ] [f9t2Sfl] loaded module [transport-netty3]
  18. [2018-05-30T20:44:57,531][INFO ][o.e.p.PluginsService ] [f9t2Sfl] loaded module [transport-netty4]
  19. [2018-05-30T20:44:57,532][INFO ][o.e.p.PluginsService ] [f9t2Sfl] no plugins loaded
  20. [2018-05-30T20:44:59,469][INFO ][o.e.d.DiscoveryModule ] [f9t2Sfl] using discovery type [zen]
  21. [2018-05-30T20:45:00,107][INFO ][o.e.n.Node ] initialized
  22. [2018-05-30T20:45:00,107][INFO ][o.e.n.Node ] [f9t2Sfl] starting ...
  23. [2018-05-30T20:45:00,339][INFO ][o.e.t.TransportService ] [f9t2Sfl] publish_address {192.168.23.143:9300}, bound_addresses {[::]:9300}
  24. [2018-05-30T20:45:00,356][INFO ][o.e.b.BootstrapChecks ] [f9t2Sfl] bound or publishing to a non-loopback or non-link-local address, enforcing bootstrap checks
  25. ERROR: [2] bootstrap checks failed
  26. [1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
  27. [2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
  28. [2018-05-30T20:45:00,365][INFO ][o.e.n.Node ] [f9t2Sfl] stopping ...
  29. [2018-05-30T20:45:00,444][INFO ][o.e.n.Node ] [f9t2Sfl] stopped
  30. [2018-05-30T20:45:00,444][INFO ][o.e.n.Node ] [f9t2Sfl] closing ...
  31. [2018-05-30T20:45:00,455][INFO ][o.e.n.Node ] [f9t2Sfl] closed

  这个max file descriptors 的问题,我只需要修改 vim /etc/security/limits.conf 文件增加句柄值即可。

  1. * hard nofile 65536
  2. * soft nofile 65536

虚拟内存的 max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]  只需要在sysctl.conf 中修改max即可。

  1. [root@localhost config]# vim /etc/sysctl.conf
  2.  
  3. vm.max_map_count=

这些坑解决的话,es就可以正常启动了,最后记得在elasticsearch.yml 中将host设为0.0.0.0 让远程机器可以访问。

  1. [elsearch@localhost config]$ vim elasticsearch.yml
  2.  
  3. network.host: 0.0.0.0

最后执行 ./elasticsearch -d  让es在后台执行。

  1. [elsearch@localhost bin]$ ./elasticsearch -d
  2.  
  3. [elsearch@localhost bin]$ netstat -tlnp
  4. (Not all processes could be identified, non-owned process info
  5. will not be shown, you would have to be root to see it all.)
  6. Active Internet connections (only servers)
  7. Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
  8. tcp 0 0 192.168.122.1:53 0.0.0.0:* LISTEN -
  9. tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN -
  10. tcp 0 0 127.0.0.1:631 0.0.0.0:* LISTEN -
  11. tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN -
  12. tcp6 0 0 :::9200 :::* LISTEN 17523/java
  13. tcp6 0 0 :::9300 :::* LISTEN 17523/java
  14. tcp6 0 0 :::22 :::* LISTEN -
  15. tcp6 0 0 ::1:631 :::* LISTEN -
  16. tcp6 0 0 ::1:25 :::* LISTEN -
  17. [elsearch@localhost bin]$

好了,本篇就说这么多,如果你要更精细化的查询,可以再搭建一个配套版本的kibana即可。

小步快跑的公司可以最简化操作直接通过log4net将日志写入ElasticSearch的更多相关文章

  1. 原创跑酷小游戏《Cube Duck Run》 - - 方块鸭快跑

    自从unity5出来才开始关注unity,业余时间尝试做了个小游戏: <方块鸭快跑> (Cube Duck Run) 像素风,3d视角,色彩明快,有无尽和关卡两种模式. 应用连接: goo ...

  2. 【python游戏编程之旅】第九篇---嗷大喵快跑小游戏开发实例

    本系列博客介绍以python+pygame库进行小游戏的开发.有写的不对之处还望各位海涵. 前几期博客我们一起学习了,pygame中的冲突检测技术以及一些常用的数据结构. 这次我们来一起做一个简单的酷 ...

  3. LYK 快跑!(LYK别打我-)(话说LYK是谁)

    LYK 快跑!(run) Time Limit:5000ms Memory Limit:64MB 题目描述 LYK 陷进了一个迷宫! 这个迷宫是网格图形状的. LYK 一开始在(1,1)位置, 出口在 ...

  4. LYK 快跑!(run)

    LYK 快跑!(run)Time Limit:5000ms Memory Limit:64MB[题目描述] LYK 陷进了一个迷宫! 这个迷宫是网格图形状的. LYK 一开始在(1,1)位置, 出口在 ...

  5. Cocos2dx系列笔记7:一个简单的跑酷游戏《萝莉快跑》的消化(附下载)

    懒骨头(http://blog.csdn.com/iamlazybone) 或许有天 我们羡慕和崇拜的人 因为我们的努力 也会来了解我们 说不定 还会成为好友 骨头喜欢这样与哲哲共勉 多少个夜晚 一张 ...

  6. canvas小程序-快跑程序员

    canvas不用说html5带来的好东西,游戏什么的,么么哒 记得有一天玩手机游戏,就是一个跳跃过柱子那种,其实元素很简单啊,app能开发,借助html5 canvas也可以啊, 于是就开始了. -- ...

  7. 神龟快跑,2016做的一款UWP游戏

    神龟快跑,2016做的一款UWP游戏, 实际是H5页面, 用LAYA转AS3得到的 安装地址 https://www.microsoft.com/zh-cn/store/p/神龟快跑/9nblggh4 ...

  8. 静态分析第三发 so文件分析(小黄人快跑)

    本文作者:i春秋作家——HAI_ 0×00 工具 1.IDA pro 2.Android Killer 0×01 环境 小黄人快跑 下载地址http://download.csdn.net/downl ...

  9. BZOJ4829: [Hnoi2017]队长快跑

    BZOJ4829: [Hnoi2017]队长快跑 Description 众所周知,在P国外不远处盘踞着巨龙大Y. 传说中,在远古时代,巨龙大Y将P国的镇国之宝窃走并藏在了其巢穴中,这吸引着整个P国的 ...

随机推荐

  1. git merge 撤销与git 回滚

    git merge提交后恢复 http://blog.psjay.com/posts/git-revert-merge-commit/ git回滚 https://www.jianshu.com/p/ ...

  2. C语言中变量的存储方式

    变量可以分为全局变量.静态全局变量.局部变量和静态局部变量变量的声明有两种情况:1)一种是需要建立存储空间的(定义性声明).例如int a 在生命的时候就已经建立了存储空间.2)另一种是不需要建立存储 ...

  3. PAT1120: Friend Numbers

    1120. Friend Numbers (20) 时间限制 400 ms 内存限制 65536 kB 代码长度限制 16000 B 判题程序 Standard 作者 CHEN, Yue Two in ...

  4. React Native系列(6) - 编译安卓私有React-Native代码

    为何要自己编译React Native安卓私有代码 我们在开发中遇到一个HTTP2的问题,React Native安卓客户端在和HTTP2支持的服务器通讯的过程中会有crash,见 React-Nat ...

  5. mac里用PyCharm中引用MySqlDB始末

    本来想用java来连数据库,然后调用python的,后来想了想,反正是个实验性质的小工程何必搞的这么复杂.直接全部python就好了,于是就为这个想法填了一晚上的坑. 装好了PyCharm的CE版,然 ...

  6. tkinter做一个简单的登陆页面

    做一个简单的登陆页面 import tkinter wuya = tkinter.Tk() wuya.title("wuya") wuya.geometry("900x3 ...

  7. [ Java面试题 ]WEB篇

    1.AJAX有哪些有点和缺点? 优点: 1.最大的一点是页面无刷新,用户的体验非常好. 2.使用异步方式与服务器通信,具有更加迅速的响应能力. 3.可以把以前一些服务器负担的工作转嫁到客户端,利用客户 ...

  8. VM虚拟机安装centos详细图文教程

    本教程贴,采用VM虚拟机进行安装, Ps:不懂VM使用的,可以百度一下 第一步,启动虚拟机,并进行新建---虚拟机·· 选择 从镜像安装,吧里有6.3镜像下载的链接的 然后, 下一步 . 选择客户机版 ...

  9. Hbase中HMaster作用

    HMaster在功能上主要负责Table表和HRegion的管理工作,具体包括: 1.管理用户对Table表的增.删.改.查操作: 2.管理HRegion服务器的负载均衡,调整HRegion分布: 3 ...

  10. bash: pip: command not found... 解决方法

    下载安装wget "https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa3 ...