项目结构 本系列文章意在记录如何搭建一个高可用的日志采集系统,实际项目中会有多个日志文件分布在服务器各个文件夹,这些日志记录了不同的功能.随着业务的增多,日志文件也再增多,企业中常常需要实现一个独立的日志采集系统,实时采集各个日志信息,并记录和输出到控制台或网页上,方便监控和查询.本文日志采集系统架构如下 日志采集系统监控各个日志文件,当日志文件有日志录入时,日志采集系统实时获取日志内容并下入kafka队列中,之后可以实现Web端从kafaka取出信息,并前端显示.也可以将kafka的信息控制台…

前情回顾 前文我们完成了日志采集系统的日志文件监控,配置文件热更新,协程异常检测和保活机制. 本节目标 本节加入kafka消息队列,kafka前文也介绍过了,可以对消息进行排队,解耦合和流量控制的作用,为什么一定要用kafka呢?主要原因就是在日志高并发读取后,如果直接将消息发给前端或者写入数据库,会造成崩溃或者卡死.kafka可以对消息进行排队和减轻压力,这样无论以后将这些消息录入数据库也好,传给前端分析也好,都能保证系统稳定性.代码我们也写过和测试了,只需要将之前写好的kafka读写消息代码…

日志统计系统的整体思路就是监控各个文件夹下的日志,实时获取日志写入内容并写入kafka队列,写入kafka队列可以在高并发时排队,而且达到了逻辑解耦合的目的.然后从kafka队列中读出数据,根据实际需求显示网页上或者控制台等. 前情提要 上一节我们完成了如下目标1 配置kafka,并启动消息队列.2 编写代码向kafka录入消息,并且从kafka读取消息. 本节目标 1 写代码从kafka中读取消息,保证kafka消息读写功能无误.2 借助tailf实现文件监控,并模拟测试事实写文件以及文件备份…

前文中已经完成了文件的监控,kafka信息读写,今天主要完成配置文件的读写以及热更新.并且规划一下系统的整体结构,然后将之前的功能串起来形成一套完整的日志采集系统. 前情提要 上一节我们完成了如下目标1 完成kafka消息读写2 借助tailf实现文件监控,并模拟测试实时写文件以及文件备份时功能无误. 本节目标 1 编写系统结构,在主函数中加载配置2 管理配置文件,实现热更新 实现文件管理,支持热更新 golang中vipper库提供了配置文件的读取和监控功能,我们可以监控配置文件从而实现热更新…

前情回顾 前文我们完成了如下目标1 项目架构整体编写2 使框架支持热更新 本节目标 在前文的框架基础上,我们1 将之前实现的日志监控功能整合到框架中.2 一个日志对应一个监控协程,当配置热更新后根据新配置动态关闭和启动协程.3 编写测试代码,模拟向文件中不断写入日志,并备份日志,观察监控功能是否健壮. 增加协程监控日志文件 我们将之前实现的日志监控功能整合到现有框架,文件结构如下logdir为存储日志的文件夹,模拟不同系统记录的日志.实际生产中不同系统会自己记录日志并保存在指定文件夹中,logd…

前情回顾 前文我们完成了如下功能1 根据配置文件启动多个协程监控日志,并启动协程监听配置文件.2 根据配置文件热更新,动态协调日志监控.3 编写测试代码,向文件中不断写入日志并备份日志,验证系统健壮性. 本节目标 我们旨在编写一个健壮性较强的日志监控系统,不得不考虑这样一个问题,当某个日志监控协程崩溃或者异常退出,该如何处理?我的想法是当监控日志文件的协程异常退出时,在主协程复活这个异常退出的协程,使其继续工作,这样极大的增强了系统的稳定性. 借尸还魂,增加异常处理 我们在tailf.go的Wa…

日常啰嗦 不要被标题吓到,虽然书籍是<实战java高并发程序设计>,但是这篇文章不会讲高并发.线程安全.锁啊这些比较恼人的知识点,甚至都不会谈相关的技术,只是写一写本人的一点读书感受,顺便整理了一下书中的代码,放到github里了. 书籍简介 当时在京东选书的时候就是被这本书的封面给吸引了,莫名的挺喜欢这本书,刚好那段时间也想补充一下这方面的知识点,看了一下书籍简介就下单购买了. 2017年4月10号开始读,到30号读完,中间的二十天基本都是抽出中午的一小段时间看书,每天虽然看的不多,但是加在…

文章目录 第二章 Java并行程序基础 2.1 线程的基本操作 2.1.1 线程中断 2.1.2 等待(wait)和通知(notify) 2.1.3 等待线程结束(join)和谦让(yield) 2.2 volatile与Java内存模型(JMM) 2.3 线程组 2.4 守护线程(Daemon) 2.5 线程安全的概念和synchronized 第三章 JDK 并发包 3.1 同步控制 3.1.1 可重入锁(ReentrantLock) 1.锁申请等待超时 2.公平锁 3.1.2 条件(con…

[实战Java高并发程序设计 1]Java中的指针:Unsafe类 [实战Java高并发程序设计 2]无锁的对象引用:AtomicReference [实战Java高并发程序设计 3]带有时间戳的对象引用:AtomicStampedReference [实战Java高并发程序设计 4]数组也能无锁:AtomicIntegerArray [实战Java高并发程序设计 5]让普通变量也享受原子操作 [实战Java高并发程序设计6]挑战无锁算法:无锁的Vector实现 在对线程池的介绍中,提到了一个非…

[实战Java高并发程序设计 1]Java中的指针:Unsafe类 [实战Java高并发程序设计 2]无锁的对象引用:AtomicReference [实战Java高并发程序设计 3]带有时间戳的对象引用:AtomicStampedReference [实战Java高并发程序设计 4]数组也能无锁:AtomicIntegerArray [实战Java高并发程序设计 5]让普通变量也享受原子操作 我们已经比较完整得介绍了有关无锁的概念和使用方法.相对于有锁的方法,使用无锁的方式编程更加考验一个程序…

[实战Java高并发程序设计 1]Java中的指针:Unsafe类 [实战Java高并发程序设计 2]无锁的对象引用:AtomicReference [实战Java高并发程序设计 3]带有时间戳的对象引用:AtomicStampedReference [实战Java高并发程序设计 4]数组也能无锁:AtomicIntegerArray 有时候,由于初期考虑不周,或者后期的需求变化,一些普通变量可能也会有线程安全的需求.如果改动不大,我们可以简单地修改程序中每一个使用或者读取这个变量的地方.但显然…

除了提供基本数据类型外,JDK还为我们准备了数组等复合结构.当前可用的原子数组有:AtomicIntegerArray.AtomicLongArray和AtomicReferenceArray,分别表示整数数组.long型数组和普通的对象数组. 这里以AtomicIntegerArray为例,展示原子数组的使用方式. AtomicIntegerArray本质上是对int[]类型的封装.使用Unsafe类通过CAS的方式控制int[]在多线程下的安全性.它提供了以下几个核心API: //获得数组第…

[实战Java高并发程序设计 1]Java中的指针:Unsafe类 [实战Java高并发程序设计 2]无锁的对象引用:AtomicReference AtomicReference无法解决上述问题的根本是因为对象在修改过程中,丢失了状态信息.对象值本身与状态被画上了等号.因此,我们只要能够记录对象在修改过程中的状态值,就可以很好的解决对象被反复修改导致线程无法正确判断对象状态的问题. AtomicStampedReference正是这么做的.它内部不仅维护了对象值,还维护了一个时间戳(我这里把它…

是<实战Java高并发程序设计>第4章的几点. 如果你对技术有着不折不挠的追求,应该还会特别在意incrementAndGet() 方法中compareAndSet()的实现.现在,就让我们更进一步看一下它把! public final boolean compareAndSet(int expect, int update){ returnunsafe.compareAndSwapInt(this, valueOffset, expect, update); } 在这里,我们看到一个特殊的变…

本文目录 1. Net下日志记录 2. NLog的使用     2.1 添加nuget引用NLog.Web.AspNetCore     2.2 配置文件设置     2.3 依赖配置及调用     2.4 日志类型介绍     2.5 产生的日志文件 3. 基于Microsoft.Extensions.Logging封装     3.1 添加引用Microsoft.Extensions.Logging     3.2 实现我们的Logger     3.3 调用WLogger 4. 总结 1.…

第三章 JDK并发包 1.同步控制 重入锁:重入锁使用java.util.concurrent.locks.ReentrantLock类来实现,这种锁可以反复使用所以叫重入锁. 重入锁和synchronized的比较: Lock是一个接口,而synchronized是Java中的关键字,synchronized是内置的语言实现. Lock有着显示的操作过程,由开发自己决定加锁和释放锁的时间,更为灵活.synchronized的获取和释放锁由JVM实现. Lock线程在获取锁的时候可以响应中断,s…

码云代码仓库:https://gitee.com/tanjiajun/MysqlPool 代码仓库:https://github.com/asbectJ/swoole4.git 前言 在写这篇文章之前,看了好几篇实现连接池的文章,都是写的很不好的.摆明忽略了连接池的很多特性,很多都不具有抗高并发和连接复用.所以自己觉得有必须把最近几天,实现一个比较完整的php数据库连接池的点滴记录下来,望能帮助各位,感激者望多点赞和打赏. 一.数据库连接池基本概念 所谓的数据库连接池,一般指的就是程序和数据库保…

[.NET Core项目实战-统一认证平台]开篇及目录索引 上篇文章我们介绍了如何扩展Ocelot网关,并实现数据库存储,然后测试了网关的路由功能,一切都是那么顺利,但是有一个问题未解决,就是如果网关配置信息发生变更时如何生效?以及我使用其他数据库存储如何快速实现?本篇就这两个问题展开讲解,用到的文档及源码将会在GitHub上开源,每篇的源代码我将用分支的方式管理,本篇使用的分支为course2. 附文档及源码下载地址:[https://github.com/jinyancao/CtrAuthP…

摘抄自马士兵java并发视频课程: 一.需求背景: 有N张火车票,每张票都有一个编号,同时有10个窗口对外售票, 请写一个模拟程序. 分析下面的程序可能会产生哪些问题?重复销售?超量销售? /** * 有N张火车票,每张票都有一个编号 * 同时有10个窗口对外售票 * 请写一个模拟程序 * * 分析下面的程序可能会产生哪些问题? * 重复销售?超量销售? * * @author 马士兵 */ package yxxy.c_024; import java.util.ArrayList; impo…

其实百度UI自动化测试框架,会出来很多相关的信息,不过就没有找到纯项目的,无法拿来使用的:所以我最近就写了一个简单,不过可以拿来在真正项目中可以使用的测试框架. 项目的地址:https://github.com/xiaoshitoutester/UItestframework 这里完全是干货,中间涉及到很多知识点,可以下载到本地然后,修改下项目地址,编写测试用例就可以执行了,日志,报告什么的都有: 这里日志打印是我新加的,在自动化测试中,经常出现各种奇怪的问题,导致不好定位问题,现在我将webd…

这一节我们来讲解这个项目所用到的一些技术,以及一些实现的效果图,让大家对该项目有一个整体的认识,推荐大家收藏该文章,因为我们发布文章后会在该文章里面加入链接,这样大家找着就很方便. 目录 第1章 前期准备 ​    第1节 项目介绍 记得那是很多年前,我们去网吧的时候,都会用到酷狗音乐,因为他有卡拉OK歌词滚动,然后在玩着游戏,开着歌词显示到游戏前面感觉逼格很高,那时候还不知道网易云音乐这软件,所以当就想着卡拉OK歌词这么神奇,我要是能做出来就好了,但是很遗憾那时才上高中,也就学了点C语言写写单…

来了解下java并发的技术点吧.这里面包括了并发级别.算法.定律,还有开发包.在过去单核CPU时代,单任务在一个时间点只能执行单一程序,随着多核CPU的发展,并行程序开发就显得尤为重要.这本书主要介绍基于Java的并行程序设计基础.思路.方法和实战. 来了解下java并发的技术点吧.这里面包括了并发级别.算法.定律,还有开发包.在过去单核CPU时代,单任务在一个时间点只能执行单一程序,随着多核CPU的发展,并行程序开发就显得尤为重要.这本书主要介绍基于Java的并行程序设计基础.思路.方法和实战…

一.同步(Synchronous)和异步(Asynchronous) 同步和异步通常用来形容一次方法调用,同步方法,调用者必须等到方法调用返回后,才能继续后续的行为,异步方法调用会立即返回,调用者就可以继续后续的操作 二.并发和并行 并发和并行都可以表示两个或多个任务一起执行,但偏重点点不同,并发偏重于多个任务交替执行,而多个任务之间有可能还是串行的.而并行是真正意义上的“同时执行”. 三.阻塞(Blocking)和非阻塞(Non-Blocking) 一个线程占用了临界资源,那么其他所有需要这个…

这一节我们来讲解创建项目:说道大家可能就会说了,创建项目还有谁不会啊,还需要讲吗,别急听我慢慢到来,肯定有你不知道的. 使用项目Android Studio创建项目我们这里就不讲解了,主要是讲解如何配置一个符合企业标准的项目. SDK配置 我们这里配置编译SDK为27,目标SDK版本为22,V7依赖库版本为27.1.0,这里我们设置目标SDK版本为22是为了不在这个项目中处理动态权限,因为这个超出了我们课程第一版的范围,V7依赖库版本第一个版本需要的编译SDK版本一样. 版本号统一配置 通常情况…

首先上一下完成后的效果: 首页: 商品详情页: 购物车页(其实还有个订单页,只是和购物车页基本类似,所以就不截图啦): 开始项目: 由于涉及的是前后端分离,所以我们的后台数据就模拟存储于浏览器端(config/config.js里面): 当然在这之前你需要使用Vue CLI构建项目(),然后才可以进行下去,还有我们这各项目里面用了Font Awesome图标库 来使我们的项目的图标更加酷炫.读者可以使用cnpm install font-awesome --save-dev安装,具体的Font…

互联网一般运行技术:webservice,jquery,访问量,缓存,数据安全等,JAVA后台就比较多了,不过,像这种大型的互联网项目,基本框架都有了,你需要做的就是熟悉业务,熟悉他们公司所用的框架,有了基本业务和技术框架的支持,下面就是要细分下你具体的工作了,如果是普通开发人员,了解下webservice接口,jquery,数据库处理,缓存等基本就够用了. 页面:jsp(做成静态html),js,jquery+ajax    后台:struts2+spring 数据库:大型共享的资讯数据mon…

第六章 Java 8 与并发 1.函数式编程 函数作为一等公民: 将函数作为参数传递给另外一个函数这是函数式编程的特性之一. 函数可以作为另外一个函数的返回值,也是函数式编程的重要特点. 无副作用: 函数的副作用是指在函数调用过程中除了给出了返回值以外还修改了其他函数的外部状态. 申明式: 函数式编程是申明式编程,不再需要提供明确的指令操作,所有细节指令将会更好的被程序库所封装,只要提出要求申明用意即可. 不变的对象: 在函数式编程中,几乎所有传递的对象都不会被轻易修改. 易于并行: 由于对象都…

第四章 锁的优化及注意事项 1.锁性能的几点建议 减小锁持有时间: 系统持有锁时间越长锁竞争程度就越激烈,只对需要同步的方法加锁,可以减小锁持有时间进而提高锁性能. 减少锁的持有时间有助于降低锁冲突的可能性,进而提高锁的并发能力. 减小锁粒度: 减小锁粒度就是指缩小锁定对象的范围,从而减小锁冲突的可能性,进而提高并发能力. 读写分离锁代替独占锁(锁分离): 使用读写锁可以减少操作之间相互等待,可以有效的提高性能.ConcurrentLinkedQueue中take和put方法分别使用了两个锁避免…

第一章 走入并行世界 1.基本概念 同步:同步方法一旦开始,调用者必须等到方法调用返回后,才能继续后续操作 异步:一旦开始,方法调用就会立即返回,调用就可以继续后续操作 并发:表示两个或者多个任务一起执行,偏重于任务交替执行,而多个任务之间还是串行的 并行:真正意义的同时进行 临界区:一种公共资源或者说是共享数据,可以被多个线程使用,但是一次只能一个线程使用 阻塞:等待其他线程释放资源 死锁:都不让出资源 活锁:都让出资源 饥饿:无法获取所需资源 2.并发级别 阻塞:当使用synchronize…

第二章  Java并行程序基础 1.线程的基本操作 线程:进程是线程的容器,线程是轻量级进程,是程序执行的最小单位,使用多线程而不用多进程去进行并发程序设计是因为线程间的切换和调度的成本远远的小于进程. 新建线程:通过new关键字创建一个线程对象,此时线程处于NEW状态,等到线程start()方法被调用时,会让这个线程的run方法执行,线程执行时处于RUNNABLE状态,表示线程所需一切资源都准备好了. 终止线程:使用stop()方法可以将线程终止,已被废弃可能引起数据不一致性,不推荐使用. 线…