要解决IT运维和DevOps团队面对的挑战,就是能够在大量的日志数据流中识别潜在的小的有害问题,这正是认知洞察力所做的事情。

  

  接下来的几年里,DevOps(开发软件工程、技术运营和质量保障三者的交集)团队和IT运维部门将面临新的挑战,不过这样的说法听起来不免有些多余,因为他们本身最主要的责任就是要解决困难以及克服挑战。

  随着进程、技术和工具的显著变化,应对这些问题已经变的越来越困难了。此外,企业用户一直在向DevOps和IT运维团队施加压力,要求所有的东西都能通过点击应用程序来得以解决。然而,在后台,处理这些问题完全是另一番景象,用户无法体会发现一个问题是多么的困难,更何况要解决它。

  当前IT运维和DevOps团队面临的最大的挑战之一是能够准确指出在他们工作环境中的大数据流中记录的虽然微小但潜在的有害问题。换言之,这就像在草丛里寻找一根针。

  如果你在一家7天24小时都在线的公司的IT部门工作,下面的场景听起来或许很熟悉:你在半夜突然接到了一个电话,或许是某个怒气冲冲的消费者,也或许是由于应用程序崩溃信用卡交易失败而打过来的你的老板,这时候你会立即去打开你的笔记本电脑、打开日志管理系统,然后你会看到在设定的时间范围内,有10万条消息已经被记录下来了——一个人是不可能将这些数据逐条检查完的。

  因此,遇到这样的情形你会怎样做呢?

  它是一个每一位IT运维专家都会面临的故事,他们度过了许多个不眠之夜,他们在日志条目的海洋中航行,寻找着触发突发事件的关键点。这就是实时、集中的日志分析发挥用武之地的地方。它能帮助这些人弄清楚日志数据的基本面,并准确识别主要问题。通过它,故障诊断的过程变的就像在公园里散步一样简单、有效,同时专家还能够据此预测未来的问题。

  人工智能及其对IT运维和DevOps的影响

  十几年前,人工智能还只是个炒作的概念,但现在已经被出于各种各样的目的的人广泛应用于各行各业了。结合大数据、人工智能和垂直领域知识,技术专家和科学家已经能够创造出惊人的突破和机会,这些以前可只能在科幻小说和电影中看到。

  随着IT运维变得灵活、动态和复杂,人类的大脑已经不再能够跟上大数据流的速度、体积和多样性,这就使得人工智能成为优化分析和决策过程中强大而重要的工具。人工智能有助于填补人类和大数据之间的空白,提供给人类必要的操作智能和速度,大大减轻了人类故障排除和实时决策的负担。

  AI能帮什么忙?

  在上述所有的情况中,有一件事情是共同的,正如讨论一开始所说,这些公司需要一个解决方案,能够帮助IT运维和DevOps团队快速的从堆积如山的日志数据条目中找到问题所在。要识别那条在你工作环境中增添麻烦的并使应用程序崩溃的日志条目,如果你只是单纯知道你的日志数据出现了哪种类型的错误,是不是太简单了些?当然它也会减少一些的工作量。

  一个解决方案是建立一个平台,通过该平台能从互联网上收集各种相关数据、观察人们如何利用类似的装置来解决在他们的系统中出现的问题、以及通过扫描你的系统来识别潜在的问题。实现这一目标的一种方法是建立一个模拟用户如何调查、监视和解决事件并且允许它低估人类与数据交互的方式而不是分析数据本身的系统。例如,这项技术可以类似于亚马逊的产品推荐系统和Google的PageRank算法,但这个是专注于日志数据的。

  引入认知洞察力

  最新的一项技术实现了本文设想的解决方案,这项最近引起了很大反响的技术叫做认知洞察力。这种使用机器学习算法的开创性技术能让领域知识与日志数据、开源存储库、讨论论坛和社会线程相匹配。结合所有的这些信息,IT运维和DevOps团队可能从数据中获取相关洞见,这其中可能包含着关键问题的解决方案。

关键问题的解决方案的概述

  实时的障碍

  DevOps工程师、IT运营经理、首席技术官、副总工程师和首席信息安全官都面临许多挑战,但是通过将人工智能集成到日志分析和相关运维过程中,可以有效地减轻这些挑战带来的压力。我们来举两个最主要的用例:

  •   安全

  分布式拒绝服务(DDoS)攻击正变得越来越普遍,过去的目标只局限于政府、知名网站和跨国组织机构,现在却普遍开始针对知名人士、中小企业和中型企业了。

  为了避免这样的攻击,有一个集中的架构来识别可疑的活动并精确识别来自数千个数据条目的潜在威胁是非常必要的。因此,通过认知洞察力来抵抗DDoS进攻已经被证明是非常有效的。在过去,像Dyn和英航这样的领先公司持续受到DDoS的攻击,不过现在,已经有了一个成熟的、基于ELK的反DDoS攻击策略,以阻止黑客的行动击,并且能够确保他们的操作安全以免受未来的攻击。

  

认知洞察力从成千上万个数据条目中识别到了潜在威胁

  •   IT运维

  在你所有日志的每个条目都经过仔细的检查及登记之后,把他们编译到一个单独的地方岂不是很棒?嗯,的确如此。您将能够清楚地查看流程表,并对来自同一个地方的不同应用程序的日志数据进行查询,这将极大地提高您的IT操作效率。

  要解决IT运维和DevOps团队面对的挑战,就是能够在大量的日志数据流中识别潜在的小的有害问题,这正是认知洞察力所做的事情。由于这个程序的核心是基于ELK的堆栈,所以它可以对数据进行分类和简化,并且可以很容易地对你的IT运维进行清晰的描述。

  

快速找到IT工作中的“针”,并消除主要问题

  集成好的人工智能可以带来收益

  使用AI驱动的日志分析系统使得在杂草中找针变得非常容易而且高效。这样的系统将对整个组织的管理和运营产生巨大的影响。就像上面讨论的公司的问题一样,将AI与日志管理系统集成在一起将会在以下几个方面受益:

  •   提高客户的成功率

  •   监控和客户支持

  •   降低风险和优化资源

  •   使日志数据可访问效率最大化

  换句话说,认知洞察力和其他类似的系统在数据日志管理和故障排除方面有很大的帮助。Rent-A-Center (RAC)是一家总部位于德克萨斯州的财富1000强公司,它提供了各种各样的租赁产品和服务。它在墨西哥、波多黎各、加拿大和美国有超过3000家商店和2000个售货亭,该公司尝试集成两种不同的ELK堆栈,但每天处理100GB数据过于麻烦,更不用提每天花在磁盘管理、内存调用、额外数据输入功能和其他技术问题上的高昂成本和时间成本了。之后RAC转向使用认知洞察,因此他们能够检测未来的异常,并使其能够很容易地扩展不断增长的数据量。他们是从这个管理着内外部ELK堆栈的专注的IT团队中受益的一方。

  开放源码在数据日志管理中的角色

  许多著名的供应商都在积极地研究和测试人工智能,以提高日志数据管理系统的效率。一些供应商如下:

  毫无疑问,ELK正迅速成为一种趋势,越来越多的供应商在提供日志解决方案。这是因为它已经成为企业避免花费前期巨额成本而安装必要程序的好方法了。它还具备一些基本的绘图和搜索功能,并且为了让组织认识到他们日志数据中存在的问题,他们会选择诸如认知洞察力这种最新的技术,来快速找到“针”并消除主要问题。

人工智能是如何改变IT运维和DevOps的?的更多相关文章

  1. 持续化运维 DevOps

            DevOps(Development和Operations的组合词)是一组过程.方法与系统的统称,用于促进开发(应用程序/软件工程).技术运营和质量保障(QA)部门之间的沟通.协作与整 ...

  2. 运维和shell

    什么是运维 术语名词 IDC--(Internet Data Center)互联网数据中心,主要服务包括整机租用.服务器托管.机柜租用.机房租用.专线接入和网络管理服务等.广义上的IDC业务,实际上就 ...

  3. HBase运维和优化

    管理工具 HBase ShellHBase Shell是HBase组件提供的基于JRuby IRB的字符界面的交互式客户端程序,通过HBase Shell可以实现对HBase的绝大部分操作 通过hel ...

  4. DBA_实践指南系列5_Oracle Erp R12日常运维和管理(案例)

    2013-12-05 Created By BaoXinjian

  5. HDFS运维和优化

    常见问题 下面列举HDFS运行过程中可能出现的常见问题及解决方法,这些问题一般都会在日志中出现的相应的记录.Incompatible clusterIDs in … :namenode cluster ...

  6. 阿里云发布CloudOps白皮书,ECS自动化运维套件新升级

    12月10 日,2021云上架构与运维峰会上,阿里云发布业界首部<云上自动化运维白皮书>(简称CloudOps白皮书),并在其中提出了CloudOps成熟度模型.同时,阿里云还宣布了ECS ...

  7. 转- 阿里云、Amazon、Google云数据库方案架构与技术分析

    「一切都会运行在云端」. 云时代早已来临,本文着眼于顶级云服务商云服务商的云数据库方案背后的架构,以及笔者最近观察到的一些对于云数据库有意义的工业界的相关技术的进展,希望读者能有所收获. 现在越来越多 ...

  8. 百度王一男: DevOps 的前提是拆掉业务-开发-测试-运维中间的三面墙

    这是一个创建于 375 天前的主题,其中的信息可能已经有所发展或是发生改变. 由数人云.优维科技.中生代社区联合发起的 系列 Meetup < DevOps&SRE 超越传统运维之道&g ...

  9. 技术沙龙|京东云DevOps自动化运维技术实践

    自动化测试体系不完善.缺少自助式的持续交付平台.系统间耦合度高服务拆分难度大.成熟的DevOps工程师稀缺,缺少敏捷文化--这些都是DevOps 在落地过程中,或多或少会碰到的问题,DevOps发展任 ...

随机推荐

  1. 机器学习-数据可视化神器matplotlib学习之路(四)

    今天画一下3D图像,首先的另外引用一个包 from mpl_toolkits.mplot3d import Axes3D,接下来画一个球体,首先来看看球体的参数方程吧 (0≤θ≤2π,0≤φ≤π) 然 ...

  2. codeforces 352 div 2 C.Recycling Bottles 贪心

    C. Recycling Bottles time limit per test 2 seconds memory limit per test 256 megabytes input standar ...

  3. Python 实现协程

    协程的概念 协程,又称微线程,纤程.英文名Coroutine.一句话说明什么是线程:协程是一种用户态的轻量级线程.(其实并没有说明白~) 我觉得单说协程,比较抽象,如果对线程有一定了解的话,应该就比较 ...

  4. 字符集(编码)转换_Linux

    ZC: 来自 我的项目 czgj 1.代码: #include <stdio.h> #include <iconv.h> #include <string.h> / ...

  5. 2018年全国多校算法寒假训练营练习比赛(第一场)D N阶汉诺塔变形

    https://www.nowcoder.com/acm/contest/67/D 思路: 先手动模拟一下过程,以下是模拟过程,按顺序表示第几步需要移动的盘标号 1 1 2 1 1 2 1 1 3 1 ...

  6. Win10安装Mysql5.7数据库

    Win10安装Mysql5.7数据库 最近做个demo在自己本地装了一个mysql5.7,有些小麻烦记录一下. 安装环境:系统是 windows 10 1.官网下载 下载地址:https://dev. ...

  7. Python递归遍历《指定目录》下的所有《文件》

    https://www.cnblogs.com/dreamer-fish/p/3820625.html

  8. java生产条形码

      一.通过JBarcode(此种方式可以隐藏掉条形码下面的字符串)   1.下载jar包  jbarcode-0.2.8.jar  目前maven中央仓库并没有jbarcode的坐标  如果是mav ...

  9. Windows 平台安装 MongoDB

    官方文档:https://docs.mongodb.com/manual/tutorial/install-mongodb-on-windows/ 系统环境:win7 MongoDb:mongodb- ...

  10. Multi-target tracking by Lagrangian relaxation to min-cost network flow

    Multi-target tracking by Lagrangian relaxation to min-cost network flow high-order constraints min-c ...