计算机数据

大量的数据流,不断增长的来源,蕴含着巨大的价值

在 Splunk,我们大量谈及计算机数据。这些数据是指在数据中心、“物联网”和互联设备世界中运行的所有系统产生的数据。其中包括支撑组织的应用程序、服务器、网络设备、安全设备和远程基础结构所产生的全部数据。

计算机数据包含明确的记录,其中涉及您的客户、用户、交易、应用程序、服务器、网络、工厂机器等的所有活动和行为。它不仅仅包含日志,还包括配置数据、API 和消息队列数据、更改事件、诊断命令输出和呼叫详细记录、远程设备传感器数据等等。

Splunk 软件用户知道有成千上万种不同的计算机数据格式。以有意义的方式来分析这些数据,对于诊断服务问题、检测复杂的安全威胁、了解远程设备的健康状况以及展示合规性至关重要。

以下是一些最重要的计算机数据源,以及它们的具体内容。记住,这个列表仅仅是起点。每个环境都有其独特的计算机数据空间。哪里会是您尚未涉足的计算机数据机会?


 

应用程序日志

大多数内部开发和打包的应用程序通常通过日志框架(如 log4j 或 log4net)、应用程序服务器(如 WebLogic、WebSphere 和 JBoss)内置的日志服务或 .Net、PHP 等来写入本地日志文件。这些文件对开发人员和应用程序支持人员日常调试生产应用程序至关重要。它们通常还是报告业务和用户活动以及发现欺诈情况的最佳方法,因为其中包含所有交易细节。如果开发人员将计时信息写入日志事件,它们还可以用来监视并报告应用程序性能。

业务流程日志

复杂事件处理和业务流程管理系统日志是业务和 IT 相关数据的宝库。这些日志通常包含多种不同渠道(如 Web、IVR/联络中心或零售)中客户活动的明确记录。它们可能包含客户购买记录、帐户变化和故障报告。计算机数据与应用程序、CDR 和 Web 日志相结合,可用于实现全面的业务活动监视。

呼叫详细记录

呼叫详细记录 (CDR)、计费数据记录、事件数据记录都是电信和网络交换机所记录事件的名称。CDR 包含经过交换机的呼叫或服务的有用详细信息,如发起呼叫的电话号码、接收呼叫的电话号码、呼叫时间、呼叫时长、呼叫类型等。随着通信服务转移到基于 Internet 协议的服务,这些数据也被称为 IPDR,其中包含诸如 IP 地址、端口号等详细信息。这些文件的规格、格式和结构差别很大,要跟上所有这些序列向来都颇具挑战性。然而,它们包含的数据对于计费、收入保证、客户保证、合作伙伴结算、营销情报等极为重要。Splunk 软件可以快速地为这些数据建立索引,并将它们与其他业务数据相结合,以使用户能够从这些丰富的使用信息中获得新的深入见解。

点击流数据

在点击流数据中捕获用户在 Internet 上的活动。这可以提供有关用户的网站和网页活动的深入见解。这些信息对于可用性分析、营销和一般性研究非常有价值。这些数据的格式是非标准的,而且操作可能在多个位置中记录,如 Web 服务器、路由器、代理服务器、广告服务器等。现有监视工具仅查看来自特定来源的部分数据视图。现有的网站分析和数据仓库产品通常仅对数据采样,缺少完整的行为视图,并且不提供实时分析。

配置文件

要了解基础结构的设置情况,实际、有效的系统配置具有不可替代的作用。当调试过去发生过且将来可能再次发生的故障时,需要用到过去的配置。当配置发生改变时,需要知道更改内容和时间、更改是否经过授权,以及是否有成功的攻击者在系统中植入后门、时间炸弹或其他潜在威胁。

数据库审计日志和表

数据库包含一些最敏感的公司数据,如客户记录、财务数据、患者病历等。要弄清谁在何时访问或更改了哪些数据,获得所有数据库查询的审计记录非常重要。数据库审计日志还有助于弄清应用程序对数据库的使用方式以优化查询。某些数据库采用审计记录日志文件,而另一些数据库则是维护审计表,并可通过 SQL 进行访问。

文件系统审计日志

有些敏感数据不在数据库中,而在文件系统中。在诸如医疗保健等行业中,最大的数据泄露风险是位于共享文件系统中的消费者记录。不同的操作系统、第三方工具和存储技术在文件系统级别上提供了不同的敏感数据读取访问审计选项。这些审计数据是监视和调查敏感数据访问的重要数据源。

管理和日志 API

许多供应商越来越多地通过标准化和专有 API(而不是记录到文件)来显示重要管理数据和记录事件。Checkpoint 防火墙通过 OPSEC Log Export API (OPSEC LEA) 来记录日志。诸如 VMware 和 Citrix 等虚拟化供应商通过自有 API 来显示配置、日志和系统状态。

消息队列

消息队列技术(如 JMS、RabbitMQ 和 AquaLogic)用于在基于发布/订阅模式的服务和应用程序组件之间传输数据和任务。订阅这些消息队列是在复杂的应用程序中调试问题的好方法,因为您可以清楚地看到链中下一个组件从前一个组件接收到的内容。另外,消息队列越来越多地被用作应用程序日志架构的骨干。

操作系统指标、状态和诊断命令

操作系统可以通过命令行实用工具(例如 Unix 和 Linux 上的 ps 与 iostat,以及 Windows 上的性能监视器)来显示如 CPU 和内存利用率等关键指标和状态信息。这些数据通常被服务器监视工具利用,但很少存储,尽管它们对于故障排除、分析趋势以发现潜在问题和调查安全事故可能很有价值。

数据包/流量数据

由网络生成的数据使用诸如 tcpdump 和 tcpflow 等工具进行处理,以生成 pcap 或流量数据以及其他有用的数据包级和会话级信息。这些信息对于处理那些表明网络可能受到威胁或成为远程攻击对象的性能降级、超时、瓶颈问题或可疑活动等是必需的。

SCADA 数据

监视控制与数据采集 (SCADA) 是一种工业控制系统 (ICS),它们从诸如能源、交通、石油和天然气、供水和废物控制等行业的设备中收集并分析实时数据。这些系统生成有关组件状态、运行、使用和通信等的大量数据。这些数据可以用来确定 SCADA 基础结构中的趋势、模式和异常情况,并用于产生客户价值。例如,捕获智能电网电表数据可以使客户能够通过工具、程序和服务更好地了解其用电情况,以有针对性地帮助他们节能、省钱和减少对环境的影响。

传感器数据

不断扩大的传感器设备网络生成基于监测环境条件(如温度、声音、压力、功率、水位等)的数据。通过收集、汇总和分析这些数据并采取相应行动,将产生广泛的实际用途,其示例包括:水位监测、机器运行状态监测和智能家居监控。

Syslog

来自您的路由器、交换机和网络设备的 Syslog 记录了网络连接状态、关键网络组件故障、性能和安全威胁。它是计算机数据日志记录的标准。接触这些数据意味着进入广泛的各类设备以执行故障排除、分析、安全审计。

Web 访问日志

Web 访问日志报告 Web 服务器处理的每个请求 -- 客户端 IP、请求的 URL、引用的 URL,以及有关请求成功与否的数据。它们最常被处理用来生成营销相关的网站分析报告,如每日访客计数、请求最多的网页等。还可以定制以包括诸如会话 ID 或自定义 HTTP 标头等内容。

它们的重要性还体现在可作为调查用户报告问题的起点,因为失败的请求日志能够确定准确的出错时间。Web 日志相当标准化且结构合理。唯一的挑战是其巨大的数量,繁忙的网站每天通常会经历数十亿次的点击量。

Web 代理日志

几乎所有为其员工、客户或访客提供 Web 访问的企业、服务提供商、机构和政府组织都会使用某种类型的 Web 代理来控制和监视访问情况。Web 代理记录用户通过代理发出的每个 Web 请求。其中可能包含公司用户名和点击的 URL。这些日志对于监视和调查“服务条款”滥用或公司网站使用政策至关重要,并且也是有效监视和调查数据泄露的重要组成部分。

Windows 事件

Windows 存储了有关 IT 环境、使用模式和安全状况的丰富信息。所有信息都存储在 Windows 事件日志应用程序、安全和系统上。这些日志对于了解组织的健康状况至关重要,并且可以帮助检测业务关键型应用程序、安全信息和使用模式相关问题。

机器数据的价值 - Web 访问日志和数据库审计日志的更多相关文章

  1. ABP大型项目实战(2) - 调试与排错 - 日志 - 查看审计日志

    这是<ABP大型项目实战>系列文章的一篇.   项目发布到生产环境后难免会有错误. 那么如何进行调试和排错呢?   我看到俱乐部里有人是直接登陆生产服务器把数据库下载到开发机器进行调试排错 ...

  2. ABP开发框架前后端开发系列---(7)系统审计日志和登录日志的管理

    我们了解ABP框架内部自动记录审计日志和登录日志的,但是这些信息只是在相关的内部接口里面进行记录,并没有一个管理界面供我们了解,但是其系统数据库记录了这些数据信息,我们可以为它们设计一个查看和导出这些 ...

  3. Spring cloud微服务安全实战-3-9API安全机制之审计日志

    首先说一下审计日志的处理.审计日志处理的位置,应该是在认证之后,授权之前.因为只有你在认证之后,你才能知道这个请求到底是谁发出来的,谁在做这个事情.在这个授权之前,这样的话那些被拒绝掉的请求.在响应的 ...

  4. Kubernetes审计日志方案

    前言 当前Kubernetes(K8S)已经成为事实上的容器编排标准,大家关注的重点也不再是最新发布的功能.稳定性提升等,正如Kubernetes项目创始人和维护者谈到,Kubernetes已经不再是 ...

  5. Eventlog Analyzer日志管理系统、日志分析工具、日志服务器的功能及作用

    Eventlog Analyzer日志管理系统.日志分析工具.日志服务器的功能及作用 Eventlog Analyzer是用来分析和审计系统及事件日志的管理软件,能够对全网范围内的主机.服务器.网络设 ...

  6. 最全Kubernetes审计日志方案

    前言 当前Kubernetes(K8S)已经成为事实上的容器编排标准,大家关注的重点也不再是最新发布的功能.稳定性提升等,正如Kubernetes项目创始人和维护者谈到,Kubernetes已经不再是 ...

  7. .Net Core 审计日志实现

    前言: 近日在项目协同开发过程中出现了问题,数据出现了异常:其他人员怀疑项目数据丢失程序存在问题.于是通过排查程序提供的审计日志最终还原了当时操作及原因. 可见审计日志在排查.定位问题是相当有用的,那 ...

  8. 可视化分析 web 访问日志

    内容目录 Python 基础 使用模块介绍 可视化组件 echarts 介绍 Web 访问日志 代码解读 讲师:KK 多语言混搭开发工程师,多年 PHP.Python 项目开发经验,曾就职 360.绿 ...

  9. Centos下Nginx配置WEB访问日志并结合shell脚本定时切割

    在一个成熟的WEB系统里,没有日志管理是不可以的,有了日志,可以帮助你得到用户地域来源.跳转来源.使用终端.某个URL访问量等相关信息:通过错误日志,你可以得到系统某个服务或server的性能瓶颈等. ...

随机推荐

  1. EF更新,数据库值变化,前台页面并不变化,刷新也不变化,重新运行程序则变化----开发中遇到的问题(已解决)

    首先说一下我遇到这个情况的代码情景,首先上错误代码 UserInfo userInfo = Session["UserInfo"] as UserInfo; ); 这段代码所呈现的 ...

  2. 记一次ckeditor上传图片到服务器问题

    package com.util;import java.io.IOException; import java.io.PrintWriter; import java.util.List;impor ...

  3. jsp--- jsp图片上传到了正确路径,但在正确路径显示不出来

    首先要说的是,路径里没有中文 图片也在正确路径 ************************************ 刷新(Refresh)一下项目

  4. [调整] Firemonkey TEdit 避免按下立即弹出键盘的问题

    目前 Firemonkey 有一个问题,就是在 Edit 按下会立即弹出键盘,在红鱼儿的博客也提交了 QC: http://blog.sina.com.cn/s/blog_44fa172f0102vy ...

  5. PHP组件化开发

    设计思想中有两种极端:大而全.小而美. 一般我们常用的库是小而美,用的框架是大而全.从Symfony实现Component式开发开始,框架的组件化逐渐成为趋势.我们可以任意的组合各种Compoent来 ...

  6. 原生态的ajax 及json和gson学习资源

    @RequestMapping(value = "/{id}/view") @jsobody public String viewProject( @PathVariable(&q ...

  7. Scalaz(10)- Monad:就是一种函数式编程模式-a design pattern

    Monad typeclass不是一种类型,而是一种程序设计模式(design pattern),是泛函编程中最重要的编程概念,因而很多行内人把FP又称为Monadic Programming.这其中 ...

  8. POJ 1061 青蛙的约会 扩展欧几里得

    扩展欧几里得模板套一下就A了,不过要注意刚好整除的时候,代码中有注释 #include <iostream> #include <cstdio> #include <cs ...

  9. opencart二次开发小记

    在controller中如果要调用model中数据或说方法可以这样写 $this->load->model('catalog/information');//model中的informat ...

  10. Node.JS模块系统

    1.什么是模块? 为了让Node.js的文件可以相互调用,Node.js提供了一个简单的模块系统. 模块是Node.js 应用程序的基本组成部分,文件和模块是一一对应的.换言之,一个 Node.js ...