【精彩回顾】第二十期CXO直播:企业级日志分析新视角

2019-08-09 15:15:54  来源:24小时澳门在线娱乐sb网

摘要:2019年8月6日下午,第二十期CXO直播间如期开播。本次直播主题为"企业级日志分析新视角",由日志易技术总监王刚为大家分享一些关于日志分析方面的心得。
关键词: 24小时澳门在线娱乐sb CXO
  2019年8月6日下午,第二十期CXO直播间如期开播。本次直播主题为"企业级日志分析新视角",由日志易技术总监王刚为大家分享一些关于日志分析方面的心得。
\
直播合影
 
  2017年6月1日,《中华人民共和国网络安全法》正式实施,对业务系统安全审计提出了新的要求。按照新法规的要求,传统的运维做法及日志分析方式,难以满足合规要求且在运维、安全、存储日志性能等方面存在诸多弊端。网络安全无小事,为什么通过法律的途径作出这种规定,针对新规,王总指出日志的几种价值,一、回溯取证;二、实时监控;三、制作可视化分析报表。所以无论IT还是业务部门,日志数据对其都有特殊的价值。
 
  近几年,随着云计算、澳门星河娱乐在线及AI等趋势及关键技术的不断升级,日志分析技术从过往到现在经历了4个阶段,第一个阶段是最原始的阶段即1.0,数据存储在数据库(如MySQL)里,适合数百台网络设备、主机的Syslog收集,每台每秒10条左右的频率;2.0阶段数据存储在Hadoop里,适合数百TB以上,MapReduce任务运行按小时计的长期计算任务;3.0阶段数据存储在实时搜索引擎里,适合无固定规则的,毫秒至秒级别的查询统计任务;现在比较火的智能运维、智能机器学习是4.0阶段。
 
  针对日志数据处理及发展过程中遇到的共性特点,王总总结出六点:
 
  1.单: 很多企业的业务系统之间是相互独立的,流水号、订单号没办法相互关联;跨业务系统的日志记录分散孤立,难以做出关联分析;
 
  2.散:数百GB甚至TB级别的日志量分布在数百台服务器上,包含数据分布不均的情况;
 
  3.繁:日志种类多,排查一个问题也要针对多种不同格式的日志,一次次重定向文件,这种情况对运维人员而言是个"大灾难";
 
  4.慢:日志系统没有实现实时的日志监控告警,一旦出现问题,不能及时发现问题,同时日志排障消耗很长的时间;
 
  5.难:业务系统多,日志量大,每年都在增加,同时系统间的关联复杂性强,难以实现联动分析,日志价值无法及时得到挖掘;
 
  6.险:日志体系建设不健全,企业日志管理方面面临主机操作风险、敏感信息泄露等安全隐患。这些隐患犹如地雷一般,一招不慎就会引爆。
 
  基于这六个共性特点,王总通过案例演示指出看日志可以从两方面着手,即内在属性和外在属性。内在属性可从时间戳、字段、字段命名等日志内容本身所具备的信息内容的角度,对日志进行分析。外在属性可从来源、归属分类、资产信息等维度来分析。
 
  伴随新的支付方式出现,近年来移动支付蓬勃发展,如何分析、利用海量交易数据,已成为当前支付企业面对的巨大难题。日志作为数据的载体,蕴含着丰富的信息,传统的日志分析方式低效而固化,无法应对数据体量大、格式不统一、增长速度快的现状,在交易出现异常及失败时,更难以满足实时处理、快速响应的需求。
 
  王总引用"知己知彼百战百胜"这古句回应要解决目前面临的问题,可先从如下视角来对日志进行多维度梳理:
 
  1、日志来源维度:将我们手中的日志依次分为操作系统日志、网络安全设备日志、业务系统日志、数据库日志等种类。
 
  2、日志需求维度:明确我们对于日志最为迫切的需求,可以参考日志审计、监控告警、业务统计、关联模型、报表分析、智能运维、安全分析等方面。
 
  3、多样性维度:掌握自己日志是存在编码多样性、多行合并、交叉打印、目录嵌套、日志冗长、快速切分、格式繁多等情况。
 
  从上述维度加以梳理,借助日志工具将会大大降低日志分析系统建设的难度。
 
  本期活动的精彩视频回放已经同步到24小时澳门在线娱乐sb公众号与24小时澳门在线娱乐sbAPP,错过直播的朋友们,也欢迎大家观看回放。

第二十九届CIO班招生
法国布雷斯特商学院MBA班招生
法国布雷斯特商学院硕士班招生
法国布雷斯特商学院DBA班招生
责编:baiyl