武汉360搜索推广总公司360CTO详解天眼到底是怎么样创新的?
 

     近日,360隆重发布了国内首款基于大数据的安全产品---360天眼。这一比肩、甚至超过美国火眼公司APT防护产品的产品,究竟有哪些创新? 下面是360企业安全集团CTO谭晓生在发布会上演讲,从中可以了解天眼的独特创新。


  天眼产品实际已存在了两年多时间。到这次发布之时,天眼产品已经经历了脱胎换骨的变化:原来做未知漏洞、0day未知漏洞的发现,到现在我们用一个词叫看见。如果安全是数据,它一定是海量数据。最重要的是你在数据里能找到、看到里面的安全威胁。


  APT并不遥远


  很多人都会觉得APT离自己比较遥远,自己身边有没有APT。2014年到现在,我们看到周边的APT还是比较多的,只是活跃的APT,哪怕身在特殊敏感部门的这些人本身也不是特别的清楚。这是我们列出来的7个从2014年到现在依然非常活跃的APT。


  APT攻击的一个特点是它攻击的目标不见得范围会很广。比如,在我们命名为APT-C-00的APT攻击中,国内感染量才1047个,但大家知道这是整个系统被连锅端掉的情况,从部委到研究所,到下面的企业和院校,覆盖了全国29个省的攻击,它感染的机器数量只有1000多台,但是造成的后该非常严重。


  而名为APT-C-06的APT攻击中,最后的感染量只有4个。去年破获的另一个APT攻击感染的数量只有6个,但它造成的后果非常严重。影响的行业涉及到政府、海洋、海事,还有科研机构,还有非常、和国家安全有关的科研人士。这从已经看到,所泄露的信息来讲是非常触目惊心的。


  APT本身就是在我们身边,我们现在所观察到的APT覆盖几乎覆盖了中国每个省份,目前发现的免杀木马超过10个,覆盖从Windows到Mac、到Andriod,普通用户觉得Mac下的病毒相对比较少,但是对于APT攻击来说,Mac同样也是重点攻击对象,因为一些高端人士喜欢用Mac,觉得Mac很安全。其实Mac下的安全软件很缺乏。这些攻击就是针对这些敏感的行业和用户。


  在攻击案例里面,有60%的攻击案例,攻击者仅仅需要几分钟就需要得手,因为攻击发起之前已经经过了充分的准备。70%~90%的恶意样本都是有针对性的,这是APT攻击的特点。75%的攻击会在一天之内从一个受害者扩大到其他的受害者,第一个用户中招,再从内部攻击其他人就会容易得多。


  传统防护模式失效


  在APT攻防的对抗中,我们说传统的防护模式均已失效。有人会把这句话推到极端:说传统的防护没用。这里讲传统的防护不是没有用,是认为传统的防护模式,面对未知威胁攻击遇到非常大的挑战。对传统的威胁,防火墙、IPS、IDS等产品通过特征方式进行防护,防护效果是可以的。


  APT攻击是针对于少数人,针对某些用户定制的攻击。传统防护系统的设计不是用来检测未知威胁的,而是对已经发现的威胁进行有效的拦截。但APT攻击则通过木马测试的方式,绕过防病毒的特征库、IPS签名库,甚至可以穿透沙箱,做沙箱逃逸。


  在这种情况下,对APT攻击的防护,就像从森林里面所有的树叶里面挑出其中一片树叶,是大海捞针的工作。在这种情况之下怎么做? 那就用大数据的方法。因为做攻击的人,他的行为和正常的用户一定有区别。


  天眼产品不完全是一个盒子。它包括两部分东西。一是企业侧的东西,也就是采集设备。它们负责把流量、应用程序行为数据、安全设备日志等采集下来,这包括各种行为的告警数据、已有安全系统告警数据、邮件传输情况、邮件记录,主机对外访问都有什么等。采集到数据之后,会把它送到大数据引擎存储下来,并且有能力进行快速的检索和计算。


  然后还会有一个重沙箱。要了解采集的文件是不是特殊定制的木马,我们会把它跑到重沙箱里面跑一下。在重沙箱里面可以知道这个文件的行为。在用户的机器里面是一种情况,在沙箱里面跑是一种情况,这两种情况如果不一样,还是异常。


  除了大数据引擎之外,还有天眼的分析平台。天眼的分析平台就是把所有流量、所有文件、所有用户行为数据颠过来倒过去计算,找出用户不正常的行为。能提供这些流量、域名的情况,或恶意文件的样本,和别的样本有什么同源性,这就是所谓的威胁情报。将企业自己内部所探测到的信息和威胁情报库做关联分析,能够帮你快速定位出企业网络里是否出现异常的情况。这是整个工作原理:一部分把企业内部信息收集,二是基于更大数量的威胁情报。


  天眼的三大创新


  天眼的创新主要有以下三个方面:


  一是大数据的安全分析。360有80亿的样本、有DNS的基础数据等。数据会被放在大数据引擎里进行存储和计算。这里面已经用了机器学习技术在里面。我们从2009年就开始用,还有几百亿到几千亿条数据进行快速检索的搜索数据,有进行关联分析数据,还有可视化的分析数据。可视化还可以用来发现,就是帮助做分析的工作人员,在几百亿、几千亿条数据里快速建立关联,进行互动分析的系统也是可视化。此外还有沙箱集群,对海量的数据进行检测。


  在这之上最终是人。今天的网络攻防,本质上还是人和人之间的智力对抗。最后有攻防经验的人接手,我们会有做漏洞挖掘的人去找漏洞、有去做恶意,代码分析的人去分析样本、有做攻击分析的人来分析整个攻击的方式,以及会有威胁情报的跟踪团队我们现在采集了全球的威胁情报信息回来:在什么地方发生了什么样的攻击,能比国内的媒体提前12个小时抓到这样的信息。


  二是威胁情报方面。对APT攻击,最终是有能力找到哪个组织做的。这些组织会有一些特点,比如它的木马有什么特征。因为程序员也偷懒,写木马也不是每次都从零开始,每次还是会复制以前的一些代码,这样做木马的同源性分析都可以。此外,一个组织往往有自己的任务,比如攻击某个系统,它可能很长一段时间专门攻击这个系统。它的攻击有自己的目的性。天眼的威胁情报不仅仅包含APT攻击自身的感染指标,还可以输出攻击的覆盖行业,受害数量等攻击背景信息。


  第三是分布式搜索技术。 360在企业本地采用了分布式搜索技术,通过搜索引擎打通了数据采集到数据搜索,关联分析等多个环节。企业有几百亿、几千亿条数据时,数据的快速检索和关联变得非常重要。要做到秒级以下,对数据进行快速的检索和关联。因为企业攻击分析人员的时间是非常宝贵的。他们在进行互动分析时,不可能让它的思路中断,不能做半小时再出结果,然后再搞下一步。我们架设了一个搜索的架构,可以支持千亿级的数据,可以在秒级进行查。


  天眼的三大价值


  天眼产品所实现的技术突破,对用户的价值是什么?


  第一准确发现APT。可以做到零误报。


  只要告诉用户是APT,基本上就是APT了。在所有前面的分析当中,已经在关联分析当中把其他所有的可能都排除了,能够清楚知道它是APT攻击。它中间的云端基于大数据的情况下来之后,在正常和APT攻击界限之间,这个界限是非常清楚的。


  这种准确源于强大的技术与安全数据储备。


  360在云端拥有海量的安全数据。DNS库拥有40亿DNS解析记录,每天新增2000万; 样本库总样本80亿,每天新增500万;360 URL库每天处理100亿条,覆盖国内60%客户端;漏洞库总漏洞数超过4万,每天新增可达100个。可疑行为库,覆盖5亿客户端,总日志数6000亿条,每天新增10亿。


  360拥有云端强大的计算能力。360大数据的存储服务器已经超过4万台,有效的存储量接近1EB,每天新增超过1PB,每天各种数据计算任务是10万个,每天处理数据量是10PB,每一分钟我们可以调动几十万个CUP内核参加计算,具备每秒处理1PB数据的能力。


  高级分析技术。 在准确性来讲,QVM引擎是2010年开始投入使用的,2009年年底开发,2010年使用,这是全世界第一个利用大数据技术来做恶意事件识别的技术引擎,这是静态引擎,拿到文件不让它跑,直接扔进去,可以告诉你有多少概率是坏的,有多少概率是好的,迄今为止是检测率最高的引擎,这是基于机器学习的算法来做的引擎。 在过去两年方面我们深度学习方面做了很多的工作。搭建了高性能GPU并行计算平台,专门用于深度学习,如未知协议识别、同源性域名发现等。


  关联与可视化分析。我们做可视化的目的不是为了展示给领导看,领导当然需要有一张图看,作为领导来讲我们需要高效的可视化分析,我们做的可视化目的是为了发现。


  第二、快速搜索本地异常


  每一条威胁情报都可能需要在成百上千亿条日志中关联搜索,每一次攻击事件都可能关联到上百TB数据中的其中几条,如果无法快速,一切APT发现的说法都是空谈。


  在本地的异常库的检索能力来说,360现在具备在秒级检索300TB的日志数据的能力,这样的传统关系型数据库在这里是基本上不现实的。在快速进行所有的分析,每一条安全威胁需要在几百亿、上千亿条里面进行数据分析,如果速度跟不上,对检索APT是几乎不可能的。


  第三、可回溯历史行为


  把数据存起来进行分析,目的是为了进行回溯。对于APT来说,假设别人能攻进来,你要想有能力防住所有的APT,在安全行业会冲你笑一笑,说谁敢吹这个牛自己不会被搞破,假设会被搞破,我们第一时间发现,我要能回溯,要能溯源,知道谁搞我,它每一步进来都是怎么搞,等等这些东西,然后再去做相应的反制的手段。


  安全人员的理想虽然是防患于未然,把威胁拒绝域国门之外,但是现实做不到,现实是在防御、检测、回溯之间找到一个平衡点,回溯能力是最基本的要具备的能力。


  从下面这个第三方的统计图可以看到,在从2004年--2014年,以天为单位能搞定一个目标的比例是增加的,现在快到100%了。在多长时间发现被攻击的方面,在以天为单位之间是否有能力发现,这两个百分比之间差别很大。在数天之内攻破的概率在提高,检测的能力也在提高,但是一个在25%以下,一个接近100%。被攻破之后的检测仍然是很大的挑战,花费的时间还是很长。在这样的情况下,攻击溯源能力也是不得不具备的能力。

    湖北武汉360搜索推广总代理-武汉奇搜科技有限公司  联系电话:027-65386360



湖北奇好信息技术有限公司
商务总机:027-65386360
24小时服务热线:153-2715-4450(值班)
地址:武汉市洪山区民族大道124号龙安港汇城A座18层
版权所有:湖北奇好信息技术有限公司 鄂ICP备20010192号 COPYRIGHT 2013-2022 Inc.All Rights Reserved