如何将大数据分析技术应用于信息安全领域

2020-06-29 科技 80阅读
对于一个数据应用架构来说最重要的是要形成一个完整的数据链,应用和后台计算模型能形成一个闭环。虽然我不懂安全领域的相关算法,只能随意YY,但是几个元素我觉得应该一定少不了:
1.实时性。考虑到请求量压力可能很大,这就意味着对计算系统有很高的要求。对于每个请求要在足够短的时间内通过算法给出判定,实时性应该在ms级别,你说得三个框架里只有storm才能达到这个实时水平。
2.相关性事件。用户的访问行为进行安全判定时可能不只是基于单次访问,而是根据前后几次访问连续事件才能进行判定(犹如一个有限状态机)。而在分布式情况下对于事件顺序的判定是很有难度的事情,这里涉及到分布式系统的时钟问题,需要根据实际情况来做设计。
3.模型训练。分离线和在线两种,离线训练使指每隔一定周期(比如一天)根据存储系统内的历史数据训练计算模型和参数,然后更新判定算法。在线模式是根据用户行为在访问周期内就实时更新判定算法,相对来说后者难度更大一点,但是效果会更好一点。
4.维护和演化。产品级的数据应用不是功能做出来就可以了,所谓道高一尺魔高一丈,我猜想安全领域应该是非常需要向前演化算法策略的。也就意味着,你的系统可能随着系统发展或者相关算法开发人员的研发,需要在实施时接入不同的数据(比如说今天需要实时的x参数作为计算参数,明天需要实时的y参数作为计算参数)。这时候架构要支持快速接入新的监控参数的能力。需要注意的是数据产品不会是一个孤立单一的应用,是一组应用的集合。
声明:你问我答网所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流。若您的权利被侵害,请联系fangmu6661024@163.com