去重,通常为去重计算、页面去重。
去重计算指在不同的时间维度内,重复一个行为产生的数据只计算一次,按照时间维度去重包括按小时去重、按日去重、按周去重、按月去重或按自选时间段去重。
例如:访客数的去重计算是,同一个访客在所选时间段内产生多次访问,只记录该访客的一次访问行为,访客数进记录为1。若选择的时间维度为“按天”,则同一个访客在当日内产生的多次访问,访客数记录为1。
扩展资料:
应用数据去重技术的好处:
1、节省存储空间。通过重复数据删除,可以降低需要的存储介质数量,进而降低成本。还可以使基于硬盘的存储系统成本低于磁带库,同时提供更好的性能。因此,支持数据去重技术的存储系统,适合用来做数据的备份。
2、提升写入性能。磁盘的写入性能是有限的,通常顺序写入在100MB/s左右,如果在写入数据的时候就进行数据去重,可以避免一部分的数据写入磁盘,从而提升写入性能。
3、节省网络带宽。如果在客户端进行数据去重,仅将新增的数据传输到存储系统,可以减少网络上的数据传输量,从而节省网络带宽。
参考资料来源: