专家：中国如何应对大数据时代的挑战

从小数据到大数据“大数据”是一股新的技术浪潮，也是逐步形成的历史现象，其具体是指随着信息存贮量的增多，人类在实践中逐渐认识到，通过数据的开放、整合和分析，能发现新的知识、创造新的价值，从而为社会带来“大科技”、“大利润”、“大智能”和“大发展”等新的机遇。大数据概念的提出，可以追溯到1980年代，但其“数据”二字却和我们传统的理解有所不同。传统意义上的“数据”，是指“有根据的数字”，但在进入信息时代之后，“数据”二字的内涵在扩大，它不仅指代“数字”，还统称一切保存在电脑中的信息，包括文本、声音、视频等。更重要的是，随着信息技术的进步，其数量在爆炸，特别是新媒体出现之后，数据的收集、保存、维护、使用等任务，成为横跨各个领域的现象和挑战。大数据之“大”，并不在于其表面的“大容量”，而在于其潜在的“大价值”。有很多例子可以证明，由于新工具的出现，我们从以前的小数据当中也能发现大的价值。例如，美国把二十多年的犯罪数据和交通事故数据映射到同一张地图上后惊奇地发现，无论是交通事故和犯罪活动的高发地带，还是两者的频发时段，都有高度的重合性。这引发了美国公路安全部门与司法部门的联合执勤，通过共治数据“黑点”，交通事故率和犯罪率双双降了下来。再例如，最近有学者将白宫200多年总统洗衣服的记录电子化，然后进行分析，也得出了一些新的结论。这些数据，都是地道的小数据。这说明，小数据只要在纵向上有一定的时间积累，在横向上有细致的记录粒度，再和其他数据整合，就能产生大的价值。从这个角度来看，大数据也可以理解为针对某个对象在时空两个维度上的“全息”数据。这种“全息”，在大数据的时代还表现为“多源”，即有多个源头在从不同方向对同一个对象进行数据记录，数据之间互相印证。另外，从全球数据技术投入的资金分布来看，传统的小数据仍然占据绝对的重头。据国际数据集团(IDG)统计，2012年，全球对小数据分析工具的投资为349亿美元，而对大数据分析工具Hadoop的投资仅为1.3亿美元，不及前者的1%。IDG的结论是，传统的小数据软件满足了企业和组织95%的需求。目前行业发展的最新态势，是“大”、“小”数据分析工具趋于一体化并在向“云”迁徙。