在大数据背景下,数据的采集、分析、处理较之传统方式有了颠覆性的改变。
1. 传统数据
数据产生方式:被动采集数据。
数据采集密度:采样密度较低,采样数据有限。
数据源:数据源获取较为孤立,不同数据之间添加的数据整合难度较大。
数据处理方式:大多采用离线处理方式,对生成的数据集中分析处理,不对实时产生的数据进行分析。
2. 大数据
数据产生方式:主动生成数据。
数据采集密度:利用大数据平台,可对需要分析事件的数据进行密度采样,精确获取事件全局数据。
数据源:利用大数据技术,通过分布式技术、分布式文件系统、分布式数据库等技术对多个数据源获取的数据进行整合处理。
数据处理方式:较大的数据源、响应时间要求低的应用可以采取批处理方式集中计算;响应时间要求高的实时数据处理采用流处理的方式进行实时计算,并通过对历史数据的分析进行预测分析。
评论留言