数据与智能 本公众号关注大数据与人工智能技术。由一批具备多年实战经验的技术极客参与运营管理，持续输出大数据、数据分析、推荐系统、机器学习、人工智能等方向的原创文章，每周至少输出7篇精品原创。同时，我们会关注和分享大数据与人工智能行业动态。欢迎关注。

作者 | 橙子

校对 | gongyouliu

编辑 | auroral-L

全文共1457字，预计阅读时间15分钟。本文的视频版本如下，欢迎关注并观看。

小伙伴们大家好呀，欢迎来到数据与智能小课堂~

今天的课程内容为《大数据基础入门介绍》。

本次内容将分为三个部分为大家讲解：大数据的概念、大数据技术和大数据的应用。

1. 大数据的概念

现在在我们的日常生活中，随时能听到”大数据“这个词，那么什么是大数据呢？关于这个问题，现在普遍认可的是“4v”说法；4v就是volume数据量大，variety数据类型多，velocity数据处理迅速和value数据价值密度低。

① volume：

从20世纪90年代到21世纪初的20年时间里，全球数据量增长了100倍。而随着移动互联网的发展，人们可以随时随地的在微博、微信、知乎、博客等等社交平台上发表各种信息。与此同时，物联网的快速发展使得各种传感器也能产生巨大的数据量，如打开手机GPS会产生定位数据，随处可见的摄像头会产生庞大的视频数据等等。数据量已经从TB级别上升到PB、EB甚至ZB级别。有学者预测，到2020年全球将总共拥有35ZB的数量。

②variety：

数据类型包括结构化数据和非结构化数据。结构化数据一般是指存在关系数据库中的数据；非结构化数据种类就很多了，包括图片数据、音频数据、视频数据、定位数据、日志数据等等。如今，结构化数据仅仅占10%左右，剩下的约90%都是非结构化数据。

③velocity：

数据量庞大并且增长迅速，举例来说，推特每分钟可以产生至少十万条推文，微博每分钟能产生的信息量是2万+。因此数据的处理速度也必须非常迅速。

④value：

数据具有价值，但是数据的价值密度的高低与数据总量是成反比的。也就是说在海量的数据中有价值的信息都是分散的，很难找到有价值的信息。

2. 大数据技术

谈论大数据技术的时候，我们首先要了解大数据处理的基本流程。

大数据处理的基本流程包括五个阶段：从数据采集→数据预处理→数据存储→数据分析→数据可视化。这其中的每个阶段都涉及很多相关技术，因此我们认为大数据技术是多种技术的集合。

数据采集：如爬虫工具、日志采集工具等等。

数据预处理：采集到的数据一般不会直接拿来使用，可能会存在数据值得缺失、丢失或者语义不清晰等等情况，因此要进行数据预处理。包括数据清洗、转换、整合等等。

数据存储：分布式文件系统、关系数据库、NoSQL数据库等等

数据分析：分布式并行编程模型、机器学习等等

数据可视化：Excel、Echarts、Gephi等等

大数据分析技术很多源于云计算技术。这里主要介绍云计算的三个关键技术：

①虚拟化技术：是指在一台计算机上可以同时运行多个虚拟计算机，每个虚拟计算机上可以安装不同的操作系统。常见的虚拟化技术如VMWare、virtualbox等等。

②分布式存储技术：是指将一个很大的文件分成很多文件块，然后分散存储在不同的机器组成的集群中。如GFS,谷歌的分布式文件系统，以及后面会介绍的HDFS(Hadoop Distributed File System)，它是GFS的开源实现。

③分布式计算技术：谷歌公司提出的并行编程模型MapReduce，可以把一个大的数据集切分成很多小的数据集，然后分散到不同的机器上同时处理，极大地提高了处理数据的效率。

3. 大数据的应用

大数据已经渗透到社会生活的方方面面，如政府部门、金融行业、互联网行业、电信行业、医疗行业、物流行业、餐饮行业等等。

举例说明：

①政府部门可以利用大数据技术做“舆情分析”，帮助政府部门监测网络舆论，预测话题发展趋势，从而协助政府做决策。

②金融行业中，企业可以利用大数据分析市场行情，判断价格走势和交易点等等。

③互联网、电信等行业，可以利用大数据技术分析用户行为，构建用户画像，基于此做出更满足用户喜好和需求推送和服务。

欢迎扫描二维码关注数据与智能微信公众号，获取更多好内容，我们下次见~