大数据分析与应用研究

摘要：现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。随着大数据时代的来临，大数据分析也应运而生。所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。

关键词：大数据分析；大数据处理；大数据应用

1.大数据分析的含义

大数据正在改变我们工作、生活、饮食、睡眠和娱乐的方式重新定义人与企业及彼此互动的方式，为不同领域的许多类型的公司带来价值。

大数据分析是将描述性的、诊断性的、预测性的和规定性的模型用于数据，来回答特定的问题或发现新的见解的过程。分析技术的范围从告诉决策者最近发生了什么的历史报告，到展望未来、预测即将发生的事件，以及相应的行动路线建议等。大数据分析的第一步是数据的“抽取-转换-加载”这就是所谓的数据处理三部曲。该环节需要将来源不同、类型不同的数据如关系数据、平面数据文件等抽取出来，然后进行清洁、转换、集成，最后加载到数据仓库或数据集市中，使其成为联机分析处理、数据挖掘的基础。它们常常是同步进行的。 2.大数据分析的方法

2.1.大数据分析的五个基本方面 2.1.1.可视化分析

不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。 2.1.2.数据挖掘算法

可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速度。

2.1.3.预测性分析能力

数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。 2.1.4.语义引擎

我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。 2.1.5.数据质量和数据管理

数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。 2.2.大数据处理 2.2.1.采集

大数据的采集是指利用多个数据库来接收发自客户端的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据。

在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。 2.2.2.预处理

虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。 2.2.3.统计

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求 2.2.4.挖掘

与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测的效果，从而实现一些高级别数据分析的需求。

3.大数据分析的应用 3.1.社会需求

随着互联网技术的广泛应用与全面普及，数据洪流汹涌而至。自2008 年《自然》杂志提出“大数据”概念起，大数据技术开始涉及我们日常生活的各个领域。在实际生产、消费等过程中会产生大量的数据，这些数据对指导生产过程、市场宏观调控等发挥着重要的作用。这些数据每天以TB 量级产生，传统的单机数据处理模式难以应对如此量级的大数据，而大数据技术正好能克服单机处理能力不足的问题。

在企业实际应用方面，大数据技术正在与数据挖掘、人工智能等技术融合。以大数据为驱动，以数据挖掘、人工智能技术为指导地新的生产方式正在促进生产力的发展。例如智慧城市利用各种信息技术，将城市的系统和服务集成、融合，以提升资源运用效率，优化城市管理和服务，改善市民生活质量。 3.2.应用

无论是电信行业、快递行业还是传统的媒体行业，激烈的竞争促使这些企业拥抱数据分析，实现数字化转型。但不得不说，数据分析已经逐渐模糊行业之间的界限，从根本上改变企业之间以及企业与客户之间的互动方式。

事实上，大数据的影响并不仅仅限于信息通信产业，而是正在\"吞噬\"和重构很多传统行业，广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中，数据分析的技术与手段更是得到广泛的应用，传统企业如沃尔玛通过数据挖掘重塑并优化供应链，新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析，为用户提供更加专业化和个性化的服务。 结语：

大数据时代的到来，在众多领域掀起变革的巨浪。我们要理性的看到大数据在于为客户挖掘数据中蕴藏的价值，针对不同领域的大数据应用模式、商业模式研究将是大数据产业健康发展的关键。我们相信，在国家的统筹规划与支持下，通过各地方政府因地制宜制定大数据产业发展策略，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。

参考文献：

[1]肖子喻 . 数学算法在大数据分析技术中的应用探究[J]. 数码世界，2019，000（008）：146.

[2]James Moyne，Jimmy Iskandar. 智能制造的大数据分析[J]. 中国电子商情，2020，（）：57-58，60，62.

[3]王岩，杨森，黄岚等. 大数据分析与应用课程体系构建[J]. 计算机教育，2020，（2）：26-29.

[4]王戴林. 通信行业大数据分析及应用①[J]. 科技创新导报，2019，第16卷（21）：145-146.

[5]刘兴惠，李至立，苏家志等. 智能生产过程的大数据分析应用研究[J]. 现代信息科技，2020，（14）：149-152，155.