网信知识栏｜大数据有哪些作用？发展趋势如何？

大数据有哪些作用？

大数据可应用于各行各业，把收集到的庞大数据进行分析整理，实现资讯的有效利用。

在医疗领域，通过大数据记录和分析，能够预测出病人可能产生的症状，工作效率大大提高。大数据分析还能够在很短的时间内解码DNA，预测疾病，帮助医生制定合理的治疗方案。

在交通管理方面，通过对道路交通信息的实时挖掘，能有效缓解交通拥堵，快速响应突发状况，为城市交通的良性运转提供科学决策依据。

在公共安全领域，通过大数据挖掘，可以及时发现人为或自然灾害、恐怖事件，提高应急处理能力和安全防范能力。

大数据的发展，使人们生活水平不断提高，也极大地促进政府的管理模式，有利于节约政府投资、加强市场监管能力、提高政府决策能力、提升公共服务能力。

各行各业均存在大数据，但是众多的信息和咨询是纷繁复杂的，我们需要搜索、处理、分析、归纳、总结其深层次的规律。

大数据技术的运用前景是十分光明的，但也随之带来新的挑战：例如大量数据的集中存储增加泄露风险；一些敏感数据的所有权和使用权没有清晰界定；黑客可收集更多有用信息，大数据分析让攻击更精准等等。

大数据技术发展趋势如何？

2014年以后，整体大数据的技术栈已经趋于稳定，由于云计算、人工智能等技术发展，还有芯片、内存端的变化，大数据技术也在发生相应的变化。总结来看主要有几点发展趋势：

一是流式架构的更替大数据发展趋势，最早大数据生态没有办法统一批处理和流计算，只能采用Lambda架构，批的任务用批计算引擎，流式任务采用流计算引擎，比如批处理采用MapReduce，流计算采用Storm。后来Spark试图从批的角度统一流处理和批处理，Spark Streaming采用了micro-bach的思路来处理流数据。近年来纯流架构的Flink异军突起，由于其架构设计合理，生态健康，近年来发展特别快。而Spark近期也抛弃了自身微批处理的架构，转向了纯流架构Structure Streaming，流计算的未来霸主还未见分晓。

二是大数据技术的云化，一方面是公有云业务的成熟，众多大数据技术都被搬到了云上，其运维方式和运行环境都发生了较大变化，带来计算和存储资源更加的弹性变化，另一方面，私有部署的大数据技术也逐渐采用容器、虚拟化等技术，期望更加精细化地利用计算资源。

三是异构计算的需求，近年来在通用CPU之外，GPU、FPGA、ASIC等芯片发展迅猛，不同芯片擅长不同的计算任务，例如GPU擅长图像数据的处理，大数据技术开始尝试根据不同任务来调用不同的芯片，提升数据处理的效率。

四是兼容智能类的应用，随着深度学习的崛起，AI类的应用越来越广泛，大数据的技术栈在努力兼容AI的能力，通过一站式的能力来做数据分析和AI应用，这样开发者就能在一个工具站中编写SQL任务，调用机器学习和深度学习的算法来训练模型，完成各类数据分析的任务。

（编辑：鹰潭站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!