大数据平台“存算分离” 的架构优化

2021年完成大数据平台从二长机房迁移至溧阳机房后，大数据集群规模增长趋缓，集群的计算资源长期处于十分紧张的状态。传统的基于“存算一体”的大数据架构已无法解决目前大数据平台“计算资源相对存储资源不足”的问题，省IBOC引入“存算分离“架构，在部分重点应用上进行了深入试点，并取得了满意效果。

一

利用内存计算技术提升原有hive过程的执行效率

在现有大数据平台中进行局部计算资源与存储资源分离，通过外挂多个小规模的presto集群来实现原有集群的计算资源的针对性扩充。由于Presto基于内存的大规模并发SQL计算，处理效率大幅领先基于MR/Tez的Hive引擎。同时由于内存计算本身并不存储数据，因此数据仍然写回HDFS，可实现与后续Hive任务无缝衔接；经过测试，试点的核心任务改造后的运行效率比原先hive任务均提升至少50%，提速效果明显。

为了解决核心任务随着计算资源日益紧张导致的延迟问题，首先将大数据夜间核心调度部分核心节点的任务改为presto任务后，整体核心调度的完成时间由原先的3点多提升到了2点多，提速超50分钟，保障了集团上传的提速加分和后续重点应用的及时性。

Presto内存计算优势在防诈应用中得到了广泛运用，使得防诈任务日处理时长由改造前的336分钟提速到了116分钟，效率提升超过了65%。

二

利用内存计算技术实现跨异种数据库的关联处理，优化数据应用的处理流程

传统“存算一体”的大数据架构要求数据在关联处理前需要先“入湖”，只有经过导入到HDFS中的数据才能被Hive进行跨表关联。这导致了各类基于大数据平台数据和应用系统内数据进行综合处理的应用流程较为复杂，需要额外增加导入导出等外部数据同步环节。经过“存算分离”改造后的部分应用，可以基于Presto实现HDFS中的大数据平台共享数据与外部多种数据源进行直接关联计算，能够将计算结果直接写入生产系统，大大提升了应用流程的开发效率和运维效率。以试点应用“风险管控”的应用场景验证来看：计算结果数据直接写入应用侧数据库的场景平均节省10分钟的任务时间；直接利用应用侧数据库的配置表与hive进行联合计算，省去配置表两边维护，节约维护成本。

三

利用内存计算技术实现与Kafka直接对接，大幅改善大数据平台实时应用能力

传统的Hive作为批处理技术，只能将结果数据批量写入HDFS，虽然能够将处理频率提升至分钟级，但由于HDFS本身无法支撑实时应用的快速读取，因此大数据平台上最快的实时应用也仅能够提升到30分钟的频度。基于Presto的内存计算技术能够直接对接Kafka，将计算结果实时写入kafka，大幅提升数据应用的实时性。在试点“防诈应用“中使用此技术，实时处理计费话单和用户档案的融合，在Hive中处理一个批次（每15分钟一批）需要30分钟大数据存储架构，写入HDFS，如果对接Kafka，还得导出文件再导入，整体耗时超过40分钟，而利用Presto处理，则可以2-5分钟处理一个批次并实时写入Kafka，真正实现了实时处理的能力，基础数据处理的提速有力支撑了实时防诈模型的精准识别。

“存算分离”的架构能够有效解决当前大数据平台存在的问题，也是当前业界的主流发展方向，其带来的开发、运营的效率提升能够进一步释放大数据的价值。下一步我们将探索基于容器化的“存算分离”技术来提升计算资源的灵活高效的综合利用。

图文原创丨省IBOC 成晓琴

编辑丨苏州分公司企信宣传团队 陆涵

审核丨省IBOC宣传团队 税越

扫/码/关/注/我/们

（编辑：鹰潭站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!