大厂大数据架构分享，基于此架构如何进行大数据测试？

前面我们为大家整体介绍了大数据和大数据测试，本文我们一起来了解一下中通大数据的架构，下图是中通科技的大数据架构图。

最下面是数据存储，这里刚刚也讲过了，最主要的是HDFS大数据存储架构，也包括一些TIDB、REDIS、ES等等。上面是资源管理，这里使用的主要是Yarn。

然后计算层主要是分为两个部分，一个是实时计算，主要是以Fink和Sparkstreaming为主，批量计算这部分主要是Hive、Presto跟Spark。

在这些计算服务上面，我们这边做了一些基础服务的平台。比如说调度，调度是一个集计算与管理于一体的一个平台，主要是对任务和数据的计算做统一的管理，主要是针对离线数据这一块。

在此基础上实现了历史数据查询、数据订阅、数据下载等一些数据服务。

最上面一层主要是我们的数据应用这一块，比如说数据报表、数据大屏等一些可视化的数据平台。

以上就是我们中通科技的一个整体的数据架构，接下来我们一起了解一下基于这样的架构，如何进行大数据测试。

大数据测试通常是指对采用大数据技术的系统或应用的测试。它可以分成两个维度，对数据本身的测试，对大数据系统或应用产品的测试。

下面这两张图一个是数据报表，是一个数据展示的平台。第二张是数据管理平台，是对数据进行管理的一个平台。他们分别是数据纬度和系统纬度。

首先我们一起来看一下数据测试，数据测试是指数据质量的测试，主要关注数据的完整性、准确性、一致性、及时性、可用性这五个维度。

大数据系统一般指使用Hadoop生态组件搭建的或自主研发的大数据系统，主要包括数据存储、计算、分析等组件。大数据应用产品比较丰富，典型的有BI报表、数据挖掘产品、数据分析平台等。

大数据系统测试是比较复杂的，首先包括Hadoop本身生态的一些组件，再就是包括我们自己做的一些数据应用平台、数据开发平台，主要包括这三块内容。

后面的文章我们会继续为大家进行展开讲解，欢迎大家继续关注。

（本系列文章根据《优品软件培育计划》公益直播内容整理，观看直播回放可以私信我获取观看链接。）

相关链接：

（编辑：鹰潭站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!