AWS 存储家族大合集，来看看你最心水哪一个“成员”
|
大部分希望迁移到云端的公司，都需要在开始迁移时首先评估现有的存储基础结构。为了更有效地评估现有存储基础结构，有必要了解如何将现有存储设备映射为不同的 Amazon Web Services (AWS) 存储服务。为此必须花费时间明确目前的数据是如何存储，以及存储在哪里，随后才能以此为依据将现有工作负载和存储基础结构迁移至 AWS 存储服务。 本文将对比 AWS 存储和本地存储的存储模式，以帮助客户将现有模式与 AWS 存储服务丰富的产品组合相互匹配。此外本文还将提供存储模式决策矩阵，借此加快多样化的应用程序和工作负载需求迁移到 AWS 时的决策过程。 为何迁移到云端？ AWS 在帮助企业迁移上云这方面已经积累了超过 14 年的经验。将存储工作负载迁移到云端一直是 CIO 们解决以下优先战略要务的主要方式之一： 迁移上云的企业可以变得更敏捷，因为他们可以灵活地扩展各类资源，以满足独特的业务需求。借助大规模分析能力和机器学习技术，我们可以消除数据孤岛并从数据中获得更多价值，借此加速现代化革新之旅。在消除了数据孤岛并应用更高级的加密控制能力后，企业可以在发现更多的数据价值的同时改善数据的安全性。 AWS 用户可以直接获得专为对安全性要求最严格的企业所打造的全部控制、工具以及认证。最后，由于可以获得更灵活的购买模式，避免存储设备过度配置，设备升级换代以及维护存储基础架构的支出，企业还可以进一步降低成本。相比本地部署模式，云存储提供了数不胜数的价值，并能有效解决 CIO 最关注的问题。 图1：存储利用率对比 图 1 对比了本地存储系统以及使用 AWS 存储服务在资本投入方面的需求，使用 AWS 服务时，客户只需要为实际使用的资源付费。在本例中，客户需要购买 1PB 原始存储容量并为此付费。但在组建 RAID 阵列并格式化后，排除掉文件系统本身的开销并为未来增长留出余量后，数据实际占用的容量仅为 400TB。对于大部分 AWS 存储服务（例如 Amazon EFS 和 Amazon S3）Mssq存储过程，客户只需要为自己实际使用的 400 TB 容量付费；或者（如果使用 Amazon EBS 和 Amazon FSx for Windows File Server，则）只需要为实际分配的 600TB 容量付费。 典型的本地存储模式 典型的本地存储模式包括光纤通道 FC SAN 存储、iSCSI SAN 存储、网络附加存储（NAS）以及对象存储。本节将简要介绍不同的本地数据存储技术，并分析客户在满足应用程序和用户数据的存储需求时所创建的工作负载模式 光纤通道（FC）SAN 存储 SAN 是一种存储网络技术，可通过专用高速光纤通道网络共享块存储资源。此外，光纤通道协议（FCP）是 SCSI 协议在光纤通道网络上的映射。最重要的是，SCSI 命令和数据块会封装为 FC 帧，并通过光纤网络/设施进行传输。通常来说，使用 FC SAN 的应用程序包括 ERP、CRM、SAP、SQL、Oracle、DB2、MSSQL 等。 iSCSI SAN 存储 iSCSI 则是一种可以通过 IP 网络共享存储资源的存储网络技术。通常来说，通过 iSCSI SAN 共享的存储资源往往是磁盘资源，不过 iSCSI 是 SCSI 协议在 TCP/IP 上的映射。 SCSI 协议还可以通过类似的方式映射至其他传输机制，例如光纤通道 FC，因此理论上，任何 SCSI 设备都可以通过 iSCSI SAN 共享。通常来说，使用 FC SAN 的应用程序也可以使用 iSCSI，只不过此时会使用 IP 网络基础结构进行数据传输（例如 ERP、CRM、SAP、SQL、Oracle 等）。 网络附加存储（NAS） NAS 文件系统是一种共享的文件存储资源，通常代表了非结构化数据或文件存储。对于 Linux 工作负载，这些文件系统通常会使用诸如 Network File Storage（NFS）等协议；对于 Windows 工作负载的数据共享，这些文件系统往往会使用 Server Message Block（SMB）或 Common Internet File System（CIFS）协议。NAS 存储通常被用于存储诸如共享文件夹以及文档库等可供用户和应用程序访问的文件数据。 根据 SNIA.org（存储网络行业联盟）的介绍： “NAS 代表连接到网络，为计算机系统提供文件访问服务的存储设备。”此类 NAS 设备通常会使用元数据和用于存储数据的文件/文件夹层次结构来实现文件服务。NAS 客户端可使用标准化的协议（如 NFS 或 SMB/CIFS）访问 NAS 设备所存储的数据。企业可以将 NAS 设备作为一种高效、低成本、可扩展的存储解决方案。NAS 存储主要可用于支撑邮件系统、财务数据库、薪酬系统、视频录制和编辑、数据日志、业务分析等应用。 对象存储 对象存储可供用户以原生格式存储数据，因此任何类型的数据都可存储在对象存储内。对象通常可通过一个很长（如 64 位）的唯一标识符加以区分，该标识符是由对象内容派生并附加某种哈希机制得到的。通常来说，对象会保存到一个单一的大型平面名称空间中，不具备传统文件系统那样的层次结构或树状结构。这种单一的大型平面的名称空间使得对象存储系统与生俱来地具备了极大的可扩展性。对象存储设备（OSD）可通过诸如 REST、SOAP 和 XAM 等 API 操作访问。 根据 SNIA.org 的介绍： “对象存储是在磁盘上组织数据的第三种主要方式。对象可通过对象 ID 或键-值进行寻址，而不是按照字节组织成文件名进行寻址，或组织为块并通过块编号寻址。我们可以通过对象 ID（也可以使用密钥）访问指定的对象，随后即可获得返回的数据。这些数据长度任意，可以是零字节，或者极大的字节数。” 图 2：本地存储决策矩阵 图 2 展示了本地用户和应用程序访问并连接数据存储的不同方式。在上文列举的例子中，应用程序可通过受支持的协议使用 SAN、NAS 或对象存储。但在性能、安全性和可扩展性方面，应用程序可支持的访问协议将成为决定在后端使用哪种存储类型（SAN、NAS、对象）的关键，因为每种存储访问协议都有各自的优势与局限。 AWS 存储服务模式 本节将简要介绍主要的 AWS 存储服务，以及这些存储服务如何替代部署在客户本地数据中心的存储设备。 Amazon EBS 是一种易于使用的高性能块存储服务。Amazon EBS 专为 Amazon EC2 中运行的任意规模吞吐率密集型和事务密集型工作负载设计。关系和非关系数据库，企业应用程序，容器化应用程序，大数据分析引擎，文件系统和媒体工作流等各种工作负载已广泛部署在 Amazon EBS 上。 Amazon EBS 适用于原本在本地环境使用 iSCSI 或 FC SAN 存储阵列的应用程序工作负载。 Amazon Elastic File System（Amazon EFS） Amazon EFS 提供了一种简单、可扩展、完全托管的弹性 NFS 文件系统，可供 AWS 云服务和本地资源使用。在设计上，该服务可在不影响应用程序运行的前提下按需扩展至 PB 级规模，可随着文件的添加和移除自动扩展或收缩，用户无需为了适应未来增长而预配并管理容量。Amazon EFS 是一种区域性服务，可提供个位数毫秒级别的延迟，同时在至少三个可用区中存储数据，其持久性设计为 99.999999999％（11个9）。 Amazon EFS 适用于原本在本地环境使用基于 NFS 协议的 NAS 存储阵列的应用程序和用户工作负载。 Amazon FSx for Windows File Server 重要通知：Amazon FSx for Windows File Server 及Amazon FSx for Lustre 现已在由光环新网运营的 Amazon Web Services (AWS) 中国（北京）区域和西云数据运营的 AWS 中国（宁夏）区域推出。 关于 Amazon FSx 新服务的更多资讯，推荐大家参阅以下内容： Amazon FSx for Windows File Server 提供了完全托管的高可靠、可扩展文件存储，可通过符合行业标准的 SMB 协议访问。该服务基于 Windows Server 构建，提供了丰富的管理功能，例如用户配额、最终用户文件还原以及与 Microsoft Active Directory 的集成。该服务提供了单一 AZ 和多 AZ 部署选项、完整的托管备份，以及对传输中和存储后的数据进行加密的能力。Amazon FSx 文件存储可通过 Windows、Linux 和 macOS 计算实例以及运行在 AWS 或本地的设备访问。用户可以使用 SSD 和 HDD 存储选件来优化成本和性能，以满足工作负载需求。 图 3：Amazon FSx for Windows File Server功能 图 3 着重展示了 FSx for Windows File Server 的功能，及其对各种协议、操作系统、计算、网络、可用性、持久性、备份、性能、可扩展性、成本优化、安全性以及合规性等方面的支持情况。Amazon FSx for Windows File Server 适用于原本在本地环境使用基于 CIFS/SMB 协议的 NAS 存储阵列的应用程序和用户工作负载。 Amazon Simple Storage Service（Amazon S3） Amazon S3 是一种对象存储服务，提供了业内领先的可扩展性、数据可用性、安全性以及性能。这些能力使得客户能够存储和保护任意数量的数据，并将数据用于各种类型的用途，如网站、移动应用程序、备份和还原、归档、企业应用程序、IoT 设备，以及大数据分析等。Amazon S3 提供了易于使用的管理功能，用户可以借此整理自己的数据，并配置可细化调整的访问控制机制，以满足特定的业务、组织或合规要求。Amazon S3 的设计持久性为99.999999999％（11个9），目前已被全球大量企业的数以百万计企业应用程序所使用。 Amazon S3 针对不同用例提供了丰富的存储类。例如针对频繁访问数据的常规用途存储所提供的 S3 Standard；针对访问模式未知或频繁变化的数据所提供的 S3 Intelligent-Tiering；为需要长期保存，需要轻松重建但访问频率较低的数据所提供的S3 Standard-Infrequent Access（S3 Standard-IA）和 S3 One Zone-Infrequent Access（S3 One Zone-IA）；以及为长期归档和数字化保留所提供的 Amazon S3 Glacier 和 Amazon S3 Glacier Deep Archive。Amazon S3 还提供了数据全生命周期管理功能。在设置 S3 生命周期策略后，数据即可被自动转移至不同的存储类，而这一过程中完全不需要对应用程序进行任何改动。 Amazon S3 适用于基于本地对象存储和很多基于文件存储阵列构建的应用程序和用户工作负载。 图 4：AWS 存储模式决策矩阵 图 4 展示了已经迁移至 AWS，或云原生应用程序的存储决策矩阵。在该决策矩阵中，工作负载对存储访问协议、性能以及可扩展性的要求扮演了重要角色。此外，对于本地应用程序，大部分 AWS 存储服务都可在本地环境通过低延迟 AWS Direct Connect 或 VPN 连接的方式访问。 数据存储迁移和混合云存储访问 AWS 用户可通过多种选项将本地数据存储迁移至 AWS。下文将介绍通过 AWS DataSync 进行的在线迁移，以及通过 AWS Snow Family 服务进行的离线存储迁移。 适用于在线存储迁移的AWS DataSync AWS DataSync 可以帮助用户在本地存储以及 Amazon S3、Amazon EFS 或Amazon FSx for Windows File Server 之间快速、简单地在线移动大量数据。与数据传输有关的手工任务可能大幅拖累迁移进度并增加 IT 负担，DataSync 则能省略或自动处理大部分此类任务，包括脚本复制作业、调度、传输监视、数据验证以及网络利用率优化。DataSync 软件代理可连接到 NFS 和 SMB 存储，因此用户完全无需更改应用程序。 AWS DataSync 能够借助互联网或 AWS Direct Connect 链路，以最多十倍于传统开源工具的速度顺利传输数百 TB 以及上百万的文件。用户可以使用 DataSync 迁移活跃数据集或将其归档至 AWS，将数据传输到云端以进行及时分析和处理，或将数据复制到 AWS 以保障业务连续性。 适用于离线存储迁移的AWS Snow Family AWS Snow Family 包括 AWS Snowcone、AWS Snowball 以及 AWS Snowmobile。AWS Snowcone和AWS Snowball 是一种小巧坚固但非常安全的可移动存储与边缘计算设备，可用于数据收集、处理和迁移等工作。这些设备在设计上专门面向网络带宽受限或不具备网络连接的边缘位置，能够在严苛的环境中提供存储和计算能力。AWS Snowmobile 则是一种 EB 级规模的数据传输服务，可用于将海量数据（包括视频库、图片仓库，甚至完整的数据中心内容）迁移到云端。借助AWS Snowcone与 AWS DataSync 的集成，用户可以从边缘位置进行在线数据迁移。 通过 AWS Storage Gateway 实现混合云存储访问 除了 VPN 连接，用户还可以利用现有的 AWS Direct Connect 从本地数据中心访问自己在 AWS 中的数据。AWS 通过 AWS Storage Gateway 为不同类型的数据访问模式提供了丰富的选项，以及本地缓存功能，可以更快地读写最常访问的数据。 AWS Storage Gateway 是一种混合云存储服务，可供用户从本地访问几乎无限量的云存储空间。用户可以使用 Storage Gateway 简化存储管理工作并降低关键的混合云存储用例的相关成本。例如将备份转移到云端，在本地使用由云存储支撑的文件共享，为本地应用程序提供 AWS 中数据的低延迟访问途径。 下列存储模式示意图展示了混合云存储的访问模式： 图 5：混合存储模式决策矩阵 图 5 展示了需要继续保留在本地的应用程序的存储模式决策矩阵。这些应用程序在利用本地读/写缓存以极低延迟访问活跃工作集的同时，同样可以获得云平台所提供的各项收益。图5还展示了应用程序或用户利用首选存储协议访问本地存储的工作集数据时对应的决策矩阵。这种情况下，可在几分钟内获得几乎不受限制的云存储空间扩展能力。 在图 5 所示的决策矩阵中，工作负载的存储访问协议、性能要求以及可扩展性要求扮演了关键角色。该决策矩阵还涉及了其他一些用例，例如借助 AWS Storage Gateway 的Tape Gateway 对长期保存的备份进行分层存储（用以取代磁带备份技术），将其存储到 Amazon S3 的归档层中 结论 无论用户需要从零开始进行迁移或需要把突发工作负载迁移至云端，AWS 提供了能在这一过程的每个环节提供帮助的服务。在从本地存储环境迁移至云端解决方案后，组织将变得更敏捷，更具创新性。将本地数据存储迁移至 AWS 存储服务还可能帮助组织改善可扩展性与安全性，并降低基础结构成本。 越来越多的企业 IT 管理者开始意识到 AWS 可以帮助自己以前所未有的方式，更安全地驾驭新的工作流程和服务。例如 TransferWise，这家 AWS 客户利用 AWS Storage Gateway、Amazon EBS 和 AWS Backup 轻松地在 AWS 平台上迁移并管理数据库和备份。借助 Amazon Relational Database Service（Amazon RDS）和 Amazon EC2，TransferWise 已经将数百个数据库迁移至 AWS。此外，TransferWise 还解决了本地环境的可扩展性问题，通过迁移至 AWS 更好地触及遍布全球的客户。 “通过使用 AWS，我们可以在需要的时间和地点快速获得所需的计算和存储资源，这样的速度比以往任何时候更快。AWS可以帮助我们更好地推进全球扩张战略。” 如果希望更进一步了解本文所涉及的产品，建议部署 DataSync 代理并将测试工作负载迁移至 AWS 存储服务，借此可以测试上文提到的任何服务，并测试自己的运维、安全和性能要求。如果您正在寻找更多的资源希望将基于文件存储的应用程序迁移到 AWS，请访问我们的迁移至托管文件存储资源页面。 （编辑：鹰潭站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
