在今天,每个业务都应该是数据驱动的业务,覆盖各行各业。数据的爆发性增长,尤其是云上数据增长已经是新常态。
当然,数据增长也会带来很多问题,存储也并不是简单的把0和1的比特,放在物理介质上这么简单,这里存在大量业务层面需要关注的问题:敏捷和成本,这是应对海量数据增长所带来的成本急速上升与数据存储服务敏捷性能之间根深蒂固的矛盾;数据本身多样化的需求,根据数据来源的渠道以及各个业务数据本身的性质不同,设计不同的存储服务满足不同业务的需求;以及最重要的数据安全与合规。
“从2006年推出第一个云存储服务Amazon S3,到2022年16年的时间,亚马逊云科技的存储服务已经成功覆盖各个行业,拥有非常丰富、完善的云存储产品——从块存储到对象存储、文件存储、备份、容灾以及边缘网络和数据传输等存储服务,共同组成亚马逊云科技存储服务的‘全家桶’。”亚马逊云科技大中华区产品部总经理陈晓建表示,亚马逊云科技仅在2021年就发布了130多项存储新服务和功能特性,旨在通过存储服务的不断创新,为客户提供功能更强大并兼具成本效益的存储服务——通过智能分层、专门构建以及统一数据保护三大层面,帮助企业进一步应对海量数据上云面临的诸多存储挑战,重塑云中数据活力。
首先,从智能分层的角度来看,其能够彻底解决数据的成本和数据的可用性、敏捷性之间的矛盾。
如何保证数据、存储、性能和成本之间的平衡,是用户第一天就不得不面对的问题。对于亚马逊云科技来说,从2006年3月14日推出第一个对象存储产品Amazon S3,到2022年,其始终如一的再做一个重要的工作——优化成本。
“在2006年,如果需要100块钱存储的话,到今天只需要花15块钱,也就是说这16年间,整个存储成本降低了大约7倍。”陈晓建表示,2021年12月,亚马逊云科技宣布将全球九大可用区域的两个主要产品:Amazon S3 Standard In Frequent Access和Amazon S3 Standard In Frequent Access,价格降低了31%,足以证明,降低用户存储成本是亚马逊云科技非常重视的工作。
不过,光解决成本不能解决存储本身带来的所有问题,数据来源多种多样,使用方法也不同,针对不同数据的类型应该有不同存储的产品相对应。定义数据类型,亚马逊云科技给出的答案直观且准确——数据的温度。
亚马逊云科技在16年的时间里,开发了8级存储层级满足热、温、冷、冻等不同的访问层级,应对企业业务不同的数据访问频次,兼顾性能和数据保存成本。例如,Amazon S3 Glacier是一款归档存储,一个GB可以存200个19秒的短视频,且存储成本只要3分钱人民币,但是代价是读取数据时间漫长。如果用户需要秒级甚至毫秒级存储性能,可以使用Amazon S3 Standard—IA,这是“温”的存储服务,提供毫秒级的数据读写性能,但是价格比Amazon S3 Glacier贵3倍左右。
对于用户兼容低成本和快速检索的需求,亚马逊云科技2021年12月份推出了Amazon S3 Glacier Instant Retrieval,即时检索归档存储。重新定义了归档存储,以低成本实现归档数据快速检索,面向每季度访问一次、又需要能毫秒级取回的海量数据。例如音频视频、手机相册、日志归档、影像资料等,提供低成本的存储分层。与Amazon S3 Glacier相当的定价,毫秒级的取回性能,用户可以把冷数据当成热数据来处理,在三个可用区上保证11个9的数据持久性。
值得一提的是,2018年亚马逊云科技就推出了Amazon S3智能分层功能,面向未知访问模式的海量数据。Amazon S3可以自动在不同层级的存储之间移动数据,实现至多68%的成本节省。Amazon S3智能分层已经涵盖了Amazon S3家族的几乎所有存储类别,实现数据全生命周期的智能化存储与使用。客户可以将Amazon S3智能分层作为默认的存储层级,用以构建包括数据湖、机器学习等各种云端应用。
当不同的数据类型来源、使用方式和需求不一样时,又该构建不同存储的服务来满足业务的需求?亚马逊云科技给出的答案是——专门构建不同的云存储服务。
实际到今天为止,IT化已经基本完成,每个应用和业务都会产生大量的数据。如果要做大概的区分,可以分为两大类:第一类,云原生的现代化应用,比如,电商、游戏、社交等;第二类,传统的云端企业应用,像ERP、CRM、EDA等,依赖的技术和架构并不会考虑云的存在。
“云原生应用非常简单,社交媒体、电商本身在云上构建,大量的业务依赖云的微服务架构,也很适应云的应用方式,很显然对云原生应用来说希望存储是一样的架构。”陈晓建认为,云的特点是用户不用管底层架构、伸缩、全覆盖、运维,只需调用简单的API接口即可,存储也应该是这样。
为此,针对云原生现代化应用,例如网站托管、数据湖、数字营销、云相册、音视频分享、电商平台、社交媒体等应用,客户可以使用云原生Serverless文件存储Amazon EFS,获得简单、无管理成本、海量弹性扩展、高度集成、自动优化的体验。
针端云端企业级应用,例如ERP/CRM、数据库、自动驾驶、生命科学、混合云、模拟仿真、气象分析、EDA、视频渲染等应用,亚马逊云科技提供了Amazon EBS IO2 BX和Amazon FSx系列服务,Amazon EBS IO2 BX是为运行在线下数据中心SAN存储上的应用而设计。Amazon FSx家族是为各类企业应用而专门构建的共享文件存储。
从时间轴来看,2018年11月亚马逊云科技推出Amazon FSx for Windows File Server完美支持 Windows Server工作负载。2021年11月发布全新一代Amazon FSx for Lustre面向HPC计算密集型工作负载,帮助客户快速完成高性能计算,如基因测序,新药研发,自动驾驶模拟仿真,半导体设计等任务。
与当前一代相比,提供5倍的吞吐量(每 TB 高达 1GB/秒),且支持与S3的数据更新双向同步,在S3或Lustre任一侧更新数据,都可以在另外一侧实现自动快速同步。
2021年11月,发布Amazon FSx for OpenZFS面向大数据分析Linux工作负载。针对那些以往把数据放在ZFS或者其它Linux文件服务器、而不希望改变架构的云迁移客户。通过它,可以让ZFS或其他基于Linux的文件服务器迁移到亚马逊云科技时不需要改变应用和管理数据的方式,提供高达1百万IOPS ,而延迟仅有几百微秒,非常适合运行像机器学习和音视频实时处理这类数据密集型工作负载。
2021年9月发布Amazon FSx for NetApp ONTAP方便企业业务无缝迁移上云。使客户能够在亚马逊云科技上启动、运行和扩展全面托管的NetApp ONTAP文件存储服务,无需修改其应用、工具、流程或工作流,即可将其在NAS设备上运行的应用迁移至亚马逊云科技。
ONTAP是联想凌拓母公司之一NetApp的文件存储系统,提供一系列被广泛使用的数据访问和管理功能,历来被广大客户用于部署在本地数据中心的网络文件存储(NAS)。通过不断迭代创新,历经了30年的市场考验。
随着IT演进,云计算蓬勃发展,越来越多不同规模的企业正在将其本地应用迁移上云,以提高敏捷弹性、加速创新、增强安全性、降低成本。同时,客户寻求在云上使用熟悉的NAS数据管理功能,而多数情况下,需要花费一定时间和精力重新设计应用、工具和工作流。
这一趋势,也促使了亚马逊云科技和NetApp合作,于2021年9月发布了Amazon FSx for NetApp ONTAP。将NetApp ONTAP文件管理功能无缝的、平滑的过渡到亚马逊云科技,为客户提供了两全其美的解决方案,让客户可使用其已经熟悉的NAS工作流来部署、管理应用和数据,同时尽享亚马逊云科技带来的敏捷性、可扩展性和安全性,以及与亚马逊云科技其它服务之间的无缝集成。
目前,已经获得了金融、医疗、石油以及高科技等行业的广泛客户认可。
事实上,企业数据备份有三个方面的挑战:管理复杂、安全合规挑战以及成本高昂。为此,亚马逊云科技推出了Amazon Backup,即云上一站式备份服务,不仅能够很好的覆盖亚马逊云科技所提供的每一个存储产品,还可以通过简化备份存储,来解决管理复杂、安全合规以及成本的问题。
“Amazon Backup深度集成了亚马逊云科技自带的KMS数据加密服务,整个备份操作权限数据访问权限都可以用IAM进行细颗粒度监控,满足个人信息安全规范,等保等安全合规的要求。”陈晓建表示,如同智能分层一样,亚马逊云科技在整个备份管理中也使用了备份库的冷热分层,可以有效降低用户的使用成本。
目前,亚马逊云科技存储服务覆盖制造业、化工、媒体、社交网站、视频、汽车、航空航天等行业,广泛服务于全球各地、各个行业、各个规模的企业客户,同时为国内客户提供广泛存储服务,如:嘉里物流、金风慧能、苏泊尔、OPPO、首汽约车,中集集团、金蝶,桐树基因、我爱我家等等。
写在最后
“亚马逊云科技存储服务已经成为IT行业的‘水’和‘电’,让各行各业的业务都能从存储服务中获得价值。”在陈晓建看来,从2006年开始到今天整整16年时间,亚马逊云科技一直在持续了解客户的诉求,来持续进行科技的创新。“我们一直被追赶,但从未被超越,但是我们还保持Day1的心态,把自己当成在2006年3月14日那天一样,我们希望能够在以后为用户带来更多的价值。”