每个现代化企业都是数据驱动型企业，而坚实的数据基座除了包括一套全面、集成的服务体系，以及用于端到端数据工作流管理的工具之外，我们今天当然要考虑如何能够更好的使用和支持生成式AI应用的能力。
“不会有一个基础模型能适应于所有生成式AI场景，客户需要根据不同的时间，不同的应用场景灵活地选择不同的模型。”亚马逊云科技大中华区产品总经理陈晓建日前在2024亚马逊云科技中国峰会表示，任何非常先进的技术，初看都与魔法无异。科技重塑每一个时代，每一项技术创新，都伴随着几十年的发明和新想法的诞生。例如，互联网使亚马逊能够建立在线零售业务，最终服务于世界各地数亿客户；亚马逊云科技所开创的云计算，帮助任何规模的公司从世界任何地方启动和扩展自己的业务。
亚马逊云科技大中华区产品总经理陈晓建
如今，亚马逊云科技在全球的33个地区提供超过200项全功能的服务，每项服务都旨在消除创新障碍，降低创新门槛：Amazon S3成为众多用户上云的第一步，从存储开始步入云计算驱动的数字化转型；2023年re:Invent全球大会上发布了AmazonS3 Express One Zone，使开发人员和数据科学家能够更高效的利用GPU的资源，提升工作的效率。
此外，凭借着“魔法”般的表现，亚马逊云科技通过推出生成式AI三层技术栈：底层以GPU和自研芯片为代表的基础设施，用于基础模型的训练以及在生产环境中运行推理；中间层以Amazon Bedrock为代表，提供可以访问所需基础模型，以及构建和扩展生成式 AI 应用程序的工具；顶层则以Amazon Q为代表，利用基础模型构建的开箱即用的生成式AI应用程序，用户无需任何专业知识即可快速上手生成式 AI。
打造底层基础模型训练和推理的基础设施
在基础模型中，有两种主要的工作负载类型：训练和推理。训练是通过从大量训练数据中学习来创建和改进基础模型，推理是使用这些模型来生成诸如文本、图像或视频等输出。
虽然许多客户可能不直接参与构建基础模型，但亚马逊云科技在这一层的深入投资增强了在更高层级提供服务的能力和效率。
亚马逊云科技提供了英伟达NVIDIA GPU的卓越选择，GPU是运行生成式AI的关键因素，但远远不是全部。StabilityAI训练Stable Diffusion用了4,000张A100 GPU，而Meta训练Llama3则使用了超过16,000张A100 GPU。
另外，亚马逊云科技中国区域正式推出基于英伟达A10G GPU 的Amazon EC2 G5 实例，以帮助中国区的客户运行生成式AI工作负载提供更好的性价比。Amazon EC2 G5的性能是Amazon EC2 G4DN的三倍，而推理性价比则提升了40%。
在过去的五年里，亚马逊云科技在定制芯片领域的投资带来了机器学习训练和推理成本的大幅下降，其中，基于Amazon Trainium的Trn1 EC2实例和基于Amazon Inferentia芯片的Inf2 EC2实例，与类似的基于英伟达GPU的Amazon EC2实例相比，可分别将训练成本降低高达50%(Trn1)，推理成本降低高达40%(Inf2)。
Amazon SageMaker托管机器学习服务可让开发人员轻松构建、训练、微调和部署基础模型。Amazon SageMaker在问世的七年里推出了大量的创新性功能，如自动模型微调、分布式训练、灵活的模型部署选项、机器学习操作工具和面向负责任 AI 的内置功能等，助力客户更快创新。随着Amazon SageMaker HyperPod的正式可用，训练模型的时间减少多达40%。
Amazon SageMaker Jumpstart可以提供模型选择、深度模型定制和评估等功能。零一万物的Yi-1.5 6B/9B/34B的基础模型和百川智能的Baichuan-2 7B基础模型也即将上线中国区域的SageMaker Jumpstart。
加速构建，让生成式AI触手可及
Amazon Bedrock是使用基础模型构建和扩展生成式AI应用程序的最简单方式，几乎所有行业的客户都在使用Amazon Bedrock重塑他们的用户体验、产品和流程,将生成式AI融入到他们的核心业务中。
Amazon Bedrock提供四大差异化价值——模型选择、模型定制、应用集成和负责任AI，让生成式AI触手可及。
“Amazon Bedrock是一项全面托管的服务，用户可以通过单一的API访问来自AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI和亚马逊等领先人工智能公司的高性能基础模型。”陈晓建表示，这些人工智能公司承诺亚马逊云科技的客户可以通过Amazon Bedrock在第一时间使用和访问其未来发布的最新基础模型。
例如，Claude 3模型是Anthropic在2024年3月发布的业界领先基础模型之一，作为Anthropic和亚马逊云科技的战略合作的一部分，Amazon Bedrock也同步首发了Claude 3模型家族的产品，今天，包括Claude 3 Haiku 、Claude 3 Sonnet 和Claude 3 Opus 都已经在Amazon Bedrock可用。
Amazon Titan Text Embeddings V2是亚马逊云科技最新推出的模型，它是亚马逊自研Embedding模型，针对 RAG 工作流程进行了优化，并与 Amazon Bedrock 的知识库无缝集成，可高效地提供更丰富、更相关的响应。
Titan Text Premier基础模型是Titan Text 系列中最先进的型号，旨在为各种企业应用程序提供卓越的性能，并对RAG以及Agent提供了专门优化，提供了更高的准确性和卓越的结果。
为了帮助客户选择合适的模型，Amazon Bedrock提供了一整套完整的功能，比如说包括微调、持续预训练，检索增强生成RAG等，以及新推出的模型评估功能，帮助客户简化评估、比较和选择基础模型的过程，它是企业快速分析和比较Amazon Bedrock上模型的最快方式。
开箱即用的生成式AI应用
Amazon Q是强大的生成式AI助手应用，并从一开始就着眼于安全性和隐私性进行了构建，能够帮助用户加速软件开发并更好的利用企业业务数据。
在本次峰会，亚马逊云科技新发布了Amazon Q Developer、Amazon Q Business 和 Amazon Q in QuickSight，现已均已正式可用。
其中，Amazon Q Developer拥有广泛的使用案例：利用Amazon Q Developer的代码转换功能，升级 Java 版本和依赖项，从而大规模消除技术冗余，Q可以自动执行应用程序升级，将数天的工作缩减为几分钟；帮助解决整个阶段的繁琐和耗时任务，包括安全扫描、故障排除、单元测试生成等；近乎实时生成代码建议和推荐，帮助开发人员更快、更安全地进行构建。
Amazon Q Business的愿景是让每个企业都能够获取到生成式 AI 的力量，从他们的所有数据（非结构化和结构化）中获得洞见，采取行动并构建应用程序。
Amazon Q Business主要应用于四大场景：统一的对话检索式体验、生成总结与提炼关键发现、提升内容创作的效率、以及简化任务流程。
架构演进连接未来创新
生成式AI时代，技术架构演讲应当关注两个方面：什么是变的。所有技术工作者应当主动拥抱 生成式 AI，积极地升级技能、积极地去应用这项变革性的技术；什么是不变的。在技术架构的演进过程中锚定不变的原则，在技术变革的浪潮中找到前进的灯塔方向。
“技术架构演进过程里面不变的三个主题需求：基础组件能力，架构体系创新，多元技术融合。我们应该看清变化的技术和不变的需求，积极推进架构演进，连接未来的想象。”亚马逊云科技大中华区解决方案架构总经理代闻认为，作为架构师、工程师，或者任何一个有技术信仰的构建者，每一行代码、每一种选择以及每一个决定，都是写给未来的信。过去十年，云计算为创新和创业提供了前所未有的便利，未来十年，生成式AI让我们有机会一起重塑各行各业，在这个特殊的时间点，What Will You Build?
技术演进的“三不破”原则
技术架构演进过程中颠扑不破的三原则：第一个就是基础组件能力决定了架构设计。云计算的最基础组件是计算、存储和网络，其中又以计算作为最核心的组件。
回顾EC2的发展历程，不难发现2017年是一个拐点，转折来自Nitro。在现在的EC2虚拟化架构图中，服务器部分100%为用户实例所用，网络、存储的虚拟化、虚拟机的管理、安全、监控都卸载到了Nitro系列上，主机的性能损耗几乎为0。
如今Nitro 已经有十年的发展历程，亚马逊云科技已经发布了五代Nitro芯片。持续在网络性能、存储性能 和 安全加固。获得更低的延迟、更高的吞吐量以及每秒处理更多数据包的能力。
亚马逊云科技大中华区解决方案架构总经理代闻
在网络方面，亚马逊云科技开发了新的网络传输协议SRD（Scalable Reliable Datagram），以最大化利用网络带宽，以及数据中心路由协议SIDR，替代传统的BGP，OSPF，实现亚秒级的路由收敛，进一步扩大数据中心网络的规模。
“基于 Nitro 创新带来的服务器网络性能提升，结合新的数据传输协议和路由协议，亚马逊云科技得以建成超大规模数据中心网络 UltraCluster。它支持的GPU实例可以到两万台，如果使用亚马逊自研的机器学习训练Trn1实例，可以支持扩展到三万个Trainium 加速器。”代闻说。
在存储方面，在最新的 Nitro 平台支持下，单个虚拟机的最大 IOPS 可以到 400K，存储带宽可以到 100Gbps。值得一提的是，亚马逊云科技重写了主机和闪存之间的闪存转换层算法，并且将这个算法运行到 Nitro 系统的一块芯片里，将 SSD 访问延迟降低了 60%，抖动减少了 75%。
此外，亚马逊云科技自研设计了更符合云计算业务和新时代需求的处理器，也是目前最广泛使用的 基于 ARM 架构的 云计算处理器 Graviton。
过去5年, 亚马逊云科技发布了四代Graviton。亚马逊云科技在全球规模化提供的基于 Graviton 的 Amazon EC2 实例种类达 150 多个，已经构建的 Graviton 处理器数量超过 200 万个，并拥有超过 50,000 客户。这些客户涵盖了 EC2 最大的前 100 个客户，他们使用基于 Graviton 的实例为其应用提供最佳性价比。
第二个原则就是架构体系创新拓展核心能力。亚马逊云科技通过不断增强基础设施韧性和弹性，确保系统的高可用性和可靠性。桥梁韧性需要处理天灾和人祸两个方面风险的同时，也要应对不可控制的外部风险，以及管理不善造成的内部风险，这是技术架构韧性要解决的主要题目。
亚马逊云科技的Amazon IAM设计为控制平面和数据平面两部分：控制平面接受权限更改的请求，然后下发策略信息给到右边的各个区域的数据平面，右边数据平面独立存在于每个区域，该区域中的每个云服务都直接与Amazon IAM数据平面交互，由他处理本区域内所有访问控制请求。
“即使左侧的控制平面和某区域的数据平面都失效了,该区域的认证授权请求甚至可以路由到其他区域的数据平面，稳定的提供故障区域的认证授权服务。”代闻透露，Amazon IAM在每个区域的数据平面都采用了单元架构来实现高可用。目前，单元架构现在已经应用到了亚马逊云科技云服务全部服务,如 Amazon IAM, Amazon EC2, Amazon EBS, Amazon Aurora等，用户可以轻松地将单元架构应用到自己的工作负载。
弹性和效率方面，Firecracker轻量级虚拟化技术是基于KVM构建微虚拟机,借助硬件虚拟化它可以在非常短的时间内启动完全隔离的虚拟机。它具有多层隔离和保护,确保可以支持多租户，旨在快速启动和管理容器化工作负载，提升资源效率和安全性。
Amazon Lambda SnapStart 改善Java 函数的冷启动问题，调用函数时,Lambda从缓存的快照恢复，从而提高启动速度。使用Amazon Lambda SnapStart,函数通常可以比之前启动快10倍,并且不需要修改任何代码。
Caspian实现了类似“多库同宿主,允许共享预留”的逻辑。在每个serverless 数据库启动时，都预先为数据库虚拟化OS分配物理机全部内存，但是实际使用内容限制为只是数据库所申请的内存大小。后期任一 serverless 数据库可以放开阈值至认购的物理机全部内存。
第三个原则是多元技术融合驱动架构创新。现代应用的新时代多元化需求包括对生成式AI的智能体验、可持续发展、合规等。以亚马逊电商的AI导购聊天助手 Rufus 为例：除了商品搜索;下单;支付等基本购物功能以外，AI还提供了聊天式的咨询体验。
试想一下，在与大模型聊天的场景中，要求底层的技术能够管理所有跟聊天相关的数据：客户当前多轮的聊天历史、检索知识库、管理更多由大模型辅助生成的商品描述……这么多需求一起摆在面前的时候, 应用架构必须要打开思路, 做出过去从没做过的创新。
“多元的需求首先是用多元的技术各个击破。只有专门构建才能在单一技术上实现最有性能和成本。”代闻表示，亚马逊云科技专门构建了各种数据服务，包括关系型数据库、非关系型数据库、数据仓库，以及各种批式/流式的数据采集和分析服务。
需要注意的是，生成式AI应用的云上的参考架构比过去三层web应用架构和微服务架构完全不同，核心原因是多了一个或几个响应没那么快的大模型。
亚马逊云科技通过RAG工程化手段融合多种数据库的需要，RAG不仅仅是向量数据库，知识提取的数据并不仅在一个地方，而是通过用户端到后端之间的一系列架构组件来解决。每一个组件在具体实现时，需要根据实际的应用场景选择合适的平台服务。
另一方面，专门构建高效的支撑了业务依赖的技术特性, 但没有解决数据同步问题。今天不同数据引擎同步数据方案的解决方案是ETL，一个费人费力的做法。而云已经建立的基础能力，比如存储层的独立扩展，数据的独立同步，催生了数据流动自动发生的创新可能，也就是Zero-ETL。
亚马逊云科技新发布了Amazon Aurora Zero-ETL with Amazon Redshift、Amazon OpenSearch Service zero-ETL integration with Amazon S3以及Amazon DocumentDB zero-ETL integration with Amazon OpenSearch三款Zero-ETL。通过这些Zero-ETL的能力，客户能够将Amazon Aurora，Amazon Dynamo DB等关系型和非关系型实时数据自动同步到Amazon Redshift数据仓库进行分析，或是将Amazon DocumentDB, Amazon DynamoDB等非关系型数据自动ETL到Amazon OpenSearch进行高级检索。
“架构本身也受技术发展不断影响，一个良好的架构应该能够随着多元因素的影响不断演进。”代闻表示，亚马逊云科技的优良架构体系（Well-Architected Framework）到现在已经超过十年了，从四个维度（卓越运营、安全、可靠、性能效率），演进到六个维度，新增了可持续发展和成本优化。随着客户对各种组件更深入的使用，架构师的决定和组件选择会直接影响到整块的应用负载在云上的成本。
写在最后
亚马逊云科技认为，今天就是成为构建者的绝佳时机。因为今天所有人都有幸处在下一个技术变革的伟大时代。每个人的创新，都将对世界产生深远的影响，改变行业，甚至改变人类的生活。
“我们希望通过强大的算力支持、丰富的模型资源和先进的架构设计，帮助企业迈向生成式AI时代。”陈晓建认为，当企业在了解到亚马逊云科技的这些工具、产品、解决方案和合作伙伴后，客户对生成式AI应用程序的开发会更加得心应手。
京公网安备 11010202008829号