专注于数字技术的商业观察者
登录×
公司
2023-11-01

亚马逊云科技:生成式AI不是魔法,持续加速“普惠化”

时间: 2023-11-01 编辑:

如何应用好生成式AI的技术为企业的业务赋能,这一话题正在随着生成式AI的持续火热发酵。 事实上,人工...

如何应用好生成式AI的技术为企业的业务赋能,这一话题正在随着生成式AI的持续火热发酵。

事实上,人工智能技术已经发展超过十年,但是近年来,随着大数据整个容量的激增,机器学习技术的快速迭代,以及底层丰富的资源包括计算能力的高度扩展,才使得生成式AI在今天得以爆发。

也就是说,生成式AI的核心是利用机器学习领域的一个模型创新驱动的,这不是魔法,而是一项不断演进的技术。其核心技术是基础模型,包含着大量的参数,能够学习复杂的概念,因而能够执行多种任务——通过接触大量的来自于不同形态和模式的互联网规模数据,基础模型学会了在广泛的上下文之中能够应用知识。此外,基础模型同样可以利用私有数据对基础模型进行微调,能够执行面向特定领域的各个任务。

“不过,生成式AI远远不只是以模型和AI这么简单。基础模型只是在海面上的冰山一角,为了支持好这个冰山一角,冰川的底部有多个服务来支撑,比如说加速芯片、存储优化、数据库、大数据分析、安全服务等。”亚马逊云科技大中华区产品部总经理陈晓建日前在亚马逊云科技生成式AI构建者大会上表示,亚马逊云科技提供了完整的端到端的生成式AI的技术堆栈,从底层的加速芯片、存储优化到中间层的构建服务和工具等,再到最上层的生成式AI的应用,每一层都在针对客户的不同需求持续创新。

从典型场景入手创新业务模式

根据麦肯锡在今年6月份发布的生成式AI生产力前沿的技术报告,在生成式AI所带来的经济效益之中,大概有3/4来自于下面四个领域分别是:营销和销售、产品和研发、软件工程和客户运营。陈晓建认为,这些典型的应用场景为客户带来三个方面的价值:增强用户的体验、提升员工的生产力和创造力以及优化业务流程。

据了解,Salesforce将Amazon Bedrock和Amazon Titan集成到其生成式AI产品中,使客户能够在Salesforce Data Cloud上轻松安全地使用其数据,以构建生成式AI应用;海尔创新设计中心利用生成式AI能够实现文生图、图生图、定量图和全场景图四个方面的提效,上线后,自动化设计系统应用让相关业务的操作周期缩短了20%;国内知名的游戏客户上海沐瞳科技,正在携手亚马逊云科技使用生成式AI技术Amazon Bedrock,优化游戏开发领域的业务流程。

生成式AI工具和基础设施的“正确” 打开方式

基础模型的发展和迭代是前所未见的,2019年最大的预训练模型是3.3亿个参数。但是在2023年,整个大模型最大的参数已经超过了五千亿个。也就是说短短四年,整个参数的迭代超过了1600倍。

从最开始出现的像Transformer这样的模型,到去年的GPT3.5、Stable Diffusion,再到今天的GPT4、Llama2、Claude2等模型,每个模型都具备着自己独有的场景和优势。正是因为这样,没有一个基础模型可以适用于所有的业务场景。

此时,对于客户而言,他们需要根据自己的场景选择一个最适合自己的基础模型。基于客户的需求,亚马逊云科技推出了Amazon Bedrock和Amazon SageMaker JumpStart两项服务,帮助客户去安全、便捷地选择最适合自己的业务模型。

Amazon Bedrock是企业使用基础模型构建和扩展生成式AI应用程序最最简便的方法,它提供了广泛的模型选择、数据隐私,能够自定义模型,并且它是无服务器化的应用,无需去管理底层的基础设施。通过Amazon Bedrock可以轻松地将你的数据作为一个战略资产来自定义基础模型,打造差异化的优势。

同时,Amazon Bedrock提供了广泛的基础模型以供选择,包括来自于业界的头部厂商,像Meta、Anthropic、Cohere、AI21 Labs、Stability AI等第三方领先供应商,以及亚马逊云科技自研的Amazon Titan模型家族。

而且,Amazon Bedrock在开发之初就考虑到了安全性和隐私保护,帮助客户保护敏感数据:用户的任何数据都不会被用于训练任何原始大模型,且可以配置客户的私有环境,这个环境和其他用户之间都是安全隔离,数据完全加密。

“除了Amazon Bedrock,亚马逊云科技还提供了Amazon SageMaker JumpStart作为另外一个您可以使用的生成式AI的平台。”陈晓建表示,通过Amazon SageMaker JumpStart可以获得更多的来自工业界和学术界的一些开源模型,同时提供了一个深度的定制环境和评估的功能。

与Amazon Bedrock相比,Amazon SageMaker JumpStart需要客户管理应用程序架构中的模型部署、配置和托管,但拥有更大的灵活度和自由度对基础模型进行定制,客户可以从Amazon SageMaker Jumpstart中选择开源的基础模型,然后根据自身需求可以选择全量微调,轻量微调等不同方式,进一步确定微调框架,利用分布式训练实现微调,从而更好的评估微调效果。

此外,Amazon Bedrock提供了一个无需编写代码就可以实现的叫做托管代理(Amazon Bedrock Agent),帮助客户执行这些复杂的任务。“开发者只要点击几个鼠标就可以完成人工智能的应用程序,它帮您自动分解和编排任务,通过API连接到相关的数据源,并且可以连接到后端的Amazon Lambda来执行任务。”

当然,用户所需要的不仅仅只是一个针对于生成式AI所构建的专门工具,他们还同样需要一个高性能、低成本的基础设施。

10多年来,亚马逊云科技对全球基础设施进行深度投资,能够为客户提供广泛的加速器选择,包括强大而灵活的基于GPU的解决方案,例如基于英传达最新GPU芯片H100 Tensor Core的Amazon EC2 P5实例,与上一代相比速度快6倍,训练成本节省40%;还有基于亚马逊云科技自研的机器学习推理芯片Amazon Inferentia2推出的Amazon EC2 Inf2实例,与其他类似的EC2实例相比性价比高40%;基于自研机器学习训练芯片Amazon Trainium推出的Amazon EC2 Trn1实例,与同类实例相比训练成本节省高达50%。

夯实数据底座,打造差异化优势

数据是将通用人工智能转变为了解您的业务和客户的人工智能生成模型的关键。面向生成式AI构建强大的数据“基座”,不仅需要一套全面的服务,以便能够存储用于构建和微调模型的各种类型的数据,还需要服务间的集成,以打破数据孤岛,确保能够随时访问所有数据,更重要的是还需要在构建生成式AI应用程序的整个生命周期中,确保数据安全并对其进行管理。

“亚马逊云科技提供了一个广泛的工具组合提供一个端到端的数据服务,从存储到查询、分析数据到通过商业智能,机器学习和生成式AI来使数据发挥作用,还有服务能够帮助你轻松地集成和治理数据,同时能够通过有效的安全策略来管理数据的应用和开放。”陈晓建表示,亚马逊云科技针对生成式AI领域的用户个人信息、会话信息管理、私域知识库等应用场景都提供了专门构建的数据库。

在数据集成方面,ETL(数据的抽取Extract,转换Transform,加载 Load)是端到端数据旅程迫切需要解决的问题,亚马逊云科技提出“Zero-ETL”的愿景,并采用了相应的创新,如推出的Aurora Zero ETL for Redshift Integration, 允许存储在Amazon Aurora中实时产生的业务数据,无需ETL工具,以自动的方式同步到数据仓库Amazon Redshift中,以供近实时的进行海量数据的聚合分析。

数据治理方面,亚马逊云科技提供Amazon DataZone这一全新的数据治理服务。Amazon DataZone让客户能够跨组织边界发现、访问、共享和治理大规模数据,并减少企业内部成员访问数据和使用分析工具时繁重的工作量。

加速AI应用构建

构建生成式AI的的历程,往往一般都分为前端业务和后端业务:前端业务连接到终端客户或者终端设备;后端往往是作为一个大数据分析的平台,把业务数据综合分析。也由此产生了两个概念——前端在线交易(OLTP)和后端分析类(OLAP)。

通过业务的逐渐发展,往往整个业务的逻辑会变得越来越复杂,数据的规模变得越来越大,从而导致它的灵活性和可扩展性逐渐降低。在这个时候作为前端的业务来讲,分而治之是一个很好的治理理念。

可以把一个复杂的电商系统分割成为一个商品模块、订单模块和用户管理模块。每一个模块只做一件自己专业的事,不同模块之间会通过一些原子化的API来进行互联,这就是微服务概念——把一个系统拆分成多个微服务,而每个微服务只是执行一个特定的业务功能,这样的话会大大降低整个系统的复杂度,而便于运营和维护。

后端数仓会成为一个数据湖,随着业务的逐渐扩大,所需要的数据往往不光只是一些结构化的数据。此时它的价值在于能够以任何格式来存储各种类型的数据,并且它能够处理海量规模的数据。通过这些把不同的数据进行汇总,交叉分析,产生更好的用户分析结果。

亚马逊服务百万客户无数次变化的现代化应用转型过程中,积累了一些不变的经验,以分享给生成式AI时代的构建者:以微服务化和事件驱动架构为核心的设计框架,松耦合的去处理每个功能模块之间的互相依赖;Serverless First简化运维,提升效率;数据决策优先;安全围栏;避免重复造轮子,持续现代应用治理理念投入。

让生成式AI服务“开箱即用”

Amazon CodeWhisperer是一款人工智能编码伙伴,在基础模型高级选项中使用,可以实时生成代码建议,从根本上提高开发人员的生产力。数据显示,与未使用的参与者相比,使用Amazon CodeWhisperer的参与者完成任务的速度平均快57%,成功率高27%。

值得一提的是,Amazon CodeWhisperer可以提供更多、更优的建议,因为它可以和客户内部的API、数据库和最佳实践和架构模式可以打通,有了这个功能之后,客户可以把自己私有的知识库连接到Amazon CodeWhisperer里,只需要点击几次,就可以定制Amazon CodeWhisperer生成一个包括内部代码库的实时推荐。

目前Amazon CodeWhisperer已经帮助1000多家中小企业实现了生成式AI的创新,已经有超过10万中国开发者使用Amazon CodeWhisperer。

写在最后

显然,开发生成式AI应用是一个充满挑战的系统工程,并不是单纯的产品和服务拼接,因此,如何加速客户最终应用的商业化落地,除了本身的资源以外,亚马逊云科技同样需要构建强大的合作伙伴生态,与它们一起助力解决生成式AI应用构建中的各种技术问题,加速应用落地。

对此,亚马逊云科技专门提供了解决方案架构师、产品技术专家、人工智能实验、数据实验室、快速原型团队、专业服务团队、培训与认证部门等多个资源共同助力客户成功,同时携手生态合作伙伴与初创圈构建生成式AI的完整体系,进一步助力生成式AI技术的落地。

“在生成式AI的今天,我们的使命依然没有改变,亚马逊云科技希望携手合作伙伴和初创圈,能够去不断扩大生成式AI的朋友圈,通过提供的为生成式AI所打造的工具和服务,致力于实现生成式AI技术的普惠化,让更多的应用通过生成式AI进行重新构建。”陈晓建如是说。

标签:
版权声明:本文版权归数字商业时代所有,未经允许任何单位或个人不得转载,复制或以任何其他方式使用本文全部或部分,侵权必究。