在生成式AI时代,数据基础设施面临重构,而向量数据库正逐渐走到聚光灯下。在这一波变革中,Zilliz和亚马逊云科技的深度合作,给业界提供了一个可参考的技术范式与商业路径。
Zilliz并非AI热潮中诞生的新玩家。早在2018年,其团队就开始投入向量数据库的研发,并在2019年正式发布了全球首个开源向量数据库系统——Milvus。如今,该系统在GitHub上获得超过3万个星标,建立了覆盖全球数万位开发者的社区。2023年下半年,Zilliz正式启动商业化进程,并迅速跻身Forrester向量数据库领导者象限。
“向量数据库的价值并不仅仅在于更适合AI检索,而是其承接了传统数据与智能应用之间的桥梁角色。”在Zilliz合伙人与产品负责人郭人通看来,在当前AI应用迈入“下半场”的背景下,智能体从仅替代重复劳动,转向深入行业场景,开始自我生成数据。向量数据库成为这些“新数据”的天然容器与索引入口,构建起支持智能体运行的关键底座。
但在支撑这一底座的过程中,挑战也接踵而至。郭人通透露,Zilliz对数据基础设施的观察与布局,大致聚焦于四个方向:基于对象存储的系统架构、高合规性和数据安全、系统的高可扩展与高稳定性,以及全托管与智能化运维。这些方向不仅折射出AI时代基础设施的复杂性,也恰是Zilliz与亚马逊云科技合作的发力点。
以对象存储为例,Zilliz的Milvus 2.0版本即是云原生架构,计算与存储分离加深,底层大量依赖Amazon Simple Storage Service (Amazon S3)。与传统数据库“一体化”大容器不同,Milvus能将瓶颈锁定至组件级并独立弹性伸缩,大大降低了成本压力与扩容复杂度。
“如果整体扩展,肯定是解决问题的。但是对于 AI 应用来说,性能要求高、数据量大,如果这种扩展方式,其实很多时候会导致成本难以承受。因此,原生一定是组件级的弹性,而不是全系统级的弹性。”郭人通表示,这样就可以哪个组件出现瓶颈,就扩展哪个组件来解决问题,从而聚焦用户对成本和扩展灵活度的需求。
但这只是底层技术的冰山一角。随着AI落地场景逐渐“走深”,合规与安全问题开始前置化、常态化。尤其是涉及跨国运营的客户,对区域监管要求、数据驻留政策等方面提出更细致的诉求。
其中,BYOC可以理解是基于 SaaS 和私有云的中间的形态。SaaS 将数据和所有管理控制都交给供应商;私有云是另外一个极端,供应商不接触任何数据,只是软件部署到客户环境,而不是将客户数据放到供应商环境中。
这一切得益于Zilliz与亚马逊云科技在多个层面的协同。例如在AI集成方面,Zilliz Cloud向量数据库解决方案通过应用Amazon Bedrock接入从文本到图像的一系列强大的基础模型,为企业提供原生的模型集成能力,支持用户构建Embedding流程与复杂的数据检索流程,轻松将非结构化数据转换为嵌入 ( Embedding) 向量,简化数据处理流程,充分释放非结构化数据潜能。
多实例类型与大规模部署方面,Zilliz Cloud 基于Amazon Elastic Compute Cloud (Amazon EC2)丰富的实例类型,提供了包括性能型、容量型、存储扩展型等多套深度优化的解决方案,满足用户不同的负载需求。此外,基于Kubernetes容器编排服务Amazon Elastic Kubernetes Service (Amazon EKS) ,Zilliz可以在亚马逊云科技上使用Kubernetes 轻松部署、管理和扩展容器化应用程序,提升整体资源利用率,并加速产品发布与迭代过程。
存算分离方面,Zilliz Cloud 基于云中可大规模扩展的对象存储服务Amazon Simple Storage Service (Amazon S3)构建高可靠的数据存储与存算分离架构模式,大幅提升数据存储效率。
安全合规方面,通过应用Amazon Key Management Service (Amazon KMS)、Web应用程序防火墙Amazon WAF、Amazon ALB、Amazon GuardDuty等一系列网络和安全服务,Zilliz可持续监控恶意活动和未经授权的行为,构建安全可靠的向量数据库服务,实现对数据、应用和基础设施的安全保护,平均每日抵御上千条异常访问。
此外,Zilliz应用Amazon Q 帮助技术团队更快熟悉亚马逊云科技的服务,简化信息访问、加强信息检索与优化配置,相比直接阅读产品文档,可为技术人员节省50%以上的检索时间。
采访中,郭人通分享了两个典型客户案例。其中一个某跨境电商企业引入Zilliz Cloud基于亚马逊云科技提供的向量数据库服务,可满足全球多个业务区域的数据合规要求,通过Zilliz Cloud覆盖环境、存储、数据传输、流程、访问控制、审计等完整的数据安全措施,实现向量数据库基础设施的高级别合规与数据安全。此外,基于亚马逊云科技全球覆盖的基础设施,Zilliz为此电商客户提供全球统一的数据架构与服务,避免重复构建成本。
谈到Zilliz实现全球化经营的经验,郭人通认为最重要的是构建“全球本土化”的能力。不同地区有不同打法,只有构建本地化的组织团队,真正贴近用户需求,才有可能走得远。以Zilliz自身为例,总部位于硅谷,但是早期即设定全球化目标,在北美、欧洲、日本和中国、新加坡等多个地区都组建了本地团队,打磨产品、运维和服务能力,也因此具备了快速部署、快速适配的能力。
不过,要做好“数据库”这种被公认为与编译系统、操作系统并列为“计算三大核心系统”之一的产品,并非一日之功。Zilliz的研发代码体量巨大,投入周期长、工程门槛高,依赖社区反馈与持续优化。“我们看到的是,AI时代对基础设施的要求,比以往任何时候都高。”郭人通指出,“即便现在SaaS架构非常成熟,运维自动化程度也高,但真正能在全球范围内大规模支撑AI应用的数据库系统,还需要经过大量打磨。”
在产品演进策略上,Zilliz也秉持“开源优先”的原则。其开源版本Milvus不仅持续更新,甚至保持比商业版本更快的迭代节奏,以此赢得全球开发者的信任与共创。
写在最后
当向量数据库成为智能体的“记忆中枢”,这场从结构化数据潜力挖掘到非结构化数据潜力挖掘的演进,也刚刚开始。Zilliz与亚马逊云科技的合作,既是全球AI基础设施的一次样板实践,也是一家开源起家的初创公司与全球云巨头共建生态的真实写照。在下一个AI浪潮袭来之前,这样的范式合作或许将成为更多技术公司参考的路径。