红帽：让大模型化繁为简

“未来AI是开源还是闭源？当然都有，但是有一点是很确定的——红帽绝对是开源。”红帽全球副总裁兼大中华区总裁曹衡康日前在接受笔者的采访时表示，如何用开源的方式，把AI带到企业将成为红帽接下来的工作重点。

事实上，在整个封闭体系下，AI生态垄断喝安全隐忧已现端倪。例如，ChatGPT起初就是利用红帽的Container技术，而如今却慢慢走向闭源。另外，与闭源环境当中，无人监督安全隐忧相比，开源的好处就是整个社区都会来帮客户共同检查“问题出在哪里”。

也就是说，将开源概念带入AI模型以及开放进化的工具，能够让用户为LLM/行业中模型作贡献，提升效率与性能，以开源方式降低拥有核心技术的门槛，让企业拥有创新自由和安全可控的发展。

曹衡康表示，就像过去红帽包含Linux在所谓的OpenShift的理念是一模一样，这是红帽行动的第一步；接下来红帽要继续以“多云”的环境来做，达到最大化利用资源，提升效率和保证安全；最后就是构建融合开放的生态体系，把模型变得更加轻量化。

在红帽整个战略来看，红帽仍然秉持过去的一个初衷——不做硬件、也不做应用，而是选择在硬件和应用之间搭出一个基础的架构，让更多的合作伙伴参与进来。例如：就“芯片”来讲，红帽支持包含NVIDIA、AMD、英特尔，甚至国内的芯片厂商；硬件方面，戴尔、HP等都适配；在基础设施层面，包含红帽目前最顶级的Linux、OpenShift以及Ansible等。

“即使做AI还是得要用传统所谓的硬件跟操作系统等，也就是说，过去传统Linux上面所跑的应用即使未来AI所做的模型也可以在Linux做的很好，让未来整个AI的模型更加有效率、更加简单化。”曹衡康强调，红帽的理念就是化繁为简，全世界应有太多的大模型了，红帽可以全部支持：包括Hugging Face、ISV、客户自身研发的模型，以及IBM合作的Granite等。

从产品和技术的角度来看，在5月的全球峰会上，红帽展示和发布的产品分类，包括：基础架构、平台、模型和AI赋能应用……将近20个产品的发布，涵盖了产品、开源社区、工具、工具链。其中不乏OpenShift AI、Linux AI的更新、新的开源项目InstructLab的发布，它可以用本身的工具让整个建模方式更加简单化，“万兆”参数成为过去式，只需要过去大型参数的万分之一的资源就可实现；以及Podman AI Lab，它是Podman Desktop的一个扩展项，能够在一个小的环境当中建模、运行AI。

具体来看，大家可以认为OpenShift AI是一个AI的平台级产品，在这个平台上主要做的是两件事情： MLOps，解决模型的创建、调整、对齐和服务/监控一系列工作，同时也可以把模型部署到OpenShift AI平台上面让应用去调用。此时OpenShift AI又发挥了另外一个功能，就是它是混合的、既可以被部署在数据中心，也可以部署在公有云、私有云。

当然，OpenShift AI不止这些，它还是AI应用的DevOps平台，可以在OpenShift AI平台上做AI应用的开发、测试、调整、上线、运行。可以说，OpenShift AI是一个集大成者，企业用了OpenShift AI平台之后可以完整地完成企业内部包括应用在内、包括模型在内、包括资源控制在内的所有的内容。

RHEL AI是一个基础模型的平台，通过RHEL AI可以在一台比较单一的服务器或者是多台服务器做基础模型，以及模型之上的“对齐、优化以及生命周期的管理。

“这个听上去跟OpenShift AI好像有一点像，尤其是在模型层所有的功能在OpenShift AI上面也可以同样的完：在RHEL AI做的所有工作都可以无缝的推送到OpenShift AI，因为在OpenShift AI里面也包含了RHEL AI这个模块。”红帽大中华区解决方案架构部高级总监王慧慧表示，RHEL AI不同的地方在于，它一个是分布式的集群环境，它的价值是为客户提供小的环境，降低模型的训练和调优工作的门槛。

此外，在RHEL AI上面做模型推理时，其实企业不必拥有任何的GPU卡。通过RHEL AI连接，消费一次就行了。“无论这个GPU资源在什么地方，它有内置的所有的数据和所有的资源池都在里面。”

需要注意的是，实施AI远不止选择一个模型那么简单。企业需要评估AI应用场景，并应用AI专业知识来为特定场景选择适当的模型，还必须处理AI实施过程中的各项显著难题，加上AI学科的高门槛和人才的稀缺性，使得情况更为复杂。

如果一个企业用户，要用开源的方式建企业的AI应用。那么，怎么开始呢？王慧慧给出了三个步骤：第一步，在资源受限的桌面环境下，采用小数据集进行实验性训练（qlora），InstructLab未来会集成到Podman Desktop里，让所有的开发人员（应用开发人员、模型开发人员）在自己的工作服务器用容器化的方式开发自己的AI应用，或者用InstructLab工具去建立和调优模型。

第二步，通过完整的合成数据生成技术，采用“教师”模型和“学生”模型的训练方法，进行生产级模型训练，并提供基本操作脚本化的工具支持。一旦初步验证通过并符合要求，个人开发人员就可以把它推送到一个比较大的服务器。比如Enterprise Linux AI，RHEL AI，在这个平台上面帮助用户用一套完整的数据生成技术，进一步把做好的基础模型进行生产化的模型训练。

第三步，在更大的分布式集群的环境下，与RHEL AI一样进入了生产级的模型训练。同时，充分利用Kubernetes扩展、自动化并实现MLOps的全部功能。

“如果企业用户在做AI应用的时候，想要先从一个小应用、小模型、小规模的尝试开始，完全可以从Podman和InstructLab开始。”王慧慧表示，当客户觉得没问题了，可以进一步尝试把它推送到RHEL AI，甚至是OpenShift AI。

写在最后

从开源来看，红帽是三十年的公司了，其覆盖的领域也逐渐扩展至通信、制造、工业控制等领域。从未来的整体战略来看，曹衡康认为，AI最重要的就是生态，所以红帽要打造自己的AI生态圈——开源技术和复杂的工作由红帽负责，客户未来直接以最简单的方式和最低的使用门槛解决复杂的AI问题。