派拓网络：潜伏在企业中的AI风险

如今，市场上有成千上万种生成式人工智能（GenAI）工具，每月都有几十种新的AI应用推出。事实上，一半以上的员工很可能已经在使用它们提高工作效率，而且随着更多AI应用和AI用例的出现，AI应用的采用率预计还会增加。

问题在于这些第三方生成式AI应用大多未经审查或批准就被用于工作，这会给企业带来严重的风险。IT和信息安全团队必须对企业技术生态中所使用的第三方应用进行审查和批准，这是因为他们需要了解正在使用的应用、这些应用是否安全，以及有哪些敏感的公司数据（如果有的话）进入了这些应用。他们还要考虑应用开发商如何处理漏洞等问题，以及有哪些控制措施可以将访问权限限制或控制在仅限员工开展工作所需的范围内等事项。

采用未经许可的生成式AI应用会导致数据泄露、恶意软件等一系列网络安全问题。这是因为企业不知道谁在使用什么应用、哪些敏感信息会进入这些应用，以及这些信息进入应用后会发生什么。而且由于并非所有应用都是按照合适的企业安全标准构建的，因此它们也可能会提供恶意链接，并成为攻击者进入企业网络访问系统和数据的入口。所有这些问题都可能导致违规、敏感数据泄露、知识产权被盗、运营中断和经济损失。虽然这些应用可以带来巨大的生产力，但如果使用不安全，它们也会导致严重的风险和潜在后果，例如：

营销团队使用了一个未经许可的应用，该应用能够使用AI生成精彩的图像和视频内容。如果团队将敏感信息加载到该应用中，导致机密产品发布细节泄露，会发生什么情况？答案是您不愿看到的“病毒式”传播。

项目经理使用AI赋能的笔记应用抄录会议内容并生成摘要。但如果记录的内容包含财报公布前对季度财务业绩的机密讨论内容，会发生什么情况？

开发人员使用AI助手和代码优化服务加快产品构建。但如果从被入侵的应用中返回的优化代码包含恶意脚本，该怎么办？

这些只是出于善意使用生成式AI而在无意中增加风险的冰山一角。但不使用这些技术可能会降低企业获得竞争优势的能力，因此“一刀切”并不是解决问题的办法。企业可以而且应该考虑如何让员工安全地使用这些应用。以下是一些需要考虑的因素：

可见性：人们无法保护自己不知道的东西。IT团队在使用未经许可的应用时面临的最大挑战之一是难以及时应对安全事件，而这增加了出现安全漏洞的可能性。企业需要监控第三方生成式AI应用的使用情况，并了解与每个工具相关的特定风险。在了解正在使用哪些工具的基础上，IT团队还应了解哪些数据正在进出企业系统。这种可见性有助于企业发现安全漏洞，并快速识别和纠正。

控制：IT团队需要能够就是否阻止、允许或限制访问第三方生成式AI应用做出明智的决定，他们可以单独控制每个应用，也可以根据风险或类别进行控制。例如，企业可能想要阻止所有员工访问代码优化工具，但同时又想让开发人员访问经信息安全团队评估并批准供内部使用的第三方优化工具。

数据安全：员工是否与应用共享敏感数据？IT团队需要阻止敏感数据泄露，保护数据不被滥用和窃取。这一点对于受到监管和受数据主权法律约束的企业尤为重要。在实践中，这意味着需要监控发送到生成式AI应用的数据，然后采取技术控制手段确保敏感数据和受保护的数据（如个人身份信息和知识产权等）不会被发送到这些应用。

威胁防范：团队正在使用的生成式AI 工具可能潜伏着漏洞。鉴于许多此类工具的开发和上市速度快得惊人，团队往往不知道所使用的模型是否使用损坏的模型构建而成、是否是在不正确或恶意数据上训练而成，亦或是否存在大量AI特有的漏洞。建议采取的最佳做法是对从应用流向企业的数据进行监控，以防出现恶意和可疑活动。

尽管AI工具在实现员工工作效率最大化方面具有惊人的潜力，并且能够使企业实现营收和利润的双增长，但它们也隐藏着我们前所未见且更加复杂的新风险。企业领导者及其IT团队有责任让员工能够放心地使用AI工具，同时为他们提供宣传教育、可见性、控制措施、数据保护、威胁防范等保护手段。当安全团队知道正在使用什么以及如何使用时，他们就可以防止敏感数据泄露，并防范潜伏在不安全和被入侵AI平台内部的威胁。