GenAI 带来的机遇与担忧

个人和组织将生成式人工智能用于各种用途和applications，包括内容创作、自然语言处理和数据合成。 在内容创作方面，它有助于生成从诗歌、学术论文和营销材料到图像、视频、音乐和计算机代码的所有内容。 在自然语言处理领域，生成式人工智能增强了聊天机器人和语言翻译，并能够合成大量数据，从而激发产品设计、开发和原型设计的创造力。 在组织内部署 GenAIapplications可以为人类员工提供支持，帮助他们做出更好、更明智的决策，提高运营效率，从而提高盈利能力和业务增长。 

然而，生成式人工智能也带来了巨大的安全和道德问题，包括潜在的偏见、增强的网络攻击和隐私风险。 例如，生成式人工智能可以使用大型语言模型 (LLM)，该模型是根据从互联网上系统抓取的内容（包括在线书籍、帖子、网站和文章）进行训练的。 生成模型从训练数据中学习，如果使用的数据有偏差，模型可能会延续甚至放大其输出中的现有偏差。 此外，生成式人工智能可能会无意中生成误导性或虚假信息（称为幻觉），从而导致错误信息的传播。 不良行为者还可以利用 GenAI 来传播和调整可能导致社会动荡的宣传。 现在，恶意行为者普遍利用生成式人工智能来创建深度伪造内容，这些内容虽然逼真，但经过操纵，可能会产生误导或恶意。 Deepfakes 可用于身份盗窃、社会工程或网络钓鱼攻击、传播虚假信息或创建对个人和社会构成威胁的欺骗性内容。 暗网市场现在提供 FraudGPT AI 工具，可用于制作鱼叉式网络钓鱼电子邮件、创建无法检测的恶意软件、生成网络钓鱼页面、识别易受攻击的网站，甚至提供有关黑客技术的教程。

用于培训大语言模型(LLM) 的内容可能会在未经同意的情况下被访问并用于模型训练，其中还可能包含个人和敏感信息以及受版权或专有的内容。 由于这些私人信息都是人工智能在生成内容时提取的内容的一部分，因此存在输出可能无意中泄露敏感数据或私人信息的风险。 

根据欧盟《通用数据保护条例》（GPDR）等政府法规中的“被遗忘权”或“删除权”指令，生成式人工智能供应商可能不会为个人或组织提供一种方法来确认他们的个人或专有信息是否已被存储或用于培训目的，或要求删除这些信息。 LLM 培训还经常涉及汇总和利用来自不同地区或国家的数据。 这可能会导致可能损害数据主权法规的情况。 

生成式人工智能applications的类型

生成式人工智能对组织和行业有多种applications，将 GenAI 合理地纳入适当的工作流程可以帮助企业获得竞争优势。 这些applications包括：

• 书面内容创作。 生成式人工智能可以自主生成类似人类的文本，用于文章、博客、个性化消息、活动广告文案和许多其他用途。 虽然人工智能生成的内容通常需要人工审核，但它可以通过以所需的风格和长度制作初稿、总结或简化现有的书面内容以及提供内容大纲来简化人类作家的写作过程，从而促进内容创作。 
• 图像和视频创作。 生成模型可以合成或改变来自文本或视觉输入的图像和视频，根据请求的设置、主题、风格或位置创建独特而逼真的视觉内容。 这些视觉材料在媒体、设计、广告、营销、教育和娱乐领域有着丰富的商业applications。 GenAI 还可以为游戏和虚拟环境创建角色和逼真的场景。 
• 增强客户支持自动化。 生成式人工智能可以帮助推动高级聊天机器人和对话代理的开发，使其能够进行更自然、更具情境相关性的对话，特别是在预定义响应可能不足的情况下。 自适应对话代理可以动态生成内容，例如即时产品推荐或根据特定用户偏好定制的响应。 这些情境感知聊天机器人和代理可以帮助企业节省时间和资源，同时改善客户体验并降低支持成本。
• 代码生成。 使用 GenAI 进行代码生成可以使软件开发过程更加高效、富有成效。 它可以通过多种方式协助代码开发，包括自动代码完成（在开发人员输入时建议代码完成）；检查代码质量、错误和缺陷；以及自动对遗留代码进行现代化改造。 自动代码生成有助于快速原型设计，使开发人员能够快速试验想法并测试不同的编码选项，以实现更高效的软件开发工作流程。 GenAI 还为非技术人员提供了编码机会，因为用户可以输入代码应执行的操作的自然语言描述，然后生成代码工具会自动创建代码。

什么是生成式人工智能安全？

生成式人工智能安全是一套实践和措施，旨在解决与基于 GenAI 的applications的开发、部署和使用相关的潜在安全风险和挑战。 随着这些技术变得越来越普及和复杂，与安全相关的问题变得越来越重要，特别是当人工智能工作负载已成为网络犯罪分子的主要攻击面时。 为了深入了解部署和管理 GenAIapplications所涉及的安全风险，请查看OWASP 大型语言模型applicationsTop 10 ，旨在提高人们对其漏洞的认识，提出补救策略，并寻求改善 LLMapplications的安全态势。  

GenAI 基础设施的安全风险

虽然GenAI 看起来非常强大且几乎具有魔力，但它利用与传统工作负载相同的一些基础设施、接口和软件组件，因此具有相同的风险，例如注入攻击和绕过弱身份验证和授权控制的攻击。 复杂的生成式 AI 模型的有效运行需要可靠、高性能且安全的基础设施。 

基础设施攻击还包括拒绝服务 (DoS) ，其中攻击者利用硬件资源（例如 CPU、内存或存储）来破坏生成性 AI 工作负载的执行。 这些资源耗尽攻击可能导致性能下降或系统不稳定，影响人工智能系统的可用性和可靠性，并损害模型学习和响应用户提示的能力。

未授权访问AI 系统基础设施也对 GenAI 工作流程构成重大威胁，可能会影响系统的机密性和完整性。 入侵系统基础设施可能导致数据盗窃、服务中断或恶意代码插入等恶意活动。 这不仅危及人工智能模型和数据的安全，还可能导致不准确或有害输出的产生和传播。

GenAI 训练数据的安全风险

任何 GenAI应用的起点都是机器学习模型用来识别所需模式、做出预测和执行任务的训练数据。 为了使 LLM 具有强大的能力，其训练数据需要涵盖广泛而多样的领域、类型和来源。 然而，模型训练过程——无论是采用现成的、预训练的模型还是在自定义数据集上训练的定制模型——都容易受到操纵和攻击。 

对抗性攻击涉及不良行为者故意操纵输入数据以误导或损害生成式 AI 模型的性能，OWASP 将此过程定义为训练数据毒害。 它还包括操纵数据以引入可能损害模型的安全性、有效性或道德行为的漏洞、后门或偏见。 这些漏洞还引入了攻击媒介，不良行为者可以利用这些攻击媒介来获取对敏感信息的未授权访问。 受损的模型供应链可能导致输出出现偏差或不可靠、隐私泄露以及未经授权的代码的执行。 这对于 GenAIapplications来说尤其令人担忧，因为它们采用了庞大的插件生态系统。 

GenAI 模型面临的安全威胁

GenAIapplications采用 LLM，根据训练数据集、神经网络和深度学习架构生成输出，以对用户提示做出响应。 人工智能模型是识别现有数据中的模式、结构和关系的基础，并基于这种理解生成新的输出。 

人工智能模型容易受到各种攻击，包括提示注入和其他输入威胁，这些攻击通过输入精心设计的提示来操纵 LLM，使模型忽略先前的指令或执行非预期的操作。 及时注入是人工智能模型生成错误信息和虚假内容的最普遍原因之一。 GenAI应用s还容易受到服务器端请求伪造 (SSRF)等漏洞的影响，这允许攻击者执行非预期的请求或访问受限资源，以及远程代码执行 (RCE) ，这可以让应用在底层系统上执行恶意代码或其他操作。

生成式人工智能安全的最佳实践

保护 GenAI 系统需要多层次的安全方法。 这应该涉及强大的身份验证和授权协议，包括严格的访问控制，以确保只有授权人员才能访问系统的关键组件。 实施主动的漏洞管理，包括定期的软件更新和持续的监控，以便尽早发现和预防入侵企图。 为了抵御 DoS 攻击，请在系统中建立冗余，包括使用备份服务器和故障安全协议来确保持续的处理可用性。 LLM 也可能遭受拒绝服务攻击，因为用户提示会生成令牌，并且 LLM 具有固定的上下文窗口，这些窗口可能会成为攻击目标，从而耗尽系统资源。 

组织应该实施严格的审查流程来验证训练数据的供应链，并且只从可信来源选择预训练模型。 由于训练数据中的劣质数据和偏差会阻碍模型学习准确表示和产生可靠结果的能力，因此在将数据输入生成模型之前对其进行预处理对于有效的 GenAI 至关重要。微调模型在许多受监管行业中也至关重要。 数据清理、规范化和增强、偏见检测和缓解等技术可以帮助防止错误和数据中毒。

实施强大的访问控制、加密方法和安全部署实践（包括网络隔离和适当的防火墙配置），以保护生成式 AI 模型免受潜在的安全威胁。 为了防止提示注入，请使用提示清理、输入验证和提示过滤等技术来确保模型不会被恶意制作的输入所操纵。 通过采用安全编码实践、进行彻底的代码审查以及利用代码沙盒等运行时防御措施，可以降低未经授权的代码执行风险。 即时注射是 GenAIapplications最严重和最复杂的风险之一。 

优化生成式 AI 模型

由于 GenAI 处理可能需要大量资源，因此优化生成式 AI 模型以提高性能和效率是使模型更快、更具可扩展性和更节能的重要一步。 

多云环境已经成为人工智能applications的基础，因为它们能够跨分布式环境连接人工智能工作负载和生态系统插件。 多云网络(MCN)可以根据生成性 AI 工作负载的计算需求（包括图形处理单元 (GPU) 等硬件加速器）灵活地动态扩展或缩减资源，并将来自不同云提供商的资源集成到数据处理中，以优化性能并最大限度地减少延迟。 跨多个云区域部署 GenAI 模型可以实现处理的地理分布、减少延迟并缩短响应时间，这对于分布式实时或交互式 AIapplications尤其重要。 边缘 AI 正在成为改善用户体验的一种宝贵方法。 GenAI 模型的区域分布还可以允许组织按照数据主权要求存储和处理数据。

容器编排平台Kubernetes是运行 GenAI 工作负载的事实标准，它提供了在容器中运行和扩展 AI 模型的基础设施，以确保高可用性和高效的资源利用率。 Kubernetes 作为编排器，管理 AI应用内各个组件的部署和监控，并确保 AI 模型、数据处理管道和其他服务能够得到有效的管理和扩展。 由于 Kubernetes 的多种实现以及需要统一配置工作负载、安全地引导流量和分配推理，MCN 和入口控制器至关重要。  

API为 AI应用的各个部分提供了交换数据和指令的连接组织，使不同的组件和服务能够相互通信。 例如，GenAI 插件生态系统通过 API 调用连接。 Kubernetes Ingress 解决方案提供内置的负载平衡、速率限制和访问控制功能，可在多个 pod 之间安全地分配流量，以提高 AI 工作负载的整体处理性能。

GenAI 优化中的挑战

平衡输出速度和质量通常涉及 GenAI 优化的权衡。 实现高质量的输出通常需要更复杂、资源密集的模型和计算，而性能优化可能涉及模型简化，这会影响生成内容的质量。 更复杂的模型可能还需要更长的训练时间并导致推理速度更慢，从而影响训练过程的速度和实时applications的性能。 对于必须适应动态环境的 GenAI 模型来说，这尤其是一个问题，因为它需要不断优化，并在保持质量和性能之间的平衡方面带来挑战。 除了GPU之外，还可以使用通用的中央处理器（CPU）和数据处理单元（DPU）来处理任务——凸显了智能流量管理和资源池化的重要性。

GenAI 优化技术

优化生成式人工智能模型需要平衡考虑和组合多种因素。 

模型修剪涉及从模型中识别和删除冗余或不太重要的参数，以减少其大小和计算要求，目标是在保持性能的同时创建更紧凑的模型。 量化通过以较低的位精度表示数值（例如将浮点数转换为低精度定点或整数表示）来降低 GenAI 模型的内存要求和计算复杂性。 这可以降低内存需求并提高部署和存储模型的效率。 

迁移学习是一种机器学习技术，其中针对一项任务训练的模型可以适应执行另一项相关任务，从而显著减少训练所需的时间和计算资源，特别是对于深度和复杂模型。 迁移学习有助于有效地重复使用知识，从而无需大量计算资源即可针对特定applications优化生成式人工智能模型。 

通过跨多个处理器、设备或云分布模型训练和推理，可以利用并行处理能力优化模型训练和用户体验。 此外，通过定制模型架构和训练过程来充分利用硬件的个体功能（例如，运行它的特定 CPU 或 GPU），可以优化训练和推理过程，从而提高性能——尤其是如果推理可以在靠近用户的地方进行。

利用 F5 实现生成式 AI

生成式人工智能有可能带来巨大的竞争优势，但为了让组织充分利用其优势而不受风险影响，他们必须采取必要的措施来优化和保护多样化分布式环境中的人工智能工作负载。 这不仅需要提高 AI 工作负载的效率，还需要管理复杂的 Kubernetes 生态系统、无缝且安全的 API 集成以及有效管理多云网络。 

F5 优化了现代 AI 工作负载的性能和安全性，确保在整个分布式应用环境（包括数据中心、公共云、私有云、多云、原生 Kubernetes 和边缘）中生成 AI 模型和数据的一致分布和保护。 F5 提供底层统一的数据结构，支持大规模生成式 AI 模型的训练、改进、部署和管理，确保无缝的用户体验并支持 AI 驱动应用s中的实时决策。 

F5 提供一套集成的安全、交付和性能优化解决方案，可降低生成性 AI 的复杂性，同时提供可预测的规模和性能，并通过单一窗口实现集中的可视性和管理。

• F5 安全多云网络 (MCN)降低了在分布式环境（云、多云、边缘）中管理和部署 AI 工作负载的复杂性，而无需点对点连接解决方案的复杂性和管理开销。
• F5 分布式云网络连接通过基于 SaaS 的工具提供跨任何环境或云提供商（包括本地数据中心和边缘站点）的第三层连接，该工具提供端到端可视性，自动配置链接和网络服务，并支持在所有站点和提供商之间创建一致的、基于意图的安全策略。 
• F5 分布式云应用连接是一种服务，为分布在多个云区域、提供商和边缘站点的 AI 工作负载提供应用程序到应用程序的连接和编排。
• F5 分布式云应用堆栈可通过跨环境的统一生产级 Kubernetes 轻松部署、管理和保护 AI 工作负载，简化 AI 工作负载的生命周期管理，并提供一种将推理分发到跨资源池（即使在边缘）的正确处理器（CPU/GPU/DPU）的方法，以最大限度地提高性能。 
• 适用于 Kubernetes 的 F5 NGINX 连接堆栈是一个单一工具，包含入口控制器、负载均衡器和 API 网关功能，为 Kubernetes 中运行的 AI/ML 工作负载提供快速、可靠和安全的通信，增强正常运行时间、保护和大规模可见性，同时降低复杂性和运营成本。 
• F5 分布式云 Web 应用和 API 保护 (WAAP)可保护支持 AI 特定交互的 API，并降低与未授权访问、数据泄露、业务逻辑滥用以及 SSRF 和 RCE 等严重漏洞相关的风险，同时通过结合管理和执行功能，提供全面的运行时分析和保护 API 的方法。
• F5 分布式云机器人防御基于对设备和行为信号的实时分析提供高效的机器人保护，以揭露和缓解自动恶意机器人攻击，快速适应攻击者在全球流量最大的数千个applications和 AI 工作负载中重新装备的尝试 - 消除使用机器人和恶意自动化来毒害 LLM 模型、造成拒绝服务和传播宣传的不良行为者。 

通过优化效率、减少延迟和缩短响应时间，F5 技术可帮助组织安全地获得生成式 AI 的优势，同时确保无缝的用户体验并支持在任何地方部署 AI 工作负载的灵活性。