OneAdvanced 如何在英国主权 AWS 上部署 50 多个 AI 智能体

#OneAdvanced 如何在英国主权 AWS 上部署 50 多个 AI 智能体

本文与 OneAdvanced 团队共同撰写

在英国（United Kingdom, UK）主权 AWS 架构上部署 AI 智能体，需要对模型托管、数据驻留和智能体编排做谨慎决定。OneAdvanced 是一家总部位于英国的企业软件提供商，服务超过 10,000 家客户。他们需要交付 AI 能力，同时确保没有任何数据离开英国。当时，他们想要的具体模型 Llama 4 Maverick 和 Llama Guard 4，尚未通过英国区域的托管服务提供。OneAdvanced 走了另一条路：在他们完全控制的 AWS 基础设施上自托管开放权重大语言模型（large language model, LLM）。

在本文中，我们描述 OneAdvanced 如何使用 Amazon SageMaker AI 上的 Llama 4 Maverick 和 Llama Guard 4 构建英国主权 AI 方案。该方案把一条由 Amazon Aurora PostgreSQL-Compatible Edition 与 pgvector 扩展支撑的检索增强生成（Retrieval Augmented Generation, RAG）流水线，与由 Strands Agents SDK 驱动的 50 多个专用智能体，以及运行在 Amazon Elastic Container Service (Amazon ECS) 上的工具层组合在一起。我们会走过架构、关键实施决定和结果。

挑战：数据主权与模型托管

OneAdvanced 向医疗、法律和许多其他受监管行业的组织提供面向行业的软件即服务（software as a service, SaaS）方案。他们的客户每天处理敏感数据，包括患者记录、法律案卷和合规文档。这些客户期望 AI 工具满足严格的数据驻留、安全和隐私标准。

正如 OneAdvanced 首席技术官 Andrew Henderson 在 OneAdvanced AI 发布视频 中所说：

“数据主权，尤其在英国，对我们的许多客户是硬性要求，特别是公共部门和高度受监管行业的客户。他们需要确切知道数据在哪里、谁能访问，以及数据处于英国的法律和监管框架之内，以支持完全的合规与信任。”

OneAdvanced 最初用 Amazon Bedrock 做原型，并在两周冲刺内看到快速结果：聊天补全、一个用于查询英国成文法的 Amazon Bedrock Agent、Snowflake 数据集成，以及图表生成。

然而，为满足主权要求，OneAdvanced 需要把模型专门托管在他们自己位于英国的 AWS 账户中。在这次合作时，他们想要的模型 Llama 4 Maverick 和 Llama Guard 4 尚未通过英国区域的 AWS 托管服务提供。自托管意味着要部署、服务并扩展这些模型，同时围绕它们构建可用于生产的方案。这包括内容审核、文档检索、智能体编排，以及给非技术用户用的无代码智能体构建器。

方案概览

下图展示 OneAdvanced AI 方案的高层架构。

图 1：OneAdvanced 英国主权 AI 方案的高层架构

该架构使 OneAdvanced 能够实现完整的英国数据主权和快速的智能体部署，在保持对模型服务基础设施完全控制的同时，支持他们的 ISO 42001 AI 治理认证。

方案由四个组件组成。vLLM 在 Amazon SageMaker AI 上服务 Llama 4 Maverick (FP8) 和 Llama Guard 4，运行在伦敦（eu-west-2）区域的 p5.48xlarge 实例上。50 多个 Strands 智能体运行在 Amazon ECS 上，每个都有自己的系统提示、工具配置和可选输入表单，智能体配置存储在 Amazon DynamoDB 中。上传到 Amazon Simple Storage Service (Amazon S3) 的文档会被转换成 Markdown、分块，并嵌入 pgvector 以供检索。Llama Guard 4 在请求到达主模型之前，检查用户输入是否含有害内容。

一次典型请求的流向是这样的：用户发送消息，Llama Guard 检查其中的有害内容（在主推理模型之前评估）。请求被路由到 Amazon ECS 上合适的 Strands 智能体。智能体按需调用工具，并从 pgvector 和 Amazon S3 检索相关文档，或调用包括网页搜索在内的专用工具。

前提条件

要在 AWS 上自托管 AI 模型，你需要以下资源和技能：

• 一个 AWS 账户，在目标区域可以访问 p5.48xlarge 实例。关于申请 GPU 实例配额的信息，请参阅 Amazon SageMaker AI 开发者指南。

• 在 Amazon ECS 上部署容器，以及用 Amazon S3 管理存储的中级知识。入门请参阅 Amazon ECS 开发者指南。

• 对所选 AI 模型权重的访问（Llama 4 Maverick 和 Llama Guard 4 需要在 Hugging Face 上接受许可）。

• 使用基于 Python 的机器学习（machine learning, ML）框架和容器编排的经验。

• 一个启用了 pgvector 扩展的 PostgreSQL 数据库，用于向量相似度搜索。

在 Amazon SageMaker AI 上部署模型

OneAdvanced 使用 Amazon SageMaker AI 端点上的 vLLM 服务 Llama 4 Maverick（meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8）和 Llama Guard 4（meta-llama/Llama-Guard-4-12B）。他们在伦敦区域的 p5.48xlarge 实例上部署，使用 Hugging Face 模型与 AWS Deep Learning Containers。

更长的上下文窗口推动了向 P5 实例的迁移。OneAdvanced 的目标是 120K–128K token 的上下文长度，以支持大型文档分析和多轮对话等用例。在与 AWS 的顾问合作期间，用 vLLM 在 P5 实例上做的负载测试验证了基础设施能够处理他们的吞吐量要求。OneAdvanced 从 p4d.24xlarge 实例开始，生产环境迁到 p5.48xlarge，并利用 GPU 计算的预留实例折扣。

在观察到先前版本的误拒率很高之后，Llama Guard 4 替换了更早部署的 Llama Guard 3。护栏模型在主模型之前串行运行，在推理开始前筛查用户输入中的有害内容。

用 Strands Agents SDK 构建 50 多个智能体

OneAdvanced 方案的一个突出方面是它的智能体库：50 多个面向任务的智能体，覆盖医疗、法律、人力资源、市场、物流等。智能体包括护理事件响应助手、临床安全公告生成器、教育用的教学计划生成器、运营场景模拟、绩效评估助手、文档比较工具，以及 AWS 架构师智能体等。OneAdvanced 从第一个智能体到超过 50 个只用了三周，大多数智能体在不到一天内建成。

OneAdvanced 在选择 Strands Agents SDK 之前评估了多个智能体框架，包括 LangChain、LangGraph 等。决定归结为几个因素：Strands 采用模型优先的方法，没有僵硬的工作流定义；它支持轮流对话和访谈式交互；它让 OneAdvanced 能从想法快速走到已部署的智能体。正如 OneAdvanced 首席软件工程师 Nick Heap 所说：

“评估之后，Strands 作为该项目的明显领先者脱颖而出。它那套完整的工具不仅满足我们的要求，还提供了与我们内部愿景紧密对齐的、面向未来的方案。”

每个智能体由系统提示、一组工具和可选的结构化输入表单定义。智能体被容器化并部署在 Amazon ECS 上，运行时配置存储在 Amazon DynamoDB 中。用户浏览智能体目录，选择适合自己任务的那个。

OneAdvanced 还构建了一个无代码智能体构建器，非开发者可以通过可视化界面创建和配置智能体。用户定义智能体的人设，用拖放字段设计输入表单，编写带表单字段引用的系统提示（用 @ 语法注入表单值），并从可用工具库中选择。这种设计让产品经理、临床人员和业务分析师不必写代码就能创建智能体。

智能体使用共享工具库，包括计算器、图表创建、文件内容读取器、Mermaid 图生成器、组织与个人知识搜索、电子表格查询（包括 Snowflake 集成）、文本文件查询、英国成文法搜索，以及网页搜索（按组织和按用户查询选择加入）。例如，智能体可以查询 Snowflake 数据库，然后在一次交互中根据结果生成图表。

OneAdvanced 还使用子智能体和更进一步的智能体模式，以便在复杂交互中维持上下文窗口。一个值得注意的设计模式是访谈式智能体。有些智能体，例如战略思考助手，会在给出建议之前提出结构化问题：“问题 1 / 3：你的 AI 方案要解决哪些具体痛点？” 这通过轮流对话建立上下文，而不是期望用户一开始就提供全部信息。聚焦、有引导的交互比开放式提示产生更好的结果。

RAG 流水线

RAG 系统让智能体既能访问个人文档集合，也能访问组织级文档集合。用户通过文件管理界面，把文档上传到 Amazon S3 上的个人空间或共享组织空间。文档被转换成 Markdown，并切成 2,048 token 的片段，然后嵌入 pgvector 做向量相似度搜索。对于更长的文档，递归摘要处理超出分块大小的内容。

在嵌入方面，OneAdvanced 使用 intfloat/multilingual-e5-large-instruct 模型，选择它是因为强大的多语言支持和指令遵循能力。OneAdvanced 没有采用现成的 RAG 框架，而是自建检索系统，内部称为 “Llamadex”，从而完全控制这条流水线。他们最初选择 pgvector，是因为它简单，并且能更快进入生产。随着方案成熟，OneAdvanced 正在复审这一策略，以评估替代方案。

当智能体需要基于已上传文档回答问题时，它调用相应的检索工具，“个人知识搜索” 或 “组织知识搜索”。该工具查询 pgvector，并连同来源引用一起返回相关片段。用户可以确切看到生成回答时用了哪些文档，以支持透明和信任。

安全与负责任的 AI

安全贯穿 OneAdvanced AI 方案的每一层，这是服务每天处理敏感数据的健康和法律等行业客户的直接结果。

基础设施运行在伦敦 AWS 区域。没有任何用户数据离开英国。没有任何用户查询或响应被保留或用于模型训练。正如 Nick Heap 所写：

“一项只托管在英国的 AI 服务，数据不用于训练 AI 模型，并且 OneAdvanced 工程师不能访问这些数据。”

个人空间和组织空间中上传的文档完全隔离，即使 OneAdvanced 员工也不能读取。Llama Guard 4 在用户输入到达主模型之前筛查有害内容。隐私控制可以在组织级别定制。在基础设施一侧，Amazon GuardDuty 在 Amazon S3 文档存储层提供威胁检测。

OneAdvanced 持有 AI 治理的 ISO 42001 认证。他们报告自己是英国和欧洲最早获得该认证的组织之一。他们也是欧盟 AI 契约（EU AI Pact）的签署方，反映出在产品和运营中对负责任 AI 的主动做法。

结果

通过与 AWS 的顾问合作，OneAdvanced 把英国主权 AI 方案从原型做到了生产。OneAdvanced 在伦敦区域的 P5 实例上部署了 Llama 4 Maverick，从而完全控制模型服务基础设施，且没有数据离开英国。他们在三周内构建并交付了 50 多个 Strands 智能体，覆盖医疗、法律、人力资源、市场等用例。该方案自 2025 年 7 月起在生产中运行，为客户服务已超过一年。它达到了目标性能指标。OneAdvanced 将其公开称为英国首个面向企业的私有主权 AI，不保留、不训练、不记录用户数据。这次合作获得了 5/5 的客户满意度评分。

“我们非常感激并享受这次合作。我们学到了很多，这帮助我们借助战略合作伙伴的支持，向市场推出了一项独特产品。非常感谢所有直接和间接参与的人。”

— Alex Savage，OneAdvanced 集成负责人

结论与后续步骤

在本文中，我们展示了 OneAdvanced 如何通过在 Amazon SageMaker AI 上自托管 Llama 4 Maverick 和 Llama Guard 4、用 Amazon ECS 上的 Strands Agents SDK 编排 50 多个专用智能体，以及用 pgvector 支撑的 RAG 流水线把回答锚定在客户文档上，构建英国主权 AI 方案。结果是一个生产级 AI 方案，既满足严格的数据主权要求，又向受监管行业的企业客户交付可用的 AI 能力。

OneAdvanced 最近实施了一个评估框架，使用以 LLM 为评判者（LLM-as-a-judge）并配合情感分析，以持续改进质量。他们的路线图还包括帮助用户改进提示的后端系统，以及在版本切换期间并行运行多个 LLM，以维持终端用户的稳定性。

如果你在考虑类似做法，先评估你的数据主权要求，并确定哪些模型需要自托管。OneAdvanced 先在 Amazon Bedrock 上用两周原型验证用例，然后再投入自托管基础设施。关于在 Amazon SageMaker AI 上部署模型的更多信息，请参阅 Amazon SageMaker AI 开发者指南。要开始智能体工作流，请访问 GitHub 上的 Strands Agents SDK。

要进一步阅读 OneAdvanced 构建 AI 方案的历程，请看 Nick Heap 在 OneAdvanced 招聘博客上的文章 AI 竞赛，以及我们如何彻底拥抱速度。

如果你有类似用例，并希望在 AWS 上探索主权 AI 部署，请联系你的 AWS 客户团队。

PRIMARY_SOURCE: https://aws.amazon.com/blogs/machine-learning/how-oneadvanced-deployed-over-50-ai-agents-on-uk-sovereign-aws