AWS 机器学习 ↗ · 2026-11-21 04:37 · UTC+8
标准银行集团如何为生成式 AI 自动化 AI 风险评估
媒体报道 AWS 机器学习 原文语言:英文
标准银行集团与 AWS 合作,部署了基于 AWS 服务的自动化评估系统,用于根据国际标准和自身政策对生成式 AI 用例进行评分。该系统通过预评估代理收集证据、运行测试并利用 Amazon Bedrock 上的大模型作为裁判,从而加快业务审批并维持合规。
全文
Standard Bank Group 如何为生成式 AI 自动化 AI 风险评估
本文由 AWS 的 Tala Qraitem 与 Standard Bank Group 的 Jörg Fischer 合著
拥有 AI 政策是一回事。一次证明一个用例,证明 AI 系统遵循该政策是另一回事。每一个新的生成式 AI 应用都会增加一个需要证明的系统。团队现在可以在几天内构建一个系统,但每个系统仍需在面向客户或员工之前获得风险委员会的批准。当这种批准依赖审阅者阅读文档并手动测试系统时,治理就成为流水线中最慢的环节。
Standard Bank Group 选择自动化这一证明过程。该银行与 AWS 专业服务合作,部署了一个自动评估系统,对每个生成式 AI 用例根据国际 AI 标准和自身政策进行打分。评估会生成报告和仪表板,展示已有的措施、运行良好的方面以及仍需缓解的风险。本文解释了评估在 AWS 上的运行方式以及 Standard Bank Group 从首次运行中学到的经验。
使用已有框架治理 AI
Standard Bank Group 并不需要新的 AI 政策。和大多数大型银行一样,它已经拥有成熟的模型风险实践,涵盖可解释性、公平性等关注点,并且有一个变更风险流程,在每个新用例上线前根据其风险等级进行评估。
生成式 AI 增加了复杂性,因为模型和工具每三到六个月就会更换,但每个用例仍需满足同样高的安全和合规标准。
“在 Standard Bank,这项评估展示了我们如何与 AWS 合作,将智能、自动化的风险管理嵌入我们的 AI 旅程,使我们能够在保持银行业所需的信任和控制的同时,加速实现有意义的业务价值。我们相信,负责任的 AI 并不是放慢创新,而是让创新在信心中构建和扩展。”
— Jörg Fischer,Standard Bank Group 集团首席信息与 AI 官
目标是自动化证据收集和测试,然后将结果输入 Standard Bank Group 已有的审批关卡。审查和批准仍由风险委员会负责,但委员会现在基于一致的证据做出决策,这些证据在各用例之间以相同方式收集。
评估工作原理
图 1 展示了评估组件在 Standard Bank Group AWS 账户中的组合方式,从接收到评估再到报告。
图 1:Standard Bank Group AWS 账户中评估流水线的结构,从接收到评估再到报告
评估完全在 Standard Bank Group 自己的 AWS 账户中运行。文档、代码和测试结果都保存在该账户的 Amazon Simple Storage Service(Amazon S3)桶中。AWS Well-Architected Tool 负责接收,AWS Step Functions 编排流水线,Amazon Bedrock 上的基础模型对证据进行评估。它使用一种称为 LLM-as-a-judge 的技术,即大型语言模型根据定义的标准检查证据。
借助 Amazon Bedrock,Standard Bank Group 能够使用基础模型而无需超出其在 AWS 上已有的控制范围。银行通过 AWS 身份与访问管理(IAM)控制对模型的访问,就像对其他 AWS 工作负载的访问一样。Amazon Bedrock 不会与模型提供商共享银行的提示或模型输出,也不会使用这些数据来训练模型。由于 Amazon Bedrock 通过单一 API 提供多种基础模型,团队只需更改配置即可切换到更新的评审模型,而无需重建流水线。
每次评估经过四个步骤。前两个步骤中,预评估代理收集用例的证据,然后流水线检查这些证据并直接测试应用程序。第三步将证据与控制项进行对比评估。第四步以标准的预定义格式汇总结果,并将其交付给相应的执行人员。
步骤 1:预评估代理收集证据
Well-Architected Tool 中的自定义 Lens 包含大约 40 个问题,每个问题涵盖一个风险事件,例如技术文档不完整或人工监督不足。交付团队不再需要从头开始填写。运行在 AWS Fargate 上的预评估代理会扫描用例的代码仓库和文档。它将相关文件映射到每个问题,并预先填充 Lens 的答案以及指向证据的链接。然后,交付团队审核这些答案,纠正任何错误,并补充代理未找到的证据。
第二步:流水线检查构件并测试应用程序
流水线处理四类证据。
系统文档,描述应用程序是如何设计、构建和评估的。
政策文档,规定了角色、职责和诸如事件处理等程序。
源代码和系统提示词,展示了控制措施是如何实现的。
对应用程序的实时调用,展示了它在实际中的行为表现。
对于文档和代码,流水线检查每个构件是否包含其映射的控制措施所要求的内容。每项控制措施均来自国际 AI 标准或框架,或是标准银行集团(Standard Bank Group)自身的政策。例如,事件处理程序需要描述如何报告事件。
对于实时测试,流水线通过其 AWS Lambda 函数或 API 调用应用程序。交付团队提供典型用户会问的问题。流水线会添加一组内置的越狱尝试和偏离主题的问题,应用程序理应拒绝这些请求。它还会以原始形式和重新措辞的形式多次发送相同的提示词,并使用 Amazon Bedrock 上的嵌入模型来检查答案在语义上是否保持一致。如果团队提供了预期答案,流水线将衡量响应与这些答案的匹配程度。每个响应都存储在 Amazon S3 中,以便审核人员能够准确查看应用程序生成的内容。
第三步:针对标准的 LLM 作为裁判(LLM-as-a-judge)评估
在此步骤中,Amazon Bedrock 上的基础模型充当裁判。评估直接使用该模型,无需微调或定制。(模型可用性因 AWS 区域而异,因此在部署前请检查各区域支持的模型。)对于每个问题,模型检查特定证据是否出现在构件和应用程序的响应中,并返回“是”或“否”。
每个检查都映射到国际 AI 管理、AI 风险或 AI 安全标准或框架中的控制措施。标准银行集团还使用根据其自身标准构建的裁判问题定制了 Lens,使总数超过 300 个。这些检查涵盖了下表中的八个 AWS 负责任 AI 维度:
维度 评估关注的内容
真实性与鲁棒性 即使面对意外或对抗性输入,也能产生正确的输出
隐私与安全 对数据和模型进行适当的收集、使用和保护
透明度 帮助利益相关者对其 AI 系统使用做出明智选择的信息
公平性 考虑对不同利益相关者群体的影响
安全性 防止有害输出和滥用
可控性 监控和引导系统行为的机制
治理 AI 供应链中的最佳实践,包括提供商和部署方
可解释性 理解和评估系统输出的方法
每个风险都会获得一个可能性得分、模型未找到的所需证据占比,以及银行风险团队可以调整的固定严重性级别。它们共同产生从“极低”到“严重”的评级。每项缺失的证据都映射到特定的缓解措施以及它所源自的标准或政策条款。这样,风险官在向监管机构解释决策时,就可以将任何发现追溯到其源头。图 2 展示了通过此过程追踪一项缺失证据的全过程,从证据请求到建议修复。
图 2:如何将一个发现从证据追踪到修复
标准银行集团通过两种方式保护和检查评估的输出。每个 AI 模型交互都受到 Amazon Bedrock Guardrails 的保护,以确保符合银行既定的安全和负责任 AI 标准。评估的模型调用通过了银行为其 AI 工作负载在所有 AWS 账户中强制实施的相同安全防护措施。这些防护措施会筛查有害内容以及操纵模型的企图。
该评估的设计还确保其输出可以被检查。流水线没有让模型发表开放式的意见,而是提出了狭隘的是非题,每个问题都经过措辞调整以匹配特定的控制措施。风险团队可以检查的固定公式将这些答案转化为评分。每次评估都会运行多次,以衡量答案的一致性,任何不一致的发现都会在审查界面中被标记。每一个判断都会连同其背后的证据一起存储,以便审查人员和审计人员能够追溯其得出结论的过程。
第四步:面向各个受众的报告
该流水线以标准格式汇总结果,并将其交付为高管演示文稿、缓解措施清单、详细的技术报告以及一个 Amazon CloudWatch 仪表板,用于跟踪随时间推移各用例的评分。在做出关卡决策之前,审查人员可以通过支持单点登录的自定义审查界面确认调查结果。在那里,他们可以添加用例、审查问题、通过业务理由修改答案以及重写输出。
该评估针对控制措施产生证据。它不证明对任何法规的合规性,Standard Bank Group 仍然对其自身的监管判定负责。
针对 Standard Bank Group 自身规则的测试
国际标准为每个用例提供了共同的基准,但该行的风险委员会根据自身的政策来审批用例。问题工厂通过从内部文档中生成额外的裁判问题来解决这个问题。Standard Bank Group 的风险团队利用它将内部政策转化为在每个用例上运行的检查。
由于这些检查直接源自政策语言,因此政策变更就变成了测试变更。每次随后的评估都会自动应用更新后的规则,风险团队只需进行极少的手工返工。
“大多数组织将政策视为供阅读的文件。Standard Bank Group 则将其视为可运行的东西。当每一条规则都变成针对实时系统运行的检查时,政策更新就不再是一份备忘录,而变成了一项测试。这从根本上改变了银行以负责任的方式扩展 AI 的速度。”
—— Sri Elaprolu,AWS 前沿 AI 科学与工程总监
内置于用例生命周期中
该评估契合用例生命周期的三个阶段。在概念验证期间它是可选的,为团队提供对潜在差距的早期了解。在构建阶段,它变为强制性的,审批关卡利用其结果作为正式证据。如今,该评估在 Standard Bank Group 的生产环境中运行,在用例上线之前对其进行评估。连接实时工作负载后,该评估将按计划或在代码或配置更改时重新运行,从而在发布之后很长一段时间内保持证据的时效性。该行的团队已经通过中央系统自行触发评估,用例在其中以单一工作流从接收流向评估。
这对金融机构意味着什么
在 Standard Bank Group,该评估将传统上需要两周的手工审查缩短为在大约两小时内生成的综合风险报告,这已在六次评估中得到验证。它还在整改后将用例风险评分提升了 14%。这加强了负责任的 AI 治理,减少了合规瓶颈,并缩短了从评估到生产的路径。
这种方法可以使参与批准 AI 用例的三类群体受益:
风险与合规领导者可以获得每个用例格式相同的证据,这些证据可追溯至发布的标准或内部政策条款。从您已经在运行的框架开始,正如 Standard Bank Group 对其现有的风险流程和审批关卡所做的那样。
交付团队在概念验证期间(此时更改成本最低)就能了解需要修复的内容,而不是在审批关卡遭遇拒绝。
高管们可以在不按相同比例增加审查工作量的情况下扩大 AI 投资组合。
“在整个企业中大规模采用 AI 需要建立信任,无论是在内部还是与我们的客户之间。事实证明,这一评估是在使我们所有的产品团队能够证明他们正在构建符合我们自身及行业最佳实践的企业级解决方案时的关键。”
—— Duncan Macdonald,Standard Bank Group 首席技术官
从审批关卡到持续保障
银行为系统设计了审批门槛,这些系统每年只会更改几次。生成式 AI 应用则随每一次提示更新、模型版本和新数据源而变化。随着它们承担更多自主任务,需要证据的决策数量不断增加。增加审阅者的方式无法跟上这种变化速度。
Standard Bank Group 的方法指向一种不同的运营模型。当政策变成测试且证据自动收集时,治理从交付结束时的检查点转移到系统本身。投资组合中的每个 AI 应用都可以携带一份当前的、可审计的记录,说明它如何符合银行的标准,并在其代码或配置更改时进行刷新。风险团队将时间用于判断性决策和政策设计,银行则可以向监管机构展示其用于自身决策的相同证据。
同样的基础设施可以进一步扩展。持续重新评估在发布后保持证据与不断变化的代码库保持一致。新法规可以一次性编码为检查,并应用于每个使用案例。聚合得分为董事会提供了全企业范围的 AI 风险视图,而不是一堆单独的审查。
对于任何规模化 AI 的机构来说,值得提出的问题是:其政策中有多少曾经在运行系统上进行过测试。想了解 AWS 专业服务如何帮助您的组织实现 AI 风险评估自动化,请联系您的 AWS 客户经理。想了解更多在 AWS 上负责任地构建 AI 的信息,请访问 AWS 负责 AI 页面。
正文为 AI 译文。