定制报告-个性化定制-按需专项定制研究报告
行业报告、薪酬报告
联系：400-6363-638
《CSA GCR云安全联盟：2024年AI韧性：AI安全的革命性基准模型报告（57页）.pdf》由会员分享，可在线阅读，更多相关《CSA GCR云安全联盟：2024年AI韧性：AI安全的革命性基准模型报告（57页）.pdf（57页珍藏版）》请在薪酬报告网上搜索。
1、 2024云安全联盟大中华区版权所有1 2024云安全联盟大中华区版权所有2人工智能治理与合规工作组官网：https:/cloudsecurityalliance.org/research/working-groups/ai-governance-compliance 2024 云安全联盟大中华区-保留所有权利。你可以在你的电脑上下载、储存、展示、查看及打印，或者访问云安全联盟大中华区官网（https:/www.c-）。须遵守以下：(a)本文只可作个人、信息获取、非商业用途；(b)本文内容不得篡改；(c)本文不得转发；(d)该商标、版权或其他声明不得删除。在遵循 中华人民共和国著作权法相关条款
2、情况下合理使用本文内容，使用时请注明引用于云安全联盟大中华区。2024 云安全联盟-版权所有。3 342024 云安全联盟大中华区版权所有致谢致谢报告中文版支持单位报告中文版支持单位 启明星辰集团成立于 1996 年，由留美博士严望佳女士创建，2010 年在深圳A 股中小板上市，是网络安全产业中主力经典产业板块的龙头企业，是新兴前沿产业板块的引领企业，是可持续健康业务模式和健康产业生态的支柱企业。2024年 1 月，启明星辰正式由中国移动实控，成为中国移动专责网信安全专业子公司，标志着公司迈入全新的发展阶段。多年来，启明星辰持续深耕于信息安全行业，始终以用户的需求为根本动力，将场景化安全思维融
3、入到客户的实际业务环境中，不断地进行创新实践，帮助客户建立起完善的安全保障体系，逐渐成为政府、金融、能源、运营商、税务、交通、制造等国内高端企业级客户的首选品牌。启明星辰入侵检测/入侵防御、统一威胁管理、安全管理平台、数据安全、运维安全审计、数据库安全审计与防护、漏洞扫描、工业防火墙、硬件 WAF、托管安全服务等十余款产品持续多年保持第一品牌。参与本次报告的专家：参与本次报告的专家：张镇，启明星辰知白学院院长、首席技术官郭春梅，启明星辰副总裁、首席技术战略专家卞超轶，启明星辰核心技术研究院副院长杨天识，启明星辰高级安全专家沙明烊，启明星辰知白学院资深技术专家启明星辰是 CSA 大中华区理事单位
4、，支持该报告内容的翻译，但不影响 CSA 研究内容的开发权和编辑权。52024 云安全联盟大中华区版权所有报告英文版编写专家报告英文版编写专家主要作者主要作者PareshPatelPiradeepanNagarajanGaetanoBisazHongtaoHao,PhDEllePyleGauravSinghKenHuangKennethT.MorasTolgayKizilelma,PhDAkshayShettySauravBhattacharyaPejuOkpamenGabrielNwajiakuMeghanaParwateAkshatVashishthaHemmaPrafullchandra
5、RenataBudkoDesmondFooScottS.NewmanGianKapoorImranBananiElierCruzMadhavChablaniCSA 全球员工CSA 全球员工Dr.ChantalSpleiss贡献者贡献者RomeoAyalinFilipChylaBeckyGaylordFrederickHanigRockyHeckmanHadirLabibLarsRuddikeitAlexSharpeAshishVashishtha审稿人审稿人SounilYuDebjyotiMukherjeeMichaelRozaPeterVenturaUdithWickramasuriyaGo
6、vindarajPalanisamyMadhaviNajanaRakeshSharmaDavideScattoRyanGiffordStephenLumpe62024 云安全联盟大中华区版权所有序言序言在当今时代，人工智能（AI）技术的迅猛发展正深刻地改变着我们的世界。AI 的应用范围从医疗健康到自动驾驶，从金融交易到国防安全，其决策能力不断增强，同时也带来了前所未有的风险和挑战。AI 的可靠性和安全性受到了严格的审视，这要求我们必须确保 AI 系统的鲁棒性和可信赖性。为了应对这些挑战，CSA 大中华区发布了AI 韧性：AI 安全的革命性基准模型报告。本报告旨在通过引入一个全新的基准模型来评估
7、和提升 AI 的整体质量，确保 AI 技术的安全和稳健发展。报告详细讨论了 AI 治理与合规的重要性，并分析了 AI 技术的发展历史和当前的训练方法。通过一系列实际案例研究，揭示了 AI 失败的教训，并针对汽车、航空、关键基础设施等行业的监管挑战进行了深入分析。报告提出了一个受生物进化启发的 AI 韧性基准模型，强调了多样性和韧性在 AI 系统中的重要性，并给出了 AI 韧性评分的标准。通过本报告提出的 AI 韧性评分系统，企业和组织将获得一个全新的评估工具，以指导他们对 AI 系统的评估和优化工作。期待这份报告能激发更广泛的讨论和行动，共同塑造 AI 技术的未来，让其更好地服务于人类社会的发
8、展。李雨航 Yale LiCSA 大中华区主席兼研究院院长72024 云安全联盟大中华区版权所有目录目录导言.8第一部分：基本理论.91.1 治理与合规.91.1.1 治理与合规：不断变化的目标.91.2 人工智能概览.111.2.1 人工智能简史.111.2.2 人工智能技术.121.2.3 训练方法概述.141.2.4 训练方法的监管和伦理考量.161.3 人工智能技术的许可、专利和版权.17第二部分：真实案例研究和行业挑战.172.1 人工智能案例简史研究.182.2 行业：法规与挑战.202.2.1 汽车.212.2.2 航空.222.2.3 关键基础设施和基本服务.232.2.4 国
9、防.262.2.5 教育.292.2.6 金融.302.2.7 医疗保健.34第三部分：人工智能韧性的重构，受进化论启发的基准模型.393.1 比较：生物进化与人工智能的发展.393.2 人工智能系统的多样性和韧性.403.3 对人工智能韧性进行基准测试的挑战.403.4 人工智能韧性的定义.403.5 人工智能韧性评分标准.413.6 智能感知.423.7 智能系统的基本差异.4282024 云安全联盟大中华区版权所有摘要摘要为了应对人工智能治理与合规的复杂挑战，本文引入了一种革命性的 AI 基准模型。在追求收入增长的过程中，技术革新的步伐常常超过了监管措施的建立速度，这往往导致 AI 系统
10、的鲁棒性和可信赖性无法得到充分保障。为了弥补这一关键性不足，我们基于进化论和心理学原理设计出了一个创新的 AI 基准模型。该模型将鲁棒性与性能置于同等重要的位置，从而帮助企业的领导者更加主动地评估其 AI 系统的整体质量。我们从过去人工智能失败的案例研究中汲取教训，并深入分析汽车、航空、关键基础设施与基本服务、国防、教育、金融和医疗等行业，为企业提供了实用的见解和可操作的指导。我们倡导将多元化的视角与监管准则相结合，以推动行业朝着更合乎道德、更可信赖人工智能应用方向发展。其中，注重系统可信度是最大限度降低风险、保护企业声誉以及促进负责任的人工智能创新、部署和应用的关键。本文件可为政府官员、监管
11、机构和行业领袖等关键决策者提供支持，旨在协助他们建立人工智能治理框架，确保人工智能的开发、部署和使用均符合道德标准。此外，本文还引入了一种新型基准测试模型来评估人工智能的质量，为企业的长期成功提供了实用工具。导言导言人工智能（AI）的快速发展带来了前所未有的进步。然而，随着人工智能系统变得越来越复杂，风险也在不断升级。从医疗算法偏见到自动驾驶汽车失灵，这些事件都在警示我们人工智能失灵将带来严重后果。当前的监管创新往往难以跟上技术进步的步伐，这将对企业的声誉和运营带来巨大的潜在风险。为了应对这些挑战，本文件强调了用更全面的视角应对人工智能治理和合规性的迫切需求。我们将探讨 AI 的基础理论，研究
12、各关键行业中存在的问题，并为负责任 AI 的实施提供实用指导。我们提出了一种新颖的方法，将人工智能的演变与生物学的进化进行比较，并引入了一个发人深省的概念多样性，以提高人工智能技术的安全性。我们还将讨论不同智能之间的差异以及这些系统之间92024 云安全联盟大中华区版权所有如何成功地进行交互。同时，我们还提出了一个创新的基准框架，旨在提高 AI这一颠覆性技术的安全性和可靠性。这一创新方法使决策者和技术团队能够评估人工智能系统的安全性和可信度。我们倡导整合不同的观点和监管准则，以促进人工智能的创新符合伦理，并建立强有力的治理实践。第一部分：基本理论第一部分：基本理论1.1治理与合规治理与合规治理
13、和合规是组织管理的重要部分，可确保企业遵守业务行为准则中概述的法规、道德原则、标准和可持续实践。与上述原则和法规保持一致，可确保有效的业务连续性和道德实践。治理1是指对某一事物的监督和控制，以自上而下的方式实施。高级管理层负责制定战略和风险偏好，并通过政策、标准及程序建立治理框架。这些指令塑造了组织的整体风险管理方法、合规义务和决策过程。治理在企业内部营造了一种文化氛围，它强调责任、透明、道德和可持续性，同时确保公司上下都重视安全和隐私保护。与自上而下的治理方法相反，合规2遵循的是自下而上的方法，即各级员工执行并遵守高级管理层制定的治理框架，以满足监管要求。合规的重点是确保组织内部所有员工都遵
14、守法律法规和行业标准，以及企业内部制定的业务行为准则。它是组织管理的重要组成部分，可确保组织在适用的法律法规要求、可接受的道德底线范围内运营，并最小化风险暴露面。1.1.1 治理与合规：不断变化的目标治理与合规：不断变化的目标虽然治理和合规是明确界定的目标，但人工智能的使用却对传统方法提出了挑战。人工智能可以从不同的角度来定义，如作为一种技术、一套使用一个或多个模型的系统、一个业务应用或一个用户平台。人工智能可以服务于单一或多个终端用户，可以被企业、信息中介或其他人工智能技术用来执行任务、解决问题、102024 云安全联盟大中华区版权所有做出决策或与环境互动。围绕人工智能使用的最佳实践、标准和
15、法规仍在不断发展，这使得制定一套既具体、又可实施，还能进行有效监控的合规要求具有挑战性。对于开展国际业务的公司来说，这一挑战呈指数级增长。当前，大多数法规在内容上存在重叠，却鲜有根本性的创新主张来提高人工智能的安全性，而我们的框架正是基于以下这些通用性需求而构建的。人类监督人类监督：确保人工智能受到人类的监督和控制，并建立机制，以便在必要时进行人工干预和决策。应将人类监督与自动化监控相结合，作为主要的监控手段。在明确需要人为干预的特定情境中引入人类监督。这使得本指导文件具有可扩展性和实际适用性。安全性和可靠性安全性和可靠性：优先考虑人工智能技术的安全性和可靠性，最大限度地降低对个人或社会造成伤
16、害的风险。要做到这一点，就必须进行严格的测试、验证和风险评估，并确保在系统出现故障时能启动锁定开关或采取补救措施。伦理考虑伦理考虑：确保人工智能遵守道德原则、尊重人权和促进公平。数据隐私和安全数据隐私和安全：应实施增强的数据保护和安全措施，以保护敏感信息和隐私，防止未经授权访问或滥用数据。在设计阶段，应采用隐私设计（Privacy-by-Design）和安全设计（Security-by-Design）的原则，以便在流程早期就降低风险（这体现了 DevSecOps 中的“左移”理念）。这样做可以限制最终产品中的外挂式安全和不可预见的风险。人工智能模型和数据考虑因素人工智能模型和数据考虑因素：减少
17、偏见减少偏见：解决数据和算法设计中的偏见问题，并定期对 AI 系统进行监测和评估，以识别并消除偏见和歧视。偏见是一个复杂的话题，需要在必要的信息和算法与刻板分类的风险之间取得平衡。透明度透明度：通过明确解释 AI 的工作原理，包括其算法和影响决策的因素，来确保 AI 的透明度。实施 XAI（可解释的 AI）2，3有助于促进信任，为知情决策奠定基础，同时发现可能存在的偏见。在医疗保健领域，这一点至关重要，已被广泛认可。无论在哪个行业，如果输出是由 AI 产生的，用户都应被告知。112024 云安全联盟大中华区版权所有一致性一致性：一致性的数据可确保人工智能模型能够从准确和可靠的实例中学习。这对模
18、型生成正确且有用的输出结果至关重要。不一致或相互矛盾的数据会混淆模型，导致生成的文本或信息不准确。问责制问责制：在 AI 的设计、开发、部署和使用过程中建立问责制和责任制，包括清晰地界定各个环节中可能出现问题时的责任归属。目前，防止对最终用户造成伤害的责任主要由 AI 应用提供商独自承担。然而，通过额外的措施，如手册或“模型卡片”4以及特定的用户培训，可以强调提供商和最终用户之间的共同责任，并概述最终用户所能期待的透明程度。鲁棒性鲁棒性：开发设计精良且能够抵御对抗性攻击、数据扰动和其他形式干扰或操纵的人工智能。本文提出了一种新视角来评估鲁棒性，以提高全局安全性。法规遵从法规遵从：确保 AI 的
19、开发和部署遵守相关法律法规和标准，包括但不限于数据保护，以及数据交易，隐私保护和安全性。在高度复杂的供应链和价值链中，采取一种以共同责任为基础的方法，对于确保创造安全可信的人工智能至关重要。这要求技术团队、合规团队和法律团队必须参与其中，并且根据具体情况，还可能需要许多其他团队的参与。2024 年 3月 28 日发布的白宫备忘录5要求所有机构必须在 60 天内指定一名首席人工智能官（CAIO）。这一角色使得所有相关团队能够进行战略性和有目的地管理和调整，从而将“共同责任”转化为可追溯的衡量标准。1.2 人工智能概览人工智能概览本章概述了人工智能的发展历史、人工智能技术和训练方法。尽管此概述不会
20、深入讨论数据的重要性，但我们必须承认这是一个极其重要的主题，CSA 的其他工作组也对此进行了深入探讨。1.2.1 人工智能简史人工智能简史下面列出了人工智能的一些里程碑事件，不局限于某一特定角度，而是概述了该领域的主要发展。122024 云安全联盟大中华区版权所有图 1：人工智能的历史62018：谷歌推出了 BERT 模型，该模型在语言理解领域引发了革命性的变革。BERT 使用 Transformer 架构，并在海量文本数据集上进行预训练，使其在各种语言任务中的表现优于之前的模型。2019：出现了具有 15 亿个参数的 GPT-2 模型。2020：出现了拥有 1750 亿到 5300 亿个参数
21、的大型语言模型（LLMs）。2021：出现了参数量高达一万亿参数的 LLMs，专注于提高训练效率，并在处理复杂任务时提供高级推理和事实准确性。2022：ChatGPT-3 病毒式走红，成为公众关注的焦点。超越规模：研究人员目前正在努力提高 AI 的训练效率、使 AI 与人类价值观保持一致、确保安全性以及实现多模态（融合图像、音频和其他数据类型）。这段简短的人工智能历史展示了从最基本的计算器到生成式人工智能（GenAI）的演变过程，而通用人工智能（AGI）仍待我们去探索。1.2.2 人工智能技术人工智能技术本文介绍并讨论了不同的人工智能技术。132024 云安全联盟大中华区版权所有 机器学习（机
22、器学习（ML）机器学习是人工智能和计算机科学的一个分支，主要是利用数据和算法来模仿人类学习，逐步提高模型的准确性7。微型机器学习（微型机器学习（tinyML）微型机器学习被广泛定义为机器学习技术和应用的一个领域，包括硬件（专用集成电路）、算法和软件，能够以极低功耗（通常在毫瓦及以下）执行设备上传感器数据分析，从而实现各种始终在线的用例并以电池供电设备为目标8，例如物联网（IoT）设备。深度学习（高级深度学习（高级 ML）深度学习是一种人工智能技术，让计算机能够模拟人类的思维能力来处理数据。深度学习模型可以识别图片、文本、声音和其他数据中的复杂模式，利用神经网络得出准确的见解和预测。生成式人工智
23、能（生成式人工智能（GenAI）生成式人工智能指的是深度学习或转换器（Transformer）模型，这些模型可以接收原始数据并“学习”，在收到提示时生成统计上可能的输出结果。与上述主要用于分类和模式识别任务的分类模型不同，生成式人工智能模型用于数据合成、匹配学习数据的高阶模式和/或预测分析。在高层次上，生成模型对其训练数据的简化表示进行编码，并预测与原始数据相似但不完全相同的下一组数据9。通用人工智能（通用人工智能（AGI）通用人工智能是人工智能的一种理论形式，代表了一种特定的人工智能发展理念。其特色是具有与人类相同（或更高）的智能，具有自我意识，能够学习、解决复杂问题并规划未来10。1420
24、24 云安全联盟大中华区版权所有1.2.3 训练方法概述训练方法概述人工智能可分为以下几种类型11：图 2：机器学习的类型 监督学习监督学习监督学习是一种依赖“标记数据”来训练算法的机器学习方式。它适用于分类和回归问题。“标记数据”提供已知输入和期望输出，使算法能够识别数据模式并建立一种模型，用于预测之前未见过的数据的结果。分类算法示例分类算法示例：决策树、随机森林、线性分类器和支持向量机。回归算法示例回归算法示例：线性回归、多元回归、回归树和套索回归。无监督学习无监督学习无监督学习是一种通过分析无标签数据来训练算法的机器学习方式。其目标是在没有预设结果的情况下，发现数据中隐藏的模式、分组、模
25、式或见解。经过适当训练的模型能够对未见过的数据进行预测。示例算法示例算法：k-均值聚类（k-means）、k-中心点聚类（k-medoids）、层次聚类（Hierarchical Clustering）、Apriori 算法、FP-Growth 算法。强化学习强化学习强化学习是一种机器学习方式，其中代理与环境之间进行交互，通过试错的方式来进行学习。代理根据自己的行为接受奖励或惩罚，从而调整自己的行为，并随着时间的推移优化决策过程。示例算法示例算法：强化学习、马尔可夫决策过程、Q-learning、策略梯度方法和Actor-Critic，但还存在许多其他算法。152024 云安全联盟大中华区版权
26、所有 半监督学习半监督学习半监督学习填补了监督学习和无监督学习之间的空白。它利用少量的标记数据和大量的非标记数据。当获取标注数据的成本较高或耗时较长时，这种方法就显得尤为重要，因为它能让模型充分利用未标注数据中隐藏的模式。自监督学习自监督学习自监督学习是无监督学习的一种形式，模型会根据原始输入数据生成自己的标签。它通过预测句子中的屏蔽词或预测视频序列中的下一帧等技术来实现这一点。这使得即使没有人类标注的标签，模型也能学习到数据的鲁棒且可泛化的特征表示。联邦学习联邦学习联邦学习是一种先进的机器学习技术，旨在通过分散的设备或服务器来训练算法，无需交换这些数据样本本身。这种方法能将敏感数据保存在用户
27、的设备上，而不是将数据传输到中央服务器进行处理，从而解决了与隐私、安全和数据集中化相关的重大问题（图 3）。这种方法于 2016 年推出，通过只共享参数而不是数据，可以在更大程度上保护数据隐私。联邦学习提供了一个框架，允许使用存储在不同客户端的数据集来联合训练一个全局模型。这对于隐私至关重要的行业来说是一个很好的选择，因为原始数据被认为是不可能被恢复的12。162024 云安全联盟大中华区版权所有图 3：联邦学习系统架构12联邦学习的另一个优势（在之前提到的论文12中并未详细讨论）是它能够利用“群众的智慧”13。这个概念类似于人类大脑中神经元的工作方式，通过非确定性的神经过程来产生准确的信息。
28、目前，联邦学习展现出了在多样性基础上融合隐私、性能和鲁棒性的巨大潜力。虽然这种学习方法讨论得不多，但在数据隐私和保密性至关重要的行业或应用中，它显示出了极大的前景，还有助于解决数据驻留的问题。不过，联邦学习也存在潜在的隐私问题，包括恶意用户破坏模型聚合的风险，这可能会影响模型的准确性或导致隐私泄露。攻击可能针对训练期间共享的模型更新，从而可能提取原始训练数据。为了解决这些问题，研究人员提出了隐私保护技术，如差分隐私、分布式加密和零知识证明，以保护数据并过滤恶意行为者的异常数据。与其他任何学习方法一样，联邦学习也需要采取适当的网络安全措施。1.2.4 训练方法的监管和伦理考量训练方法的监管和伦理
29、考量虽然目前并没有专门针对机器学习算法训练的具体法规，但它受到主要监管框架的影响，包括通用数据保护条例（GDPR）、欧盟人工智能法案和经济合作与发展组织（OECD）的人工智能原则。此外，随着技术的进步，针对机器学习（ML）和人工智能（AI）训练的监管法规正在迅速发展，并在从原则到实践：动态监管环境中的负责任人工智能 一书中对此进行了全面探讨。此外，许多政府机构正在积极制定相关法规，并促进行业内合作以达到同样的效果。有关机器学习（ML）和人工智能（AI）的法规对数据货币化和使用人工智能指导商业决策具有重大影响。这些影响表现在多个方面，包括运营变化、战略调整和伦理考量，以及对数据收集和使用的限制/
30、要求、数据偏见和数据质量。例如，某些平台禁止将其数据用于人工智能训练（如某企业声明：“未经我们事先书面同意，明确禁止出于任何目的以任何形式抓取或爬取服务”14），而有些平台则选择通过许可协议出售其数据（如 Reddit 平台15）。满足监管要求可能会带来巨大的合规成本，特别是对于在多个司法管辖区运营的企业而言。尽管存在挑战，但监管也为企业带来了机遇。善于驾驭监管环境172024 云安全联盟大中华区版权所有的企业可以通过提供更安全、更透明、更合乎道德的人工智能解决方案，使自己脱颖而出。这可以吸引越来越注重隐私的消费者和合作伙伴，从而有可能打开新的市场或创造更强的客户忠诚度。1.3人工智能技术的许
31、可、专利和版权人工智能技术的许可、专利和版权许多机器学习框架和库都遵循开源计划许可协议，如 Apache2.016或MIT17。某些许可协议可能会禁止基于其构建的应用程序用于商业用途。欧洲专利局（EPO）公布了其修订后的审查指南18，19，其中包括对EPO在ML和AI领域创新审查程序方面进行了一些重大修改。最近的修正案规定，AI 或 ML 发明的申请人必须更详尽地阐明数学技术和训练输入/数据，以确保能以足够详尽的方式在整个权利要求范围内复制发明的技术结果。下文引用的文章指出，“判例法表明，所使用的任何神经网络的结构、拓扑结构、激活函数、结束条件和学习机制都是申请时可能需要公开的相关技术细节”。
32、这篇文章20总结了这些变更的深远影响，并就此主题进行了深入阐述。2024 年 1 月 23 日，日本文化厅（ACA）发布了“人工智能与版权方针”草案，并征求公众意见。这一举措旨在明确日本如何考量版权材料的摄取和输出问题。2024 年 2 月 29 日，在考虑了近 25000 条意见后，该草案又进行了额外的修改。这份由ACA委员会制定的文件很可能在未来几周内获得ACA的通过。文章21提供了该草案的核心内容和最新进展。在新加坡，有关版权方面存在的争议在文章22中阐述；目前这是一个非常不稳定的领域。该问题在从原则到实践：动态监管环境中负责任的人工智能一书中也有进一步论述。第二部分：真实案例研究和行业
33、挑战第二部分：真实案例研究和行业挑战在这一部分中，我们以几个行业为例，重点概述了人工智能时代的概况和当前面临的挑战。有关法律和监管事项的更多信息，请参考从原则到实践：动态监管环境中负责任的人工智能一书。182024 云安全联盟大中华区版权所有2.1 人工智能案例简史研究人工智能案例简史研究人工智能案例研究的这段简短历史可以追溯到 20 世纪 90 年代末，至少对金融业来说是如此，因为金融业是最早采用人工智能技术先驱的行业之一。在本节中，我们将通过一些实例展示从 2016 年到本文发表期间，人工智能在实际应用中遇到的主要挑战。这些实例表明了 GenAI 中的偏见问题一直是最大的担忧。2016 年
34、：微软的年：微软的 Tay微软的人工智能聊天机器人 Tay，最初用于在 Twitter 上进行有趣的对话，但在发布后的短短 24 小时内迅速变成了一个发布种族主义和攻击性言论的平台。用户向 Tay 灌输了性别歧视和煽动性的评论，导致该机器人也开始回应这些情绪。虽然有些推文是用户诱导的，但也有一些是 Tay 自发产生的，这展示了它不稳定的行为模式。微软对此的回应是删除攻击性内容，并认识到有必要调整 Tay 的回应。这一事件凸显了人工智能从公共数据中学习并反映社会偏见的挑战。尽管Tay 重新发布后还是因为不当推文而关闭，但它在 AI 开发方面为微软留下了宝贵的经验教训。这一事件揭示了人工智能应用的
35、复杂性，并强调了在人工智能设计中进行迭代改进和采取积极措施的必要性23，24，25。2018 年：亚马逊的年：亚马逊的 AI 招聘工具对女性有偏见招聘工具对女性有偏见亚马逊开发了一个人工智能招聘引擎，但由于训练数据中潜在的性别偏见，该引擎在筛选时倾向于男性候选人，从而引发了问题。2017 年，由于公平性担忧，亚马逊解散了该项目26，27，28。尽管遇到了挫折，其他公司仍在招聘过程中审慎地推进了人工智能，而且已经成为主流。2019 年：特斯拉自动驾驶汽车事故年：特斯拉自动驾驶汽车事故2019 年 3 月，Jeremy Banner 在驾驶特斯拉 Model 3 时启动了自动辅助驾驶功能（Auto
36、pilot），随后车辆与一辆半挂卡车相撞，导致 Banner 死亡。这一事件引发了法律纠纷，公众质疑特斯拉在涉及其自动驾驶技术的车祸中应承担的责任。批评者认为，特斯拉对自动驾驶技术的营销误导了驾驶员对其能力的认知，192024 云安全联盟大中华区版权所有可能间接导致了事故的发生和人员的死亡。尽管有人已就 Autopilot 的局限性发出警告，但包括致命事故在内的多起撞车事件仍然不断发生。此外，高级驾驶辅助系统缺乏明确的监管准则，以及其使用过程中产生的道德困境使情况更加复杂，这引发了公众对自动驾驶技术责任归属、保险理赔和公共安全问题的深刻讨论29。2019 年：医疗算法中的种族偏差年：医疗算法中
37、的种族偏差Ziad Obermeyer 等人的研究论文23指出，一种广泛使用的医疗算法存在严重的种族偏见，影响了数百万患者。该算法旨在管理医疗需求，尽管排除了种族这一变量，但与白人患者相比，该算法对黑人患者健康风险的预测并不准确。这种偏差源于该算法将医疗成本作为健康需求的代理变量，无意中反映了医疗服务获取和利用方面的系统性不平等。如果能纠正这一偏差，将显著增加需要额外医疗支持的黑人患者的数量30。2019 年：苹果信用卡涉嫌性别歧视年：苹果信用卡涉嫌性别歧视“在一位知名软件开发商揭露了苹果信用卡为男性和女性客户提供不同信用额度的现象后，这一事件迅速在推特上发酵，最终引发了对苹果（与高盛合作发布
38、的）信用卡业务的监管调查31”。“苹果信用卡性别歧视”相关报道可参考：32，33，34，35。但在 2021 年，有报道称“纽约州金融服务部最近结束的一项调查36发现，苹果的银行合作伙伴不存在基于性别的歧视37”。2020 年：有偏见的罪犯评估系统年：有偏见的罪犯评估系统在刑事司法系统中，诸如 COMPAS（美国矫正罪犯管理替代制裁评估系统）和 OASys（英国罪犯评估系统）等工具被用于对罪犯进行风险评估和管理。这些系统协助当局对罪犯的量刑、假释和治疗项目做出知情决策。然而，它们的算法因透明度、公平性和偏见问题而受到严厉的批评38。2022 年：加拿大航空公司受聊天机器人退款政策约束年：加拿大
39、航空公司受聊天机器人退款政策约束加拿大航空公司（AirCanada）面临严格审查，因为其聊天机器人提供了有关该航空公司的丧亲旅行政策的误导性信息，导致与一名要求退款的乘客发生纠202024 云安全联盟大中华区版权所有纷。尽管加航辩称聊天机器人是独立运行的，但法庭还是作出了有利于乘客的裁决，强调航空公司对其网站上提供的信息负有责任。法庭命令加航支付部分退款并承担额外费用。这一事件凸显了人工智能的责任问题和客户服务自动化的复杂性39，40。2023 年：诉讼：联合健康保险因年：诉讼：联合健康保险因 AI 缺陷拒绝为老年人提供护理缺陷拒绝为老年人提供护理在一场针对联合健康保险（UnitedHealt
40、h）的法律诉讼中，多个家庭指控该公司使用的人工智能系统存在缺陷，导致了老年患者的必要护理申请被拒绝，甚至无视了医生的推荐意见。这起诉讼凸显了在医疗决策中完全依赖自动化系统所面临的挑战，引发了人们对患者福祉和医疗服务公平性的担忧。随着人工智能技术在医疗领域的日益普及，该案件强调了医疗人工智能的透明度、问责制和人为监督的必要性，以确保所有患者得到公平的治疗41，42。2024 年：谷歌的年：谷歌的 Gemini：人工智能偏见的教：人工智能偏见的教训训谷歌推出的 Gemini 1.5 聊天机器人43受到了广泛批评，原因是尽管它试图避免偏见，但仍生成了不准确且具有偏见的图像，特别是在历史背景中忽略了白
41、人个体。埃隆-马斯克和保守派人士指责谷歌的算法有偏见。作为回应，Google暂停了 Gemini 的进一步推广，但其回应缺乏透明度。这一事件凸显了人工智能在道德和透明度方面的挑战，引发了关于多样性倡议和算法问责制的广泛讨论。随着谷歌努力恢复公众信任，Gemini 事件强调了负责任 AI 创新的重要性44。2.2 行业：法规与挑战行业：法规与挑战本节深入探讨与人工智能有关的特定行业的监管和合规工作。各行业按英文字母顺序排列并分别论述。在每个行业部分，我们将介绍其背景、环境和历史。在接下来的第三部分中，我们将提出跨行业应对 AI 挑战的新颖方法建议。212024 云安全联盟大中华区版权所有2.2.
42、1 汽车汽车汽车行业1寻求在自动驾驶和无人驾驶功能（SAE 4 级和 5 级45）中应用人工智能，同时特别强调此类功能以及其他车载系统和组件的安全性。目前，已有多个 ISO 标准提及或部分规范了人工智能，其它还有更多标准正在起草或审查中。许多监管机构目前正在制定针对汽车行业的标准和方法，但尚未强制执行。虽然当前的法规已经间接影响了人工智能，但一些监管机构直接在其规范中提到了此类技术，其中包括欧洲议会和欧盟理事会于 2019 年 11 月 27 日颁布的（欧盟）2019/2144 法规，该法规针对机动车辆及其挂车，以及为这些车辆设计的系统、部件和独立技术单元的型式认证要求，特别关注了车辆的整体安
43、全性以及对车辆乘员和脆弱道路使用者的保护46。其中，第 11 条（关于自动驾驶车辆和全自动驾驶车辆的特定要求）明确规定了与 AI 相关的安全系统要求，特别是当 AI 技术被用于驱动自动驾驶和全自动驾驶车辆时。需要注意的是，该条款并未专门针对 AI 制定，但明确提及了“自动驾驶车辆和全自动驾驶车辆”。虽然这项欧盟法律并未直接制定人工智能及其功能本身的具体标准，但 ISO正在制定的 PAS 8800 标准道路车辆-安全与人工智能47却侧重于人工智能安全，致力于制定一套关于“安全原则、方法及验证依据”的框架。该标准的适用范围广泛，不局限于自动驾驶或无人驾驶车辆，而是涵盖了所有道路车辆。其目的是解决有
44、关人工智能监管和标准化的基础性问题，并为行业提供具体的、实用的指导方针48，从而协调现有法规和既定原则，如预期功能的安全性。另一个关于人工智能（功能）安全的行业标准是 ISO/TR 5469:2024人工智能功能安全和人工智能系统49。该文件于 2024 年发布，描述了与 AI 相关的风险因素，以及当前在多种汽车应用中可用的、与 AI 技术相关联的方法和流程。这些应用包括利用 AI 和非 AI 系统来管理 AI 安全系统的与安全性相关的功能。该标准已经发布，旨在为未来 ISO/IEC AWI TS 22440 标准50，51的制定提供支持。此外，ISO/TR 4804:2020道路车辆自动驾驶
45、系统的安全与网络安全设计、验证与确认52也进一步强调了安全性，特别是网络安全方面。该标准重点关注自动驾驶系统（SAE 3 级和 4 级）的开发与验证，并提供了全球适用1由于作者的工作领域和工作地点，本章将重点关注欧盟的汽车行业。222024 云安全联盟大中华区版权所有的安全、验证与确认方法。值得注意的是，ISO/TR 4804:2020 将在未来被 ISO/CDTS 5083 所取代。新的 ISO 文档涵盖了“开发并验证配备有安全自动驾驶系统的自动驾驶车辆的步骤”，这些步骤同样遵循 SAE 3 级和 4 级的要求。此外，该文档还将深入探讨这类自动驾驶系统所需达到的安全级别，其目标是在与人工驾驶
46、相比的情况下，显著降低因自动驾驶而引发的总体风险。2.2.2 航空航空全球航空界与其他行业一样，在计算机系统的使用方面遵循许多相同的实用标准。这也适用于人工智能和运行人工智能的平台。为此，航空领域也将采用公认的信息技术安全标准，包括 ISO/IEC 2700153、ISO/IEC 4200154、ISO/TR546949、NIST AI RMF55，以及与航空公司或制造商管辖范围相关的 AI 道德标准。然而，目前尚未实施针对 AI 的具体法规。全球航空业的管理机构，如美国联邦航空局（FAA）、欧盟欧洲航空安全局（EASA）、英国民航局（CASA）和澳大利亚民航局（AUCASA），都意识到了人工
47、智能给其行业带来的好处和挑战。不过，目前他们还没有对人工智能的使用进行监管。上述机构已经成立了人工智能特别工作组，以调查人工智能在飞机上、地面操作和行业监管中的使用情况。英国 CASA 目前正处于向行业公开征求意见的阶段56，而美国 FAA 则组建了一个由 Pham 博士领导的技术专家团队57，该团队将专注于 AI 在航空领域的研究与应用。人工智能被广泛应用于军事航空的多个方面，包括情报数据分析、自动驾驶车辆、机场和空军基地的预测性维护和实体安全。此外，AI 还用于管理 IT 安全和运营系统58。总体而言，民航业非常希望利用人工智能来协助天气规划和航线安排、维护、客运和货运管理等工作。大多数提
48、出的 AI 使用方案都围绕着预测性维护、航线和维护规划以及乘客与货物管理方面的机器学习。生成式人工智能的使用仅限于航空公司客户聊天机器人和决策支持系统。不过，目前正在进行的重要研究是探索 AI 在飞行全过程中的空中交通控制应用。欧盟于 2022 年 10 月发布了关于 AI在空中交通管理中应用的 CORDIS 成果包，涵盖了欧洲人工智能控制空中交通的许多方面59。232024 云安全联盟大中华区版权所有航空业面临的一个特殊挑战是，商用客机的寿命通常以几十年为单位，而人工智能技术却日新月异，不断取得突破性进展，这迫使相关法规必须紧跟步伐，持续进行更新。2.2.3 关键基础设施和基本服务关键基础设
49、施和基本服务将人工智能融入关键基础设施是一项重大转变，其旨在建立更高效、反应更迅速、系统更智能的关键基础设施。其中，包括但不限于电力、天然气、水和食品供应链等行业，在现代社会的正常运转中均起到了至关重要的作用。在迎接数字化转型的同时，在性能提升和安全鲁棒性之间取得平衡变得越来越富有挑战性。在本节中，我们将探讨人工智能与关键基础设施的融合所带来的挑战和机遇，重点关注监管框架、安全标准以及适应技术不断进步的需求的重要性。微妙的平衡：性能与安全微妙的平衡：性能与安全高性能人工智能系统在关键基础设施中可起到的作用毋庸置疑。相关的技术应用可以提高运作效率、优化运营流程，并能在故障发生前进行预测和处理。然
50、而，在大多数情况下，仅通过物联网（IoT）设备、集成 tinyML8和边缘计算来集成人工智能系统，会带来新的安全漏洞。分散化的数据处理虽然有利于提高系统响应速度，但却扩大了潜在网络威胁的攻击面。国际标准化组织（ISO）和国际电工委员会（IEC）等监管机构和标准化组织已经制定了 ISO/IEC 27001、ISO/IEC27002 等通用框架，以及以工业自动化和控制系统为重点的 ISA/IEC 6244360系列 标 准 和 技 术 规 范 和 报 告，例 如 IEC TS 62351-100-4:202361 和 IEC TR61850-90-4:202062，并通过具体的措施来保护这些技术。
51、然而，针对于关键基础设施中的物联网和边缘人工智能的法规具体内容仍然模糊不清。致命弱点：物联网和边缘人工智能致命弱点：物联网和边缘人工智能将物联网设备整合到关键基础设施领域中会产生很高的网络攻击风险。这些设备是人工智能感知神经网络中不可或缺的一部分，可能会被利用来提供虚假数据，从而操纵人工智能系统的决策，进而导致基础设施无法运行。尽管欧盟人工智能法案、NIS2 指令和美国人工智能行政命令等现行法规非常重视网络安全和风险管理，但想要应对边缘人工智能和微型 ML 设备带来的独特挑战，我们还需242024 云安全联盟大中华区版权所有要去不断探索。ENISA 的行业研究报告人工智能中的网络安全和隐私对电
52、网需求的预测63中就试图揭示此类潜在的风险和威胁。打造面向未来的基础设施打造面向未来的基础设施确保关键基础设施中人工智能的安全涉及到几项重要战略。首先，必须制定针对特定行业的人工智能法规，确保可以满足所有关键基础设施行业的个性化需求。其次，要对物联网设备和边缘人工智能采用标准化安全协议，加强系统抵御网络威胁的能力。国际合作在人工智能治理方面将发挥关键性作用，可以确保在全球范围内采取一致、有效的方法来保护关键基础设施的安全。2022 年，由水源研究基金会（WRF）和水源环境保护协会（WEF）联合发起的“领导人技术创新论坛”（LIFT）计划的获奖者利用尖端的人工智能和数据科学技术来保护（防范网络安
53、全威胁）、预测（系统状态）和优化设施流程64。2024 年 3 月 1 日，美国总统科技顾问委员会（PCAST）发布了一份报告，副标题为“优化数据时代下的关键基础设施”65，其中很大一部分专门论述了人工智能在关键基础设施系统当中的作用。报告强调了人工智能发展的双重性，阐述了其在不断进步中具备的潜力和被滥用的风险。他们强调了人工智能对关键基础设施的影响，并进行了针对性分析，指出人工智能有增强恶意黑客能力的可能性，因此有必要针对此类威胁做好战略准备。此外，PCAST 还提倡在防御机制中利用人工智能，并呼吁开展公私合作，打破传统思维束缚和行业壁垒，进行功能性开发以及国际协作，以有效应对人工智能和网络
54、安全的挑战。持续进化：发展之路持续进化：发展之路将人工智能融入关键基础设施是一项风险与机遇并存的挑战性举措，必须一丝不苟地保持创新性与安全性之间的平衡。随着人工智能技术的进步，相应的监管措施和安全治理框架也要共同发展，这就要求我们在安全监管方面采取谨慎、普适的方法，确保我们的防御措施可以随着新漏洞的出现而同步优化。想要建立健全、有效、安全、可适配的人工智能集成系统，需要践行以下几个步骤：通过实施“零信任”原则，奉行“从不信任，始终验证”的信条，确保关键基础设施系统不过分依赖外围防御系统，规避娴熟的黑客攻击者可以绕过防御系统的风险；与传统安全措施相比，使用人工智能驱动的安全系统能更快地适应不断变
55、化的威252024 云安全联盟大中华区版权所有胁。但要确保在所有关键基础设施行业之间做到共享威胁情报和最佳实践做法，才能从更广泛的知识和经验库中受益；要建立持久的培训机制，通过针对性的专业性培养才能让安全专业人员掌握最新的知识和操作工具，从而去应对日益变化的新威胁。前方的道路前方的道路将人工智能融入关键基础设施是一个充满挑战但又发展潜力十足的举措。但如何在提升性能的同时保障设施安全，是一项复杂但至关重要的任务。只有通过制定针对性的法规、采用标准化的安全措施以及开展国际合作，我们才能更好地驾驭这一项前沿技术。关键基础设施的未来取决于我们是否有能力在利用人工智能优势的同时防范风险，确保为社会正常运
56、转奠定灵活、高效和安全的基础，并且在实际决策或操作中，必须要有人类参与，仅将人工智能的决策作为参考。目前，我们仅有一套并不完善的法规。虽然有关人工智能的法律法规正在全球范围内不断完善，但目前还没有具体的法律法规关注人工智能在关键基础设施中的应用。其重点在于一般性原则。现有的法规和一些倡议则侧重于强调网络安全、安全性和可信性等更广泛的原则。一些政府机构正在积极制定负责任 AI 的有关开发和部署框架的新标准，其中一部分就侧重于人工智能在关键基础设施当中的应用。现行举措现行举措 美国第美国第 14110 号行政命令（号行政命令（2023 年年 10 月）月）关于安全、可靠、可信赖地开发和使用人工智能
57、的第 14110 号行政命令（2023年 10 月）：关于在关键基础设施和网络安全中管理人工智能的第 4.3 条66。该计划概述了如何评估和降低关键基础设施中人工智能风险，优先考虑制定安全准则，成立人工智能安全和安保委员会，并对基础设施所有者和运营商实施监管。网络安全和基础设施安全局（CISA）负责评估和减轻人工智能对关键基础设施的威胁67。欧盟人工智能法案欧盟人工智能法案262024 云安全联盟大中华区版权所有欧盟人工智能法案68，69概述了人工智能系统的监管框架，重点关注合规性、风险管理、数据治理、技术文档、记录保存、透明度、人工监督、准确性、稳定性和网络安全标准。它根据风险等级对人工智能
58、系统进行分类，对于关键基础设施中的“高风险”应用须接受更严格的监管。2024 年 3 月 13 日，欧盟议会批准了人工智能法案70。经合组织人工智能原则经合组织人工智能原则经济合作与发展组织（OECD）原则 1.571强调了各行为主体对人工智能系统的开发、部署和使用的责任（问责制），尤其是那些具有潜在社会影响力的人工智能系统。关键基础设施无疑是一个具有重大社会影响的领域，要确保该领域人工智能的应用符合问责制这一原则。这些原则对于推动国际讨论具有一定的影响力。人工智能和数据法案（人工智能和数据法案（AIDA）AIDA72旨在指导加拿大国内人工智能的创新发展和问责制建设。它确保以安全的方式开发和使
59、用人工智能系统，满足监管体系对于个人和社会经济领域所使用的人工智能系统进行管理的需要。此外，它还强调要保护高影响力人工智能系统可能会受到的伤害，避免可能产生的偏差结果。AIDA 概述了各利益相关方的角色、参与人工智能开发的企业的义务以及确保合规的执行机制。您可以在我们的论文 实践原则：动态监管环境下的人工智能责任制体系建设中找到对现有的相关举措、人工智能的法律以及监管环境的深入分析。2.2.4 国防国防国防中的人工智能和新兴技术国防中的人工智能和新兴技术在未来的战场上，现实世界和数字虚拟化世界将交织在一起，形成一个复杂而具有争议性的环境。新的威胁和挑战将不断涌现，而人工智能将成为获取领先优势、
60、进行全面态势感知、收集情报和改进决策的关键因素。机器人、大数据、272024 云安全联盟大中华区版权所有自动化系统以及生物技术等将为国防部队带来新的机遇和风险。人工智能对于整合、利用这些技术以及防御对手使用这些技术都扮演了至关重要的角色。军方需要寻求与民营企业、学术界和盟国建立伙伴关系，促进创新、推广应用，培养全新的领导力和文化内涵。人工智能将促进跨领域、跨平台和跨组织的合作与交流，实现人机协同，共同学习。这些都需要与人工智能法规和监管体系相吻合。然而，想要在国防领域使用人工智能，那么道德、安全和可信度是最重要的考虑因素。法律法规和监管体系都能通过创造公平的竞争环境，促进创新与合作，提高公众的
61、信任度和接受度，来推动国防工业向前发展。人工智能相关的法律法规和监管体系有助于确定在国防中开发、部署和使用人工智能系统的标准和最佳的操作程序，降低人工智能受到偏见、伤害或滥用的风险，并增强人工智能使用者的责任感和透明度。它可以通过建立共同市场，促进竞争优势培养来刺激国防工业的发展。统一国防机构的规则和要求也有助于国防和非国防部门人工智能系统的跨境合作和互操作性。人工智能相关的法律法规和监管体系可增强公众对国防领域人工智能的信任和接受程度。人工智能在国防中的历史作用人工智能在国防中的历史作用自从艾伦-图灵（Alan Turing）发表了他的奠基性著作 计算机器与智能 73，揭开了我们今天所熟知的
62、人工智能的序幕以来，第一批的投资和使用都是由国防部门推动的。利用自然语言处理（NLP）将语音转为文本，以及利用机器学习分析文本和模仿人类思维和推理的相关技术正在迅速发展。最初的投资由国防部门提供，主要是美国国防部高级研究项目管理局（DARPA），该机构资助了多家机构的人工智能研究。随着技术的进步，人工智能系统的计算能力增强，数据成本降低，新的使用案例不断涌现。1970 年，通过投放传感器，人工智能模型可以确定目标、分配资源和任务计划，从而首次实现了半自动化战争74。20 世纪 80 年代，这一技术发展到智能武器、模拟和决策支持。282024 云安全联盟大中华区版权所有2018 年，美国国防部宣
63、布人工智能“即将改变未来战场的特性75”。2018年，五角大楼成立了联合人工智能中心（JAIC）和国家人工智能安全委员会。美国国会为了表达支持，在人工智能领域投资了 10 亿美元，并多次投资利用人工智能成果的系统，如全自主决策和无人系统。中国也采取了相应的行动，宣布要在 2030 年之前在人工智能领域引领世界。俄罗斯总统弗拉基米尔-普京曾有过著名的预言：“谁成为这一领域的领导者，谁就将成为世界的统治者76”。随着人类社会生产力的提高、决策的自动化和人工智能洞察力的增强，我们是否会造成战争发生得太快而人类无法干预的局面？对人工智能的大量投资是否会导致人工智能的军备竞赛？我们已经看到了人工智能的魅
64、力所在。自动化机器和机器人价格低廉，而且可以被替代。但人类则不然。自动化不会疲劳，不需要庞大的供应链支持，也避免了人类的生物性缺陷。另一方面，我们必须万分小心谨慎，仅仅依靠机器做出生死攸关的决定可能会带来可怕的后果。引用美国科技政策办公室（OSTP）主任、DARPA 前主任A.Prabhakar 博士的话说：“当我们审视人工智能的发展时，我们看到了一些非常强大的东西，但我们也看到技术仍然相当有限。问题是，当它出错时，其错误的方式是任何人类都无法理解的。77”。我们是否造成了前所未有的附带损害？自主战争机器是否是一场即将发生的战争罪行？现阶段在国防系统中使用的人工智能一般仅在明确、限定的环境中执
65、行复杂度较低的单一任务，例如图像识别、用于保卫舰船的速射炮以及长时间寻找明确特征的导弹。人工智能法规与国防人工智能法规与国防人工智能在国防领域的应用因其潜在的不可预估的影响力和杀伤力而有所不同。标准机构和监管机构编撰的大多数相关材料很少涉及与国防部门相关的用例。国防部门经常会参考公共领域的可用资源，为其量身定制类似的参考资料。对这些资料的访问通常仅限于（1）不向希望伤害我们的心怀不轨者提供洞察力；（2）对手能够从他人开发的知识产权中学习。技术也模糊了民用和国防部门之292024 云安全联盟大中华区版权所有间的界限。一方面，国防部门需要保密以保护国防，也需要灵活性，而严格的法规会限制这种灵活性。
66、另一方面，人工智能在国防领域出现偏差所带来的潜在危害可能远远超过非国防领域。尤其是需要在自主决策和人工监督之间取得平衡时，其在国防领域的应用很容易引发道德、安全及保障方面的问题，缺乏明确的指导方针或灵活的参与规则可能会导致滥用或其他不可控的意外后果。欧盟没有公开的专门针对国防的人工智能相关法律法规。虽然没有具体的规定可以称为“人工智能国防法案”，但北大西洋公约组织（NATO）制定了一项战略，聚焦于加快推动人工智能在国防当中的应用进程。该战略旨在加强关键人工智能的推动因素，并制定了在国防应用中负责任且合乎道德地使用人工智能的政策。美国国防部（DOD）于 2023 年 2 月公布了人工智能和自动化
67、技术的军事应用宣言。虽然不是立法法规，但它是一项旨在确保军队可以负责任地使用新兴人工智能技术的宣言。2.2.5 教育教育人工智能（AI）与教育领域的结合为提高学习成果和解决教育不平等问题提供了机遇。自适应学习系统、人工智能导师和预测分析等人工智能技术将根据不同的学习需求提供个性化教育。然而，由于人工智能系统涉及广泛的数据收集和处理，这种整合引发了行业内部对隐私和数据保护的担忧78。为确保在教育领域合乎道德地使用人工智能，治理框架必须优先考虑人类监督以及遵守法律和道德的标准79。在教育领域实施人工智能技术时，公平性和可获取性是至关重要的考虑因素。教育机构和决策者必须确保人工智能工具不会加剧现有差
68、距，而是成为增强赋能的工具。解决人工智能算法中的偏见风险对于防止歧视性结果会起到至关重要的作用，这强调了开发流程的透明性和包容性。教育工作者、技术专家、伦理学家和政策制定者之间有必要开展合作，来指导开发符合教育伦理的人工智能系统78。要与包括学生、家长和教育工作者在内的利益相关者持续对话，使人工智能计划与社会价值观和社会期望保持一致。此外，要对教育生态系统中的所有参与302024 云安全联盟大中华区版权所有者进行数字化教育普及和人工智能教育投资，培养他们有效、批判性地使用人工智能技术。通过以道德治理、合规性和包容性为重点，利用人工智能作为实现教育改革和教育公平的工具78。将人工智能融入教育需要
69、采取积极主动、细致入微的方法，并在创新与道德考量之间取得平衡。通过促进合作、确保透明度以及优先考虑公平性和普及性，教育部门可以利用人工智能丰富学习体验，同时保障所有学习者的权利和福祉。2.2.6 金融金融金融业被认为是全球监管最严格的行业之一，它通过国际公认的标准或地方监管机构进行监管。想要应对新的技术发展趋势，除了要洞察行为趋势和频繁的社会分析之外，还要满足最终客户的需求。行业制定“人工智能法规”已有多年，但人们对这些法规的认识还很有限。它们属于风险管理的业务风险类别。怎么会这样？许多人可能会认为 2008 年的金融危机与雷曼兄弟公司的倒闭有关80，81但实际上金融危机发生在十年以前。长期资
70、本管理部（LTCM）成立于 1994 年。它由诺贝尔经济学奖得主迈伦-斯科尔斯（Myron Scholes）和萨洛蒙兄弟（Salomon Brothers）等华尔街著名经济学家领导。他们专门从事套利金融建模。1998 年 8 月，俄罗斯债务违约，LTCM 持有大量的这些国家债券头寸，损失了数亿美元，而与此相反的是计算机模型却建议他们持有头寸。重要的是要明白，虽然 1998 年称之为“计算机模型”，但我们今天称之为机器学习模型或人工智能。如果 LTCM 倒闭，由于其头寸的系统风险，我们很可能会看到第一次全球金融危机，但美国政府介入并提供了 36.25 亿美元的贷款。LTCM 于 2000 年初清
71、算82。2005 年，巴塞尔银行监管委员会发布了新的内部评级系统验证研究指南83，84。虽然这听起来不像人工智能，但评级系统是一个银行术语，是分析师或评级机构用来评估股票、债券或公司信用度的评估工具。如今，在这些评级系统中使用深度学习技术是很常见的，因为从机器学习的角度来说，评级系统就是一个推荐系统。人工智能的底层技术部分对银行家或交易商是隐藏的。312024 云安全联盟大中华区版权所有2011 年，在金融危机和“大衰退”之后，美国联邦储备委员会发布了更为详细的银行业指导意见，公布了“监管函”SR 11-7-模型风险管理指南85，资产规模达到或超过 100 亿美元的银行必须遵守该指南。因此，模
72、型构建和使用方面的问题被视为导致全球抵押贷款危机的重要因素。模型风险管理指南模型风险管理指南 SR 11-7在美国银行业，这些指导意见就像是新法律的出版物，均具有一定的社会地位和应用价值。在 SR 11-7 中，模型被定义为“一种定量方法、系统或途径，它应用于统计、经济、金融或数学理论、技术和假设，将输入的数据处理成定量的估计值”。模型的使用不可避免地会带来风险，即“根据不正确或误用的模型输出和报告做出的决策可能带来的不利后果”。该文件强调了积极的模型风险管理的重要性，因为根据不正确或误用的模型做出的决策可能会产生不利后果（包括财务损失）。金融机构必须具备有效的模型风险管理框架，一个有效的模型
73、风险管理框架必须包括健全的治理、政策和控制措施，以确保模型开发、实施、使用和有效验证的鲁棒性。美国监管机构在这方面最著名的调查是 2019 年苹果公司的歧视性信用卡（见“人工智能事件简史”），因为它违反了 SR 11-7 中的“有效验证”部分。另一个例子是 2012 年令骑士资本（Knight Capital）集团损失 4.4 亿美元的交易模型出错事件86。骑士资本集团专门从事高频交易（HFT），这是人工智能的一个细分领域。HFT 是以毫秒到纳秒的速度进行股票交易。从本质上讲，高频交易 HFT 是指在相关兴趣方发出实际订单之前买入股票。一旦真实订单到达证券交易所，HFT 方将再次卖出股票，并保
74、留微小的差价。这种情况在一天内发生的频率极高。一般来说，HFT 在交易日结束时不会持有股票。2012 年 8 月 1 日，骑士资本集团的所有交易服务器都没有推出软件更新，导致错误执行订单。骑士资本集团的 HFT 系统因为无法识别之前的股票收购记录，所以不断买入相同的股票，由此扰乱了 148 家公司的价格。结果，骑士资本集团在短短 45 分钟内就蒙受了巨大损失（股市损失 4.4 亿美元）。由于这个 DevOps 问题，该公司于 2012322024 云安全联盟大中华区版权所有年 12 月被收购，这违反了 SR 11-7 的“实施和使用”预期。该并购于 2013 年 7月完成。除了人工智能在银行业
75、的产品应用外，美国机构还将模型用于欺诈检测和遵守银行保密法87和美国爱国者法案88。这些模型可以识别和评估客户的私人交易数据，并报告潜在的可疑活动。这些系统和反馈的结果是美国政府反恐计划的重要工具。不符合 SR 11-7 模型的预期会导致较差的合规评级和严格的监管行动，包括经济罚款/处罚和制裁，以及限制规模扩大。欧洲中央银行（ECB）于 2024 年 2 月发布了经过修订的内部模型指南。与美国法规 SR 11-7 类似，该指南规定了欧洲央行期望银行如何使用内部模型的透明度89。它涵盖了一般主体、信用风险、市场风险和交易对手信用风险。银行可以使用内部模型来计算风险加权资产，从而确定其最低监管资本
76、要求。欧洲央行的修订纳入了与气候相关的风险，并详细规定了以下方面的新要求：纳入与气候有关的风险纳入与气候有关的风险：修订后的指南考虑了与气候相关的风险，反映了这些因素在风险评估中日益重要的地位。违约的通用定义违约的通用定义：该指南有助于所有银行采用共同的违约定义，确保整个行业的一致性。大规模处置的处理大规模处置的处理：该指南对“大规模处置”（指不良贷款的批量出售）提供了标准化的处理方法。交易账簿头寸违约风险的计量交易账簿头寸违约风险的计量：更新后的“市场风险章节”详细介绍了如何衡量交易账簿头寸的违约风险。关于交易对手信用风险的说明关于交易对手信用风险的说明：修订后的指南对交易对手信用风险（即交
77、易对手可能违约的风险）进行了说明。回归标准化方法回归标准化方法：摒弃复杂的内部模型。332024 云安全联盟大中华区版权所有对于亚洲银行来说，并没有像 SR 11-7 或欧洲央行指南那样的特定模型风险管理指南，但模型风险管理的做法已从美国传到欧洲，最近又传到了亚洲银行。模型风险管理（MRM）职能的范围正在不断扩大，银行对模型库存的看法也在不断拓宽，已经超越了监管和风险相关的预测方法。它们还通过加强每个步骤的框架、流程和工具，深化了对模型生命周期的端到端视图90。金融业的其他重要标准包括 PCI DSS 和 PCI 3DS91，92。支付卡行业（PCI）数据安全标准（DSS）是一项全球信息安全标
78、准，旨在通过加强信用卡数据的控制和安全来防止欺诈。任何存储、处理或传输支付和持卡人数据的组织都必须遵守PCI DSS。PCI 3-Secure是EMVCo22消息传输协议，使持卡人在进行非现金卡（CNP）在线交易时能与发卡机构进行身份验证。由于在线交易和智能手机的使用，PCI 3DS 变得越来越重要。这些数据包括个人身份信息（PII）、持卡人数据（CHD）和其他财务数据。PCI DSS 和 PCI 3DS并不涉及人工智能条款。此外，不涉及交易的银行应用程序也不需要遵守这些PCI 标准。因此，涉及的人工智能是否必须遵守 PCI 标准，取决于使用案例是否包含交易数据。提供人工智能的云服务也需要根据
79、这些标准进行认证。如下图所示，Azure OpenAI 服务在 2023 年 3 月至 2024 年 1 月期间的认证状态会随时间发生变化。图 4：Azure 合规性产品93（2023 年 3 月和 2024 年 1 月）2EMVCo（Europay、MasterCard 和 Visa 公司）是一个全球性技术机构，负责管理基于芯片的安全支付技术和标准。342024 云安全联盟大中华区版权所有总体而言，金融业非常具有创新性。它依赖于早期技术的采用来超越竞争对手。摩根大通于 2023 年 5 月申请了一项专利 IndexGPT94，距离 ChatGPT 的公开发布仅仅过去了半年时间。这样的持续创新
80、有望提高个别银行和行业的绩效。话虽如此，系统所生成的数据与“训练”它们的数据一样好，会让企业承担相关的法律和合规责任，最终用户也容易受到多种潜在威胁。因此，金融行业的首要关注点是监管合规，保护敏感和机密数据以及客户隐私是关键任务。2.2.7 医疗保健医疗保健医疗保健/制药/医疗技术领域的人工智能既有潜力，也有风险。在这个受到高度（但非全球性）监管的行业中，区分 ML（机器学习）和 GenAI（生成式人工智能）至关重要。由于 ML 仅针对特定任务，因此可以在更大程度上确保其安全性，而医疗保健领域的 GenAI 会与不同的利益相关者互动，并在可靠性（和可解释性）、安全性、隐私以及防止误用和/或故意
81、滥用的措施等方面带来重大挑战。在医疗保健领域，使用人工智能的风险很高，但如果可以负责任地使用人工智能，将会带来巨大的利益。探索医疗保健领域的可信赖人工智能系统探索医疗保健领域的可信赖人工智能系统在这个领域有大量（特定国家的）法规、全球标准和全行业指导手册，有关该行业中的 ML 和 AI 的文献、科学论文、白皮书、文章和博客更是数不胜数。“可信赖的人工智能”与医疗行业的治理、合规性和技术挑战相关联，因此被纳入医疗保健的范围，其重点在于实践指南等实用方法上。本文讨论了医疗保健中的偏见，并从特定的行业角度揭示了这一主题。“可信赖的人工智能”进一步与第三部分概述的关于人工智能基准的思路相关联。可信赖的
82、人工智能意味着人工智能应用程序的行为符合其预期用途，其设计足够强大，能够最大限度地减少和/或降低相关风险。给出的相关定义包括可解释性、可靠性、安全性、隐私性、问责制、透明度、遵守法规和标准、道德和负责任的行为以及减少偏差。352024 云安全联盟大中华区版权所有根据 ML 或 GenAI 应用程序的预期用途，并非上述所有内容都适用于在为特定用途设计的应用程序中被命名为“可信赖的人工智能”。在本章中，仅考虑静态 ML/AI 应用程序。动态（自适应）应用程序可以不断学习，此处不予介绍。医疗保健文献中可信赖的人工智能医疗保健文献中可信赖的人工智能在“可依赖的人工智能”方面，如下四个关于医疗保健领域人