定制报告-个性化定制-按需专项定制研究报告
行业报告、薪酬报告
联系：400-6363-638
《Fastdata极数：2024全球人工智能简史（92页）.pdf》由会员分享，可在线阅读，更多相关《Fastdata极数：2024全球人工智能简史（92页）.pdf（92页珍藏版）》请在薪酬报告网上搜索。
1、全球人工智能简史Foreword前言前言如今我们正在进入人工智能(AI)带来的第五次工业革命，人工智能技术的运行速度远远快于人类的输出，并且能够生成曾经难以想象的创造性内容，例如文本、图像和视频，这些只是已经发生的一部分。人工智能的发展速度前所未有，要理解我们如何走到今天，就有必要了解人工智能的起源。人工智能的历史可以追溯到19 世纪，几乎每几十年都会有重大的里程碑事件出现，并对人类社会产生深远的持续性影响。尽管计算机和人工智能的历史并不算长，但它们已经从根本上改变了我们所看到的东西、我们所知道的东西以及我们所做的事情。对于世界的未来和我们自己的生活来说，没有什么比这段历史如何延续更重要。要了
2、解未来会是什么样子，研究我们的历史往往很有帮助。这就是本文所要做的，我回顾了计算机和人工智能的简史，人工智能发展历程中发生的一些重大事件，看看我们对未来可以期待什么。全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数大语言模型简史A Brief History Of Large Language Models在瞬息万变的技术世界中，一个迷人的概念已经吸引了科技爱好者的想象力和普通人的好奇心：大型语言模型(LLM)。这些人工智能的非凡壮举不仅可以理解人类语言，还可以生成与人类行为非常相似的文本。随着我们深入探索广阔的人工智能世界，掌握基础知识和推动我们走到这一
3、步的最新突破至关重要。无论您是想丰富自己对人工智能理解的爱好者，还是对日常接触的技术所依赖的人工智能感兴趣的人，这段探索大型语言模型领域及其历史起源的旅程都将是一次令人着迷的探险。在踏上探索大型语言模型内部工作原理的征程时，我们必须认识到大语言模型在人工智能发展的历史中有着深厚的影响，可以追溯到20世纪中叶。要了解人工智能的发展方向，我们必须回到过去，向众多像艾伦马西森图灵这样才华横溢的人致敬，是他们的开创性努力为我们今天看到的LLM格局奠定了基础。全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数什么是大型语言模型什么是大型语言模型(LLM)(LLM)？大
4、型语言模型是生成或嵌入式文本的基础模型（一种大型神经网络）。它们生成的文本可以通过为其提供起点或“提示”来进行调节，从而使其能够用自然语言或代码解决现实世界中有用的问题。数据科学家和研究人员通过自监督学习，在大量非结构化数据上训练LLM。在训练过程中，模型接受缺少一个或多个单词的单词序列。然后，模型预测缺失的单词，这个过程不仅会为模型产生一组有价值的权重，还会为每个输入的单词产生一个嵌入。在推理时，用户向LLM提供“提示”模型用作起点的文本片段。首先，模型将提示中的每个标记转换为其嵌入。然后，它使用这些嵌入来预测可能跟随的所有可能标记的相对可能性。然后，它以半随机的方式选择下一个标记并重复此过
5、程，直到模型选择STOP标记。你可以把它想象成一条从零到一的数字线。从左边开始，大型语言模型会将标记的概率从大到小堆叠起来。该线的第一部分，从0到0.01，可能是“你好”。第二部分，从0.01到0.019，可能是“世界”，依此类推。然后，模型在该数字线上选择一个随机点并返回与其关联的标记。实际上，大型语言模型通常只将自己限制在具有相对较高可能性的标记上。这就是为什么当输入提示“我去看了纽约”时，例如，当GPT-3发布时，其生成的第一个标记几乎总是与该城市相关的运动队或表演场地。全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数大语言模型简史大语言模型简史大型
6、语言模型是一种人工神经网络（算法），在短短几年内就从新兴发展到广泛应用。它们在ChatGPT的开发中发挥了重要作用，而ChatGPT是人工智能的下一个进化步骤。生成式人工智能与大型语言模型相结合，产生了更智能的人工智能。大型语言模型(LLM)基于人工神经网络，深度学习的最新改进支持了其发展。大型语言模型还使用语义技术（语义学、语义网和自然语言处理）。大型语言模型的历史始于1883年法国语言学家米歇尔布雷亚尔提出的语义概念。米歇尔布雷亚尔研究了语言的组织方式、语言随时间的变化以及语言中单词的连接方式。目前，语义用于为人类开发的语言，例如荷兰语或印地语，以及人工智能编程语言，例如Python和Ja
7、va。然而，自然语言处理专注于将人类交流内容翻译成计算机能够理解的语言，然后再翻译回来。它使用能够理解人类指令的系统，使计算机能够理解书面文本、识别语音并在计算机和人类语言之 间 进 行 翻 译。1906 年 至 1912 年，费 迪南德索绪尔在日内瓦大学教授印欧语言学、普通语言学和梵语。萌芽前的准备萌芽前的准备 法国语言学家，现法国语言学家，现代语义学先驱代语义学先驱米歇尔米歇尔布雷亚尔布雷亚尔1832年-1915年 瑞士语言学家、符号瑞士语言学家、符号学家、哲学家学家、哲学家费迪南费迪南德德索绪尔索绪尔1857年-1913年全 球 人 工 智 能 简 史 2 0 2 4|F a s t d
8、 a t a 极 数在此期间，他为语言系统这一高度实用的模型奠定了基础。他在1913年去世，没有整理和出版他的作品。幸运的是，索绪尔的同事、两位导师艾伯特塞切海耶和查尔斯巴利认识到索绪尔概念的潜力，并认为这些概念值得保存。这两位导师收集了他的笔记，以备将来的手稿之用，然后努力收集索绪尔学生的笔记。基于这些笔记，他们撰写了索绪尔的书，名为通用语言学课程（又译为语言作为一门科学，最终演变为自然语言处理（NLP），并于1916年出版。语言作为一门科学奠定了结构主义方法以及后来的自然语言处理。加速孕育阶段加速孕育阶段1943年，美国神经生理学家沃伦麦卡洛克和认知心理学家沃尔特皮茨发表了一项研究报告。研
9、究名称为神经活动中内在思想的逻辑演算。在这项研究中，讨论了人工神经网络的第一个数学模型。该论文提供了一种以抽象术语描述大脑功能的方法，并表明连接在神经网络中的简单元素可以具有巨大的计算能力。在神经活动中内在思想的逻辑演算奠定了人工神经网络的基础，是现代深度学习的前身，其神经元的数学模型：M-P模型一直沿用至今。在不远的未来，以神经网络为基础思想的科学家们，会大大发展人工神经网络的成果。如果说符号主义是利用逻辑学，自上而下的通过推理演绎的方式解决人工智能这个课题的话，人工神经网络则是利用神经科学，自下而上的通过模拟人脑思考的原理来解决人工智能这个课题。这些科学家们形成了人工智能中的另一个重要的派
10、别，后世称其为“联结主义（Connectionists）”。美国神经科学家和控制论学者，麦卡洛克与沃尔特皮茨一起创建了基于称为阈值逻辑的数学算法的计算模型，该模型将研究分为两种不同的方法，一种方法专注于大脑中的生物过程，另一种方法专注于神经网络在人工智能中的应用。沃伦沃伦麦卡洛克麦卡洛克1898年-1969年美国逻辑学家和计算神经科学家。他提出了神经活动和生成过程的里程碑式的理论表述，影响了认知科学和心理学、哲学、神经科学、计算机科学、人工神经网络、控制论和人工智能等不同领域，以及后来被称为生成科学的领域。沃尔特沃尔特皮茨皮茨1923年-1969年全 球 人 工 智 能 简 史 2 0 2 4
11、|F a s t d a t a 极 数假设有人要求你设计出最强大的计算机。艾伦图灵是计算机科学和人工智能领域的核心人物，自1954年他英年早逝后，他的声誉才得以提升。在我们所知的计算机出现之前的时代，他将自己的天才运用到解决此类问题上。他对这个问题和其他问题的理论研究仍然是计算、人工智能和现代加密标准（包括NIST推荐的标准）的基础。二次世界大战期间，“Hut8”小组，负责德国海军密码分析。期间图灵设计了一些加速破译德国密码的技术，包括改进波兰战前研制的机器Bombe，一种可以找到恩尼格玛密码机设置的机电机器。图灵在破译截获的编码信息方面发挥了关键作用。图灵对于人工智能的发展有诸多贡献，图灵
12、曾写过一篇名为计算机器和智能的论文，提问“机器会思考吗？”，作为一种用于判定机器是否具有智能的测试方法，即图灵测试。至今，每年都有试验的比赛。此外，图灵提出的著名的图灵机模型为现代计算机的逻辑工作方式奠定了基础。图灵于1947年在伦敦的一次公开演讲中宣称，机器修改自身指令的潜力在大型语言模型领域具有重要意义。它强调了大型语言模型的适应能力、持续改进、解决各种问题的能力以及紧跟不断发展的语言趋势的能力。这个想法与大语言模型的动态性质完全吻合，使大语言模型能够在瞬息万变的语言环境中获取知识、进行调整并保持最新状态。英国计算机科学家、数学家、逻辑学家、密码分析学家和理论生物学家，他被誉为计算机科学与
13、人工智能之父。艾伦艾伦图灵图灵1912年-1954年全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数计算机在语言相关任务中的最早用途之一是机器翻译(MT)，即使用计算机来翻译语言。第二次世界大战期间，两位擅长破解敌方秘密密码的人（1964年）开始了首批使用计算机进行翻译的项目之一。此后，美国各研究机构在接下来的几年里开始研究这个想法。这标志着使用计算机进行语言翻译和理解的研究的开始，也是导致我们今天所拥有的技术的早期步骤之一。自然语言处理的开始自然语言处理的开始自然语言处理(NLP)的起源可以追溯到20世纪50年代，当时机器理解和处理人类语言的想法还处于起
14、步阶段。正是在这个时代，IBM和乔治城大学（1954）的研究人员开始了一个开创性的项目。他们的目标是开发一个可以自动将一组短语从俄语翻译成英语的系统，这是最早的机器语言翻译项目之一。然而，掌握自然语言处理的道路绝非易事。在接下来的几十年里，研究人员尝试了各种方法，包括概念本体和基于规则的系统。尽管他们尽了最大努力，但这些早期尝试都没有取得可靠的结果，这凸显了教机器掌握人类语言的复杂性。基于规则的模型基于规则的模型 机器学习和跳棋游戏机器学习和跳棋游戏IBM的亚瑟塞缪尔开发了一个计算机程序下跳棋，在20世纪50年代初。他完成了一系列算法，使他的跳棋程序得以改进，并在1959年将其描述为“机器学习
15、”。美国计算机科学家，他是电脑游戏与人工智能方面的先锋。塞谬尔的电脑跳棋程式是世界上最早能成功进行自我学习的计算机程序之一，也因此是人工智能（AI）基础概念的早期展示之一。亚瑟亚瑟塞缪尔塞缪尔1901年-1990年全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数 Mark1Mark1感知器使用神经网络感知器使用神经网络1958年，康奈尔航空实验室的弗兰克罗森布拉特将赫布的神经网络算法模型与塞缪尔的机器学习工作相结合，创建了第一个人工神经网络，称为Mark1感知器。尽管语言翻译仍然是一个目标，但计算机主要是为数学目的而制造的（比语言混乱得多）。这些用真空管制
16、造的大型计算机用作计算器，计算机和软件都是被定制的。感知器的独特之处还在于它使用了为IBM704设计的软件，并确定了类似的计算机可以共享标准化的软件程序。在1960年MarkI感知机的开发和硬件建设中达到了顶峰。从本质上讲，这是第一台可以通过试错来学习新技能的计算机，它使用了一种模拟人类思维过程的神经网络。MarkI感知机被公认为人工智能的先驱，目前位于华盛顿特区的史密森尼博物馆。MarkI能够学习、识别字母，并能解决相当复杂的问题。1969年，明斯基和西摩佩珀特出版了感知机一书，彻底改变人们对感知机的看法。不幸的是，Mark1感知器无法识别许多种基本的视觉模式（例如面部），导致期望落空，神经
17、网络研究和机器学习投入也被消减。美国人工智能领域著名心理学家。他有时被称为深度学习之父弗兰克弗兰克罗森布拉特罗森布拉特1928年-1971年 ELIZAELIZA使用自然语言编程使用自然语言编程直到1966年，麻省理工学院的计算机科学家约瑟夫魏森鲍姆开发了ELIZA，它被称为第一个使用NLP的程序。它能够从收到的输入中识别关键词，并以预先编程的答案做出回应。魏森鲍姆试图证明他的假设，即人与机器之间的交流从全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数从根本上说是肤浅的，但事情并没有按计划进行。为了简化实验并尽量减少争议，魏森鲍姆开发了一个程序，使用“积极
18、倾听”，它不需要数据库来存储现实世界的信息，而是会反映一个人的陈述以推动对话向前发展。尽管Eliza的功能相对有限，但它代表了该领域的一次重大飞跃。这个开创性的程序使用模式识别来模拟对话，将用户输入转换为问题并根据预定义规则生成响应。尽管Eliza远非完美，但它标志着自然语言处理(NLP)研究的开始，并为开发更高级的语言模型奠定了基础。美国计算机科学家。麻省理工大学的荣休教授，1966年他发表了一个简单的名为ELIZA的机器人小程序。通过一个名为DOCTOR的脚本此程序人类可以和其以极类似心理学家的方式交谈。瑟夫瑟夫魏森鲍姆魏森鲍姆1923年-2008年 SHRDLUSHRDLU-理解自然语言
19、的软件诞生理解自然语言的软件诞生1970年特里维诺格拉德在麻省理工学院（MIT）创建了SHRDLU，为人工智能领域做出了杰出贡献。SHRDLU是一款旨在理解自然语言的创新软件。它主要通过电传打字机与用户进行对话，讨论一个称为“积木世界”的封闭虚拟环境。在这个世界中，用户可以通过移动物体、命名集合和提出问题进行交互。SHRDLU的突出之处在于它能够熟练地结合名词、动词和形容词等基本语言元素，尽管虚拟世界很简单，但它却能够熟练地理解用户指令。美国斯坦福大学计算机科学教授。他主要从事人工智能与心灵哲学领域的研究。他开发了知名的自然语言理解程序SHRDLU特里特里维诺格拉德维诺格拉德1946年-全 球
20、 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数20世纪90年代，我们处理语言的方式发生了重大变化。研究人员不再依赖严格的规则，而是开始使用统计模型来分析现实世界的文本示例。这些模型更加灵活，可以处理更广泛的语言模式，但它们需要大量的计算机能力和大量数据集才能正常工作。20世纪70年代初，人工智能领域由伦纳德鲍姆(1971)等人引入了隐马尔可夫模型(HMM)和条件随机场(CRF)。HMM使用概率来判断句子中发生了什么，例如识别单词的角色（名词、动词等）。它们非常擅长处理单词序列并找到句子背后最可能的故事，这使得它们对于语音识别和词性标注等任务非常有用。转向统计方
21、法提高了语言处理的灵活性和上下文敏感性。尽管如此，它们也需要大量的计算资源和数据才能有效执行。这种转变也带来了新的障碍，为语言建模领域的未来发展铺平了道路。在20世纪90年代和21世纪初期，N-gram模型对统计语言建模做出了重大贡献。这些模型简单但功能强大。它们通过查看某个单词前面的单词序列来估计该单词出现的可能性。这种直接的方法有助于理解语言的上下文。N-gram的一个突出用途是Google的PageRank算法（1996年）。本质上，N-gram模型强调了语言中语境的重要性，并为能够捕捉更广泛的语言细微差别的更先进的技术奠定了基础。统计语言模型统计语言模型HMMHMM模型示意图模型示意图
22、全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数1983年，辛顿发明玻尔兹曼机，后来，简化后的受限玻尔兹曼机被应用于机器学习，成为深度神经网络的层级结构基础。1986年，辛顿提出适用于多层感知机的误差反向传播算法（BP），这一算法奠定了后来深度学习的基础。辛顿每隔一段时间都能发明出新东西，而他也坚持写了两百多篇神经网络相关的论文，尽管这些论文不被待见。到了2006年，辛顿已经积累了丰富的理论和实践基础，而这一次，他发表的论文将改变整个机器学习乃至整个世界。辛顿发现，拥有多个隐藏层的神经网络能够具有自动提取特征学习的能力，相比传统的手工提取特征的机器学习更有
23、效果。另外，通过逐层预训练的方式可以降低多层神经网络的训练难度，而这解决了长期以来多层神经网络训练的难题。辛顿将他的研究成果发表在两篇论文中，而当时神经网络一词被许多学术期刊编辑所排斥，有些稿件的标题甚至因为包含“神经网络”就会被退回。为了不刺激这些人的敏感神经，辛顿取了个新名字，将该模型命名为“深度信念网络”（Deep Belief Network）。在20世纪90年代，卷积神经网络(CNN)被引入。CNN主要用于图像处理，但也可用于某些NLP任务，例如文本分类。人工智能和神经网络架构的这些发展，包括感知器(1960)、RNN、LSTM和CNN，共同塑造了自然语言处理和深度学习的格局，为理解
24、和处理人类语言开辟了新的可能性。深度学习模型深度学习模型英国出生的加拿大计算机学家和心理学家，多伦多大学教授。以其在类神经网络方面的贡献闻名。辛顿是反向传播算法和对比散度算法的发明人之一，也是深度学习的积极推动者，被誉为“深度学习教父”。辛顿因在深度学习方面的贡献与约书亚本希奥和杨立昆一同被授予了2018年的图灵奖。2024年因其在AI领域的卓越贡献，获得2024年诺贝尔物理学奖。杰弗里杰弗里辛顿辛顿1947年-全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数1986年，循环神经网络(RNN)能够捕捉语言中的序列依赖关系，但它面临着长距离依赖关系和梯度消失
25、的挑战。同时，在语言建模的早期，杰弗里洛克埃尔曼于1990年开发的循环神经网络语言模型(RNNLM)发挥了重要作用。该模型擅长识别序列中的短期单词关系，但在捕获长距离依赖关系时其局限性变得明显，促使研究人员探索替代方法。除了RNNLM之外，该领域还出现了潜在语义分析(LSA)，它由朗道尔和杜迈斯于1997年提出。LSA利用高维语义空间来揭示文本数据中隐藏的关系和含义。虽然它提供了对语义关联的宝贵见解，但在处理更复杂的语言任务时遇到了某些限制。RNNLM和LSA的贡献以及其他具有影响力的里程碑共同塑造了语言建模取得重大进步的道路。1997年，长短期记忆(LSTM)模型的推出改变了游戏规则。LST
26、M允许创建更深层、更复杂的神经网络，能够处理大量数据。门控循环单元(GRU)是深度学习和自然语言处理领域的一个显著新成员。GRU由Kyung-hyun Cho及其团队2014年是一种循环神经网络架构，采用门控机制来控制输入并忘记某些特征，类似于长短期记忆(LSTM)网络。然而，GRU与LSTM的在于，它们没有上下文向量或输出门，因此架构更简单，参数更少。研究表明，GRU在各种任务中的表现与LSTM相似，包括复音音乐建模、语音信号建模和自然语言处理。这一发现凸显了门控机制在循环神经网络中的价值，并促进了自然语言处理神经网络架构的持续进步。美国心理语言学家，加州大学圣地亚哥分校（UCSD）认知科学
27、教授。他专门研究神经网络领域。1990年，他提出了简单循环神经网络（SRNN），又称“Elman网络”。杰弗里杰弗里克克埃尔曼埃尔曼1948年-2018年全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数 图形处理单元图形处理单元(GPU)(GPU)的诞生的诞生在1999年推出第一款GPU（NvidiaGeForce256）之前，NLP模型完全依赖CPU进行推理。具有并行处理能力的GPU的引入将标志着一个关键的转变，因为它将允许高效执行NLP任务，从而能够处理以前仅靠CPU无法实现的大型文本数据集和复杂计算。这项GPU技术将彻底改变深度学习模型，并将在机器翻
28、译和文本生成等任务方面取得重大进展。1999年英伟达推出了一款名为“GeForce256”的显卡，其具有强大的3D图形渲染力和可编程性能，也被业界誉为世界上第一个真正意义上的GPU，GPU在后来的人工智能发展中扮演着非常重要的角色。NvidiaGeForce256NvidiaGeForce2561999年 词嵌入词嵌入此外，神经网络开始用于预测文本中的下一个单词。约书亚本希奥等人（2003年）提出了第一个神经语言模型，使用一个隐藏层前馈神经网络和开创性的词嵌入。自从谷歌的Tomas Mikolov和他的团队于2013年推出Word2Vec以来，人们开始更多地使用神经网络来完成语言任务。这些词向
29、量将单词表示为连续空间中的密集向量，标志着传统方法的转变，并显著改善了语言理解和单词间语义关系的建模。利用神经网络进行语言建模使系统能够预测句子中的下一个单词，超越了统计分析并产生了更复杂的语言模型。加拿大计算机科学家，因其在人工神经网络和深度学习方面的研究而知名。本希奥与杰弗里辛顿和杨立昆一起获得2018年的图灵奖，以表彰他们在深度学习方面的贡献5。这三人有时被称为“AI教父”和“深度学习教父”。约书亚约书亚本希奥本希奥1964年-Seq2SeqSeq2Seq模型模型2015年，Bahdanau等人提出了序列到序列模型（Seq2Seq），这是一种神经网络，可以有效地将可变长度的输入序列映射到
30、可变长度的输出序列。Seq2Seq模型架构由两个关键组件组成：编码器和解码器。编码器负责处理输入序列，产生一个固定长度的上下文向量，该向量封装了输入序列的含义。全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数解码器随后利用该上下文向量逐步生成输出序列。更详细地说，编码器通常采用循环神经网络(RNN)逐个元素处理输入序列，在每一步创建一个固定长度的隐藏状态向量。最后一个隐藏状态向量用作上下文向量并传递给解码器。解码器通常也以RNN的形式实现，它采用上下文向量并按顺序生成输出序列。它通过为每个步骤的潜在输出元素生成概率分布，然后通过从该分布中采样来选择输出序列
31、的下一个元素来实现这一点。然而，尽管Seq2Seq模型取得了成功，但它们也存在一定的局限性，尤其是在处理NMT任务中的较长序列时。当谷歌于2016年推出其“神经机器翻译”系统时，这些局限性就变得显而易见，这展示了深度学习在语言相关任务中的强大功能，并标志着机器翻译能力的重大进步。最终，2017年Google提出的Transformer架构的引入解决了Seq2Seq模型的许多缺点，从而显著提高了NMT性能。NMT技术的这种发展凸显了自然语言处理的动态性质以及对更有效解决方案的不断追求。从 传 统 的 序 列 到 序 列 模 型 到 开 创 性 的Transformer的演变重塑了大型语言模型的格
32、局。Ashish Vaswani在2017年的论文注意力就是你所需要的一切中引入Transformer模型，带来了并行序列处理和捕获大型序列中广泛依赖关系的能力。关键创新在于它们使用了自注意力机制，能够无缝集成序列内所有位置的上下文信息，消除了对递归和卷积的需求，从而产生了更可并行化、训练速度更快的优质模型。百花齐放时代来临百花齐放时代来临阿希什瓦斯瓦尼是一位从事深度学习工作的计算机科学家，他因在人工智能(AI)和自然语言处理(NLP)领域的重大贡献而闻名。他是开创性论文注意力就是你所需要的的合著者之一，该论文介绍了Transformer模型，这是一种使用自注意力机制的新颖架构，此后已成为NL
33、P中许多最先进模型的基础。Transformer架构是支持ChatGPT等应用程序的语言模型的核心。他是AdeptAILabs的联合创始人，曾担任GoogleBrain的研究员。阿希什阿希什瓦斯瓦尼瓦斯瓦尼全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数自注意力机制代表了一次重大飞跃，它允许模型关注输入序列的不同部分，并根据相关性分配不同的权重，即使单词相距很远。这一功能对于文本生成、语言翻译和文本理解等任务至关重要。GPTGPT-1 12018年，OpenAI推出了他们的第一个大型语言模型GPT-1。这是谷歌在2017年创建了一种名为“Transform
34、er”的新型计算机程序结构之后推出的。OpenAI在一篇名为通过生成式预训练提高语言理解能力的论文中分享了他们的工作。这篇论文不仅介绍了GPT-1，还介绍了生成式预训练Transformer的概念。BERTBERT2018年，谷歌推出了Transformer双向编码器表示(BERT)，这是一个重大突破，凸显了预训练模型的潜力。BERT代表了一种革命性的方法，它涉及在大量文本数据上训练广泛的Transformer模型，并针对特定任务对其进行微调，标志着语言建模新时代的到来。BERT的影响是深远的，因为它在各种自然语言理解任务（包括问答和情感分析）中建立了新标准。这标志着从僵化、特定于任务的模型转
35、向更具适应性和可迁移性的全新模型。通过在预训练期间利用大量可用的文本数据，BERT深入了解了语言的微妙之处和上下文关系，重塑了自然语言处理的格局。全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数 GPTGPT-2 2OpenAI于2019年推出了GPT-2，这标志着LLM领域的一个转折点。GPT-2拥有15亿个参数，展示了生成式模型的巨大潜力。该模型具有准确预测序列中下一个元素的一般能力。然而，对滥用的担忧导致了谨慎的发布策略。该模型能够生成连贯且上下文丰富的文本，证明了深度学习和NLP的快速进步。同时，百度ERNIE、XLNet、XLMERT（微软）、R
36、oBERTa（Facebook）等模型出现在LLM领域，开创了自然语言处理可能性和能力的新时代。2020年，OpenAI发布了GPT-3，这是一款拥有1750亿个参数的大型LLM。GPT-3突破了LLM的极限。它在语言翻译和文本完成、编码辅助和交互式讲故事等任务中表现出色。它的“few-shot”和“zero-shot”学习能力非常出色，使其能够用最少的训练示例执行任务。GPT-3引入了“提示工程”的概念，使用户能够根据自己的需求调整其 响 应。其 他 型 号 如 Megateron(Nvidia)、Blender(Facebook)、T5(Google)和Meena(Google)也在当年推
37、出。巨型模型兴起及大语言模型爆巨型模型兴起及大语言模型爆炸式增长炸式增长全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数2021年，LLM社区因引入各种新模式而热闹非 凡：Transformer-X（谷 歌）、GPT-Neo（Eleuther AI）、XLM-R（Facebook）、LaMDA（谷歌）、Copilot（GitHub）、GPT-J（Eleuther AI）、Jurassic-1（AI21）、Megatron-TuringNLG、Codex（OpenAI）、WebGPT（OpenAI）和BERT2（谷歌）。每个模型都有其独特的优势，为不断发展的
38、NLP领域做出了贡献，但名为LoRA的训练技术却吸引了人们的注意力。LoRALoRA低秩自适应(LoRA)是一种突破性的训练方法，旨在加快大型语言模型的训练，同时节省内存资源。LoRA将秩分解权重矩阵（称为更新矩阵）引入现有模型权重，并将训练工作完全集中在这些新增加的权重上。这种方法有两个明显的优势：首先，预训练模型的权重保持不变，降低了灾难性遗忘的风险。其次，LoRA的秩分解矩阵的参数明显较少，使得训练后的LoRA权重易于迁移。QLoRA紧接着一种突破性的方法问世，可以加速量化模型的微调，同时保持其性能。这项创新被称为QLoRA（量化低秩自适应），它为大型语言模型领域带来了范式转变。QLoR
39、A以LoRA（低秩自适应）为基础，通过引入一系列新技术将其提升到新的水平，这些技术不仅可以减少内存需求，还可以提高微调过程的效率。就像厨师将食谱数字化以节省空间同时保留进行调整的能力一样，QLoRA使研究人员和开发人员能够有效地微调大型语言模型，即使在计算资源有限的情况下也是如此。全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数从本质上讲，QLoRA利用了多项关键创新，包括NormalFloat(NF4)、DoubleQuantization,和PagedOptimizers,，这些创新共同实现了对大规模模型的微调，同时保持了性能。这一重大突破使大型语言模
40、型微调变得民主化，使小型研究团队能够使用它，并预示着自然语言处理的新可能性。随着我们继续突破该领域的可能性界限，QLoRA无疑将在塑造NLP的未来方面发挥关键作用。LamdaLamdaLamda（对话应用语言模型）是Google Brain于2021年发布的LLM系列。Lamda使用了仅解码器的转换器语言模型，并在大量文本语料库上进行了预训练。2022年，当时的谷歌工程师Blake Lemoine公开声称该程序具有感知能力，Lamda引起了广泛关注。它建立在Seq2Seq架构上。2022年，开源大型语言模型(LLM)领域经历了重大变革，一些先驱模型引领了潮流。Eleuther AI的创作GPT
41、-NeoX-20B是最早的开源LLM之一。尽管它的规模较小（与GPT-3等专有模型相比，它有200亿个参数），但它通过RoPE嵌入和并行注意层等创新产生了影响。它的自定义标记器可有效进行代码标记化，并在各种开源模型中得到采用。Meta AI的开放式预训练Transformers(OPT)计划旨在使LLM的获取更加民主化。OPT提供不同大小的模型，在精选数据集上进行预训练，并提供开源训练框架。开源模型的兴起开源模型的兴起2015年加入Google，担任软件工程师。负责Google人工智能模型LaMDA的开发。通过创建的聊天机器人测试了LaMDA，布莱克雷蒙恩为了观测应用LaMDA创建的聊天机器人
42、是否存在与性取向、性别、宗教、政治立场和种族有关的偏见。但在测试偏见时，在与聊天机器人的对话中，得出结论是人工智能是会产生情感的。布莱克布莱克雷蒙恩雷蒙恩全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数虽然OPT模型的表现并不优于专有模型，但它们在使LLM更易于研究和提高训练效率方面发挥了关键作用。BLOOM是一个包含1760亿个参数的LLM，它诞生于1000多名研究人员历时一年的大规模协作。它使用多语言文本数据集ROOTS语料库进行训练。尽管BLOOM在各种基准测试中都具有竞争力，并且在机器翻译任务中表现出色，但在某些方面仍然落后于专有模型。GPT-J和
43、GLM等著名模型也取得了成功，为开源LLM领域的进一步发展奠定了基础。2022年标志着语言模型领域向开放可访问性和协作研究的重大转变。LoRALoRA低秩自适应(LoRA)是一种突破性的训练方法，旨在加快大型语言模型的训练，同时节省内存资源。LoRA将秩分解权重矩阵（称为更新矩阵）引入现有模型权重，并将训练工作完全集中在这些新增加的权重上。这种方法有两个明显的优势：首先，预训练模型的权重保持不变，降低了灾难性遗忘的风险。其次，LoRA的秩分解矩阵的参数明显较少，使得训练后的LoRA权重易于迁移。GPT-4的问世2023年，OpenAI发布了GPT-4，在大型语言模型(LLM)领域迈出了开创性的
44、一步。GPT-4是一个庞大的多模态模型，拥有约一万亿个参数。从这个角度来看，GPT-4比其前身GPT-3大约五倍，比原始BERT模型大3,000倍。这一规模和容量上的巨大飞跃改变了LLM领域的格局，使其能够一次性处理多达50页的文本。全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数要真正了解GPT-4的演变，了解这些模型的时间顺序至关重要。近年来，我们见证了几个值得关注的LLM的发展，它们为当前的技术水平做出了贡献。这些模型为GPT-4的出现铺平了道路，它们反映了开源LLM研究的充满活力和生机勃勃的前景。SOTASOTA开源模型集开源模型集这一演变的关键时
45、刻之一是2023年2月MetaAI推出LLaMA。LLaMA是人工智能领域的一项突破性进展。其重要性在于它作为Meta向公众发布的基础大型语言模型。LLaMA的重要性可以从几个角度来理解：它通过提供更易于访问且性能更高的大型语言模型替代方案，使人工智能研究的访问变得民主化，减少了人工智能实验所需的计算资源，并为更多开源计划（如Alpaca、Vicuna、Dolly、WizardLM）奠定了基础。此外，LLaMA用途广泛，可以针对各种应用进行微调，解决偏见和歧视等人工智能挑战，同时通过受控访问坚持负责任的人工智能实践。继LLaMA之后，MosaicML的MPT套件提供了开源LLM的商业可用替代方
46、案。初始版本MPT-7B引起了广泛关注，随后是更大的MPT-30B模型。这些模型提供了质量和商业可行性的精彩融合，拓展了开源LLM应用的视野。另一个值得注意的进展是FalconLLM套件，其性能可与专有模型相媲美。Falcon-7B和Falcon-40B虽然是商业是可行的，结果表现也相当出色。这些模型挑战了有关数据质量的传统观念，表明在经过精心过滤和重复数据删除的网络数据上训练的模型可以与在精选来源上训练的模型相媲美。全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数LLaMA-2模型套件通过缩小开源和闭源LLM之间的差距标志着另一个重要里程碑。LLaMA-
47、2的参数大小从70亿到700亿不等，并在2万亿个token的海量数据集上进行预训练，突破了开源模型性能的界限。大型语言模型(LLM)领域最显著的进步之一是Zephyr7B模型，它是Mistral-7B-x0.1的微调版本。Zephyr7B拥有卓越的功能，这主要归功于它利用了精炼直接偏好优化(dDPO)和AI反馈(AIF)，使其能够与用户意图紧密结合。值得注意的是，该模型的性能不仅创下了新基准，而且令人印象深刻的是，在聊天基准测试中甚至超越了备受推崇的Llama2-Chat-70B，展示了其实力。Zephyr7B真正与众不同之处在于其卓越的效率。该模型以惊人的速度实现了卓越的性能，仅需几个小时的
48、训练。值得注意的是，这种效率是在无需人工注释或额外采样的情况下实现的，使其成为利用技术简化模型开发流程的出色范例。Zephyr7B的创新方法将传统的蒸馏监督微调(dSFT)与偏好数据相结合，展示了融合各种技术的潜力，以创建一个重新定义自然语言理解和生成领域可实现的边界的模型。OrcaOrcaOrca由微软开发，拥有130亿个参数，这意味着它足够小，可以在笔记本电脑上运行。它旨在通过模仿LLM实现的推理过程来改进其他开源模型所取得的进步。Orca以明显更少的参数实现了与GPT-4相同的性能，并且在许多任务上与GPT-3.5相当。Orca建立在130亿个参数版本的LLaMA之上。全 球 人 工 智
49、 能 简 史 2 0 2 4|F a s t d a t a 极 数 GeminiGeminiGemini是Google在2023年6月发布的，为该公司的同名聊天机器人提供支持。该模型取代了Palm为聊天机器人提供支持，在模型切换后，聊天机器人从Bard更名为Gemini。Gemini模型是多模态的，这意味着它们可以处理图像、音频和视频以及文本。Gemini还集成在许多Google应用程序和产品中。它有三种尺寸Ultra、Pro和Nano。Ultra是最大、功能最强大的模型，Pro是中端模型，Nano是最小的模型，专为提高设备上任务的效率而设计。Gemini在大多数评估基准上都优于GPT-4。
50、2024年2月9日，谷歌宣布GeminiUltra可免费使用，16日发布Gemini1.5，21日发布开源模型Gemma。Gemma采用了与Gemini相同的技术和基础架构，基于英伟达GPU和谷歌云TPU等硬件平台进行优化，有20亿、70亿两种参数规模。每种规模都有预训练和指令微调版本，使用条款允许所有组织（无论规模大小）负责任地进行商用和分发。谷歌介绍，Gemma模型与其规模最大、能力最强的AI模型Gemini共享技术和基础架构。2024年6月28日，谷歌宣布面向全球研究人员和开发者发布Gemma2大语言模型。据介绍，Gemma2有90亿（9B）和270亿（27B）两种参数大小，与第一代相比
51、，其性能更高、推理效率更高，并 且 内 置 了 显 著 的 安 全 改 进。谷 歌 称，Gemma227B的性能比大其两倍的同类产品更具竞争力；9B的性能也处于同类产品领先水平，优于Llama38B和其他开放模型。全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数 GorkGork2023年11月5日，马斯克旗下xAI团队发布其首个AI大模型产品Grok。据介绍，Grok通过X平台实时了解世界，还能回答被大多数其他AI系统拒绝的辛辣问题。2024年4月15日xAI的多模态模型Grok-1.5V发布，不仅多项基准测试超越GPT-4V，而且看懂梗图写Python
52、代码也都不在话下。并且，为了评估模型对于真实世界的空间理解，xAI此次还推出了新基准RealWorldQA。2024年8月13日，马斯克旗下xAI正式发布语言模型Grok-2早期预览版，该系列模型具有聊天、编码和推理等功能，包括Grok-2和Grok-2mini两个版本。GPTGPT-4o4oGPT-4o是由OpenAI训练的多语言、多模态（多种类型数据，例如文本、图像、音频等）GPT大型语言模型。GPT-4o于2024年5月13日发布。该模型比其前身GPT-4快两倍，而价格仅为其50%。GPT-4Omni（GPT-4o）是OpenAI的GPT-4继任者，与之前的模型相比有多项改进。GPT-4
53、o为ChatGPT创造了更自然的人机交互，是一个大型多模态模型，接受音频、图像和文本等各种输入。对话让用户可以像在正常的人类对话中一样参与，实时互动还可以捕捉情绪。GPT-4o可以在交互过程中查看照片或屏幕并提出相关问题。GPT-4o的响应时间仅为232毫秒，与人类的响应时间相似，比GPT-4Turbo更快。GPT-4o模型是免费的，将提供给开发者和客户产品。OpenAIo1，是OpenAI发布的推理模型系列。该模型在回答问题前会进行深入思考，并生成一条内部推理链，使其在尝试解决问题时可以识别并纠正错误，将复杂的步骤分解为更简单的部分，并在当前方法无效时尝试不同的途径。OpenAIo1包括三个
54、型号，除o1-preview之外还将有o1和o1-mini。全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数从二战期间机器翻译的早期发展，到GPT-4o等强大模型的出现，再到LLaMA等开源计划的出现，我们见证了人工智能和自然语言处理领域的深刻变革。时间轴见证了人类的智慧、奉献和协作。我们见证了从基于规则的模型到统计方法的转变，以及最终改变游戏规则的Transformer架构的引入，这使得GPT-4o等模型成为可能。在此过程中，BERT和Seq2Seq等模型留下了自己的印记，重新定义了我们理解语言的方式。LoRA和QLoRA等最新创新有望使大型语言模型微调
55、变得民主化，为更多研究人员和开发人员打开大门。我们已经走了很长一段路，但前进的道路同样令人兴奋。展望未来，我们必须时刻牢记道德考量、可访问性和负责任的人工智能发展。我们可以共同努力，继续塑造一个语言模型赋能并连接全球人民的世界。我们希望这次探索能让您更深入地了解语言模型的历史和潜力。当我们探索这个激动人心的人工智能领域时，让我们记住，旅程还远未结束，可能性无穷无尽。全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数生成式人工智能崛起生成式人工智能崛起生成式人工智能(GenAI)是一种人工智能技术，可以生成各种类型的内容，包括文本、图像、音频和合成数据。最近，
56、围绕生成式人工智能的讨论是由新用户界面的简单性推动的，该界面可以在几秒钟内创建高质量的文本、图形和视频。需要注意的是，这项技术并非全新技术。生成式人工智能于20世纪60年代在聊天机器人中被引入。但直到2014年，随着生成对抗网络（GAN，一种机器学习算法）的引入，生成式人工智能才能够创建令人信服的真实人物图像、视频和音频。Transformers使研究人员能够训练越来越大的模型，而无需事先标记所有数据。因此，新模型可以在数十亿页文本上进行训练，从而得到更有深度的答案。此外，Transformers还开启了一种名为注意力的新概念，使模型能够跟踪跨页面、跨章节和跨书籍的单词之间的联系，而不仅仅是单
57、个句子之间的联系。不仅仅是单词：Transformers还可以利用其跟踪联系的能力来分析代码、蛋白质、化学物质和DNA。所谓的大型语言模型(LLM)（即具有数十亿甚至数万亿个参数的模型）的快速发展开启了一个新时代，在这个时代，生成式人工智能模型什么是什么是GenAIGenAI?全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数可以编写引人入胜的文本、绘制逼真的图像，甚至可以即时创建一些有趣的情景喜剧。此外，多模式人工智能的创新使团队能够生成多种媒体类型的内容，包括文本、图形和视频。这是Dall-E等工具的基础，这些工具可以根据文本描述自动创建图像或根据图像生
58、成文本标题。尽管取得了这些突破，但我们仍处于使用生成式人工智能创建可读文本和逼真风格化图形的早期阶段。早期的实施存在准确性和偏见问题，并且容易产生幻觉并给出奇怪的答案。不过，迄今为止的进展表明，这种生成式人工智能的固有能力可以从根本上改变企业技术，改变企业的运营方式。展望未来，这项技术可以帮助编写代码、设计新药、开发产品、重新设计业务流程和转变供应链。生成式生成式AIAI模型模型生成式人工智能模型结合了各种人工智能算法来表示和处理内容。一旦开发人员确定了表示世界的方式，他们就会应用特定的神经网络来响应查询或提示生成新内容。诸如GAN和变分自动编码器(VAE)（带有解码器和编码器的神经网络）之类
59、的技术适合生成逼真的人脸、用于AI训练的合成数据，甚至是特定人类的复制品。谷歌的Transformer双向编码器表示(BERT)、OpenAI的GPT和谷歌AlphaFold等Transformer的最新进展也使得神经网络不仅可以编码语言、图像和视频。02研究与开发全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数0.20 0.22 0.26 0.27 0.31 0.35 0.38 0.51 0.81 1.58 2.34 3.83 6.23 37.80 0102030402010年-2023年全球AI专利授权数量2023年全球AI专利授权数量达37.8万件单
60、位：万件全球全球AIAI研发投入大幅飙升，研发投入大幅飙升，20232023年全球年全球AIAI专利授权专利授权量大量大37.837.8万件，同比增长万件，同比增长507.1%507.1%2010年-2022年全球人工智能出版物数量快速增长8.82010202224.2全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数 2022年全球AI专利国别分布分析中 及 度其他 61.13%20.9%15.71%2.03%中国在全球中国在全球AIAI专利数量处于领先位置，专利数量处于领先位置，20222022年中国年中国AIAI专利数量占全球的专利数量占全球的61.1
61、3%61.13%10.3 8.7 4.2 2.5 2.5 2.1 1.9 1.3 0.7 0.6 0.6 0.4 0.3 0.3 0.3 韩 卢森堡 日本中 新加坡澳大利亚加拿大德 丹麦芬兰 新西兰法 立陶宛2022年各国每10万人获得的AI专利数量（件）全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数中国申请的生成式人工智能专利数量同样处于全球中国申请的生成式人工智能专利数量同样处于全球领先位置领先位置世界知识产权组织(WIPO)的最新报告显示，中国发明家申请的生成式人工智能(GenAI)专利数量最多，远远超过排名前五的美国、韩国、日本和印度。WIPO生
62、成式人工智能专利态势报告记录了截至2023年的十年间54,000项GenAI专利，其中仅在去年一年就有超过25%的发明诞生。GenAI允许用户创建包括文本、图像、音乐和计算机代码在内的内容，为一系列工业和消费产品提供支持，包括ChatGPT、GoogleGemini或百度的ERNIE等聊天机器人。2014年至2023年期间，中国将有超过38,000项GenAI发明，是排名第二的美国的六倍。印度是GenAI发明的第五大来源地，在前五大国家中，其年均增长率最高，达到56%。报告显示，GenAI已经遍及生命科学、制造业、交通运输、安全和电信等行业。38,210.0 6,276.0 4,155.0 3
63、,409.0 1,350.0 中 韩 日本 度2014年-2023年各国生成式人工智能专利数量（件）“GenAI已经成为一项改变游戏规则的技术，有可能改变我们的工作、生活和娱乐方式。通过分析专利趋势和数据，WIPO希望让每个人都更好地了解这项快速发展的技术的发展方向和发展方向。这可以帮助政策制定者塑造GenAI的发展，造福我们共同利益，并确保我们继续将人类置于创新和创意生态系统的中心。我们相信，这份报告将使创新者、研究人员和其他人能够驾驭快速发展的生成式人工智能格局及其对世界的影响，”邓达仁邓达仁WIPOWIPO总干事总干事全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a
64、 t a 极 数中国生成式中国生成式AiAi参与主体对专利申请尤为重视，全球参与主体对专利申请尤为重视，全球前十大生成式前十大生成式AiAi专利拥有平台，中国占据六席专利拥有平台，中国占据六席2,074 1,564 1,234 607 601 571 468 443 418 377 腾讯平安保险百度中 科学院IBM阿里巴巴三星电子Alphabet字节跳动微软2014年-2023年获得GenAI专利数量主要公司/机构排名全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数20212021年开始，全球基础模型数量大幅飙升，开源模年开始，全球基础模型数量大幅飙升，开
65、源模型占据主导地位，半开源及闭源模型也大量涌现型占据主导地位，半开源及闭源模型也大量涌现3 1 9 32 98 8 12 23 10 28 28 4 2 27 72 149 0501001502002019年2020年2021年2022年2023年开源半开源闭源2019年-2023年全球不同可访问类型基础模型数量25.0%37.0%38.9%18.8%18.8%50.0%29.6%16.7%15.4%15.4%75.0%50.0%33.3%44.4%65.8%65.8%2019年2020年2021年2022年2023年2023年2019年-2023年全球不同可访问类型基础模型数量占比开源半开源
66、闭源全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数美国企业在人工智能领域一骑绝尘，几乎贡献了全美国企业在人工智能领域一骑绝尘，几乎贡献了全部高价值基础模型部高价值基础模型40 20 19 18 15 7 6 6 6 5 5 5 4 4 4 谷歌OpenAlMeta微软DeepMind清华大学EleutherAITogetherCohers斯坦福大学Hugging FaceAnthropicA/2BigScience上海人工智能实验室2019年-2023年各组织基础人工智能模型发布数量（个）109 20 8 4 3 2 2 2 2 1 1 1 1 1 中
67、阿联酋加拿大新加坡以色列德 芬兰台湾瑞士瑞典西班牙法 2023年各组织基础人工智能模型发布数量（个）全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数人工智能开源项目数量大幅飙升，人工智能开源项目数量大幅飙升，20232023年年GitHubGitHub人工智能项目星标达人工智能项目星标达12201220万，同比增长万，同比增长205%205%2011年-2023年GitHub人工智能项目星标数量（万）和 中 度其他 2023年全球各主要地区GitHub人工智能项目星标数量分布 和 中 度其他 38.9%29.2%16.9%7.9%7.1%4002022年2
68、023年1220全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数企业在全球企业在全球AIAI研究领域处于绝对领导地位，科研机研究领域处于绝对领导地位，科研机构及高校成果产出相对低效构及高校成果产出相对低效直到2014年，学术界在人工智能模型的发布方面一直处于领先地位。2014年之后企业就占据了主导地位。2023年，全球AI领域产生了51个值得注意的人工智能模型，而学术界只有15个。值得注意的是，2023年，有21个值得注意的模型来自产学研合作创下新高。现在创建尖端的人工智能大模型需要大量的数据、算力和资金投入，而这些是学术界所不具备的。这种由企业主导领先人
69、工智能模型研发的趋势和去年相比基本保持不变，并且还将持续下去。51 21 152023年全球值得关注人工智能大模型发布主体分布企业产学研合作学术界政府61 15 8 5 4 4 4 3 3 2 中 法 德 加拿大以色列 新加坡阿联酋埃及2023年值得关注人工智能大模型发布国家分布全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数大模型参数及训练算力需求呈现指数级增长，大模型的训练门槛在急速增高2003年-2023年主要人工智能大模型参数数量2003年-2023年主要人工智能大模型训练算力需求全 球 人 工 智 能 简 史 2 0 2 4|F a s t d
70、a t a 极 数2012年-2023年各领域著名人工智能大模型训练计算量自2012年以来著名机器学习模 型 的 训 练 算 力 中。例 如，AlexNet是推广使用GPU改进Al模型的现有标准做法的论文之一，它需要估计470petaFLOP进行训练。最初的Transformer于2017年发布，需要大约7,400petaFLOP，谷歌的GeminiUltra是目前最先进的基础模型之一，需要500亿petaFLOP。而最新的Grok3需要的算力更加惊人。全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数模型训练成本指数级飙升，进入人工智能领域的门模型训练成本
71、指数级飙升，进入人工智能领域的门槛越来越高槛越来越高930.00 3,288.00 160,018.00 4,324,883.00 6,405,653.00 1,319,586.00 12,389,056.00 78,352,034.00 3,931,897.00 191,400,000.00 TransformerBERT-LargeRoBERTa LargeGPT-3 175B(davinci)Megatron-Turing NLG 530BLaMDAPaLM(540B)GPT-4Llama 2 70BGemini Ultra2017年-2023年部分模型训练成本预估单位：模型训练成本(美
72、元)2017年2018年2019年2020年2022年2023年2021年2016-23年部分AI模型的训练成本估算全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数风投资本大举押注人工智能领域，美国是全球风投资本大举押注人工智能领域，美国是全球A AI I创创投投的的绝对绝对中心中心，创业项目质量及获得投资均大幅领先，创业项目质量及获得投资均大幅领先2024年海外市场AI相关企业重点融资案例盘点时间时间企业名称企业名称细分赛道细分赛道融资阶段融资阶段融资金额融资金额投资方投资方国家国家2024年12月Luma AI3D模型研发商C轮9000万美元亚马逊Am
73、azonAMDAndreessen Horowitz-a16zAmplify Partners经纬创投Factorial FundsLDV Capital韩华集团美国2024年12月Nebius人工智能基础设施服务商战略投资7亿美元Accel Partners英伟达NVIDIAOrbis Investment荷兰2024年11月/dev/agentsAI Agent通用操作系统研发商种子轮5600万美元CapitalG谷歌资本Index Ventures美国2024年11月Argil人工智能预编辑平台运营商天使轮490万欧元Y CombinatorEQT Ventures法国2024年11月P
74、lay.AI语音人工智能平台提供商天使轮2100万美元Pioneer FundSoma CapitalY CombinatorRace Capital500 GlobalKindred VenturesTRAC美国2024年11月Talus Network基于MoveVM的链上人工智能网络平台Pre-A轮600万美元领投 Polychain Capital美国2024年11月OpenAI人工智能研究公司战略投资15亿美元软银愿景基金SoftBank软银美国2024年11月Anthropic人工智能大模型Claude开发商战略投资40亿美元亚马逊Amazon美国2024年11月xAI马斯克发起设
75、立的人工智能公司战略投资50亿美元卡塔尔投资局QIAValor Equity PartnersAndreessen Horowitz-a16zSequoia Capital红杉美国2024年11月RoxAI Agent解决方案提供商A轮未透露领投 General Catalyst Partners美国2024年11月RoxAI Agent解决方案提供商种子轮未透露领投 Sequoia Capital红杉Google Ventures(GV)美国全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数2024年海外市场AI相关企业重点融资案例盘点时间时间企业名称企业
76、名称细分赛道细分赛道融资阶段融资阶段融资金额融资金额投资方投资方国家国家2024年11月Gendo人工智能驱动建筑平台种子轮430万英镑领投 LEA Partners领投 PT1Concept VenturesKoro Capital英国2024年11月SERENITY人工智能软件解决方案提供商A轮550万美元Base10 PartnersAllegion Ventures美国2024年11月workflowAI创意工作流平台种子轮300万美元领投 Venrex8VCSequoia Capital红杉Index VenturesOctopus Ventures英国2024年11月Bluespi
77、neAI理赔成本降低解决方案提供商种子轮720万美元领投 Team8美国2024年11月Ennoventure医药智能包装系统供应商A轮890万美元Tanglin Venture PartnersFenice Investment Group美国2024年11月Writer企业级AI写作协助工具C轮2亿美元ICONIQ GrowthPremji InvestRadical VenturesSalesforceAdobeIBMWorkday VenturesInsight Partners花旗Citi VenturesB Capital Group先锋领航美国2024年11月Zap Surgic
78、al Systems美国放射外科手术设备研发商战略投资 数千万美元百洋医药美国2024年11月Perplexity AI智能对话式搜索引擎提供商C轮5亿美元领投 Institutional Venture Partners美国2024年11月Physical Intelligence通用机器人系统的人工智能A轮4亿美元Lux CapitalThrive capitalSequoia Capital红杉Khosla VenturesOpenAIJeff bezosBond CapitalRedpoint Ventures红点全球基金美国2024年11月Spot AI智能摄像头系统开发商C轮310
79、0万美元Marcy Venture PartnersBessemer Venture PartnersRedpoint Ventures红点全球基金Cheyenne VenturesGSBackers行健资本Scale Ventures高通Qualcomm Ventures美国2024年11月Jugemu.ai人工智能DePIN项目种子轮100万美元未透露美国全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数2024年海外市场AI相关企业重点融资案例盘点时间时间企业名称企业名称细分赛道细分赛道融资阶段融资阶段融资金额融资金额投资方投资方国家国家2024年11
80、月Interface.ai金融领域AI Agent平台提供商种子轮3000万美元领投 Avataar Venture Partners美国2024年11月iGent人工智能软件开发商种子轮630万英镑HV CapitalDhyan VCTwin Path VenturesXTX Ventures10X Founders英国2024年10月CoframeAI网站前端优化工具研发商种子轮930万美元Hack VCSoma CapitalKhosla VenturesHFO三星电子TI Platform Management美国2024年10月SmashingAI网络内容社区种子轮340万美元Blo
81、ckchange VenturesTrue VenturesPower of NOffline Ventures美国2024年10月Urbint事故预防人工智能平台战略投资3500万美元领投 S2G Ventures美国2024年10月Sierra人工智能客服服务商战略投资1.75亿美元领投 Greenoaks Capital Management美国2024年10月Paretos智能决策服务提供商A轮850万欧元领投 Acton CapitalEtsyUVC PartnersHomeToGoCyberportLEA PartnersInterface Capital德国2024年10月Cas
82、cade AI员工援助AI解决方案提供商种子轮375万美元领投 Gradient VenturesSuccess Venture PartnersMyriad Venture Partners美国2024年10月Waymo汽车自动驾驶技术研发商战略投资56亿美元AlphabetTiger Global老虎海外淡马锡Temasek美国2024年10月Reality Defender人工智能生成媒体检测平台提供商A+轮3300万美元IBMDCVC Bio埃森哲AccentureIlluminate FinancialBooz Allen HamiltonThe Jeffries Family Of
83、fice美国2024年10月CrewAI自动化AI代理服务商A轮1800万美元Insight PartnersBOLDstart Ventures美国2024年10月Decagon生成式人工智能服务提供商B轮6500万美元领投 贝恩资本BainCapitalBond CapitalAccel PartnersACME Ventures美国2024年10月SynthBee新型计算智能技术研发商种子轮2000万美元领投 Crosspoint Capital Partners美国2024年10月Lightmatter芯片研发商D轮4亿美元CapitalG谷歌资本Fidelity Management
84、 and Research CompanyT.Rowe Price美国全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数2024年海外市场AI相关企业重点融资案例盘点时间时间企业名称企业名称细分赛道细分赛道融资阶段融资阶段融资金额融资金额投资方投资方国家国家2024年10月Beyond Presence计算机视觉技术研发商种子轮310万美元领投 HV CapitalMetaDeepMind10 x FoundersZalandoAlba VC美国2024年10月GladiaAI转录和音频智能硬件开发商A轮1600万美元领投 XAnge Private Equ
85、ityGaingelsSoma CapitalAthletico VenturesIlluminate FinancialMana Ventures法国2024年10月NumericAI会计自动化服务商A轮2800万美元Menlo VenturesInstitutional Venture PartnersSocii Capital美国2024年10月Suki医用语音笔记助手研发商D轮7000万美元领投 HedosophiaBreyer CapitalFlare Capital PartnersMarch CapitalVenrock Healthcare Capital PartnersIn
86、Health Ventures美国2024年10月OpenGradient去中心化开源AI平台种子轮850万美元Coinbase VenturesForesight VenturesSV AngelNearIllia PolosukhinPragma美国2024年10月Distributional人工智能安全服务商A轮1900万美元领投 Two Sigma Ventures美国2024年10月EvenUp智能法务服务商D轮1.35亿美元Capital GroupBessemer Venture PartnersSignalFirePremji InvestLightspeed Venture
87、Partners光速全球贝恩资本BainCapital美国2024年10月EverdayAI技能管理服务商种子轮未透露Builders Studio荷兰2024年10月PoolsideAI软件及代码开发解决方案提供商B轮5亿美元领投 贝恩资本BainCapitalDST Global英伟达NVIDIALG集团eBay汇丰创投美国2024年10月 Voyage AIRAG人工智能应用A轮2000万美元领投 CRVSnowflakeDatabricksWing Venture PartnersPear VenturesTectonic Capital美国全 球 人 工 智 能 简 史 2 0 2
88、4|F a s t d a t a 极 数2024年海外市场AI相关企业重点融资案例盘点时间时间企业名称企业名称细分赛道细分赛道融资阶段融资阶段融资金额融资金额投资方投资方国家国家2024年10月OpenAI人工智能研究公司战略投资66亿美元领投 Thrive capital微软Microsoft英伟达NVIDIA软银愿景基金SoftBank软银Khosla VenturesAltimeter CapitalFidelity Management and Research CompanyTiger Global老虎海外MGX美国2024年9月Prepared紧急通信AI平台提供商B轮2700万
89、美元Andreessen Horowitz-a16zNewView CapitalM13First Round Capital美国2024年9月Atomicwork人工智能员工支持平台提供商天使轮300万美元Z47-Matrix Partners IndiaStorm VenturesBlume Ventures美国2024年9月Pyka美国农业电动无人机研发生产商B轮4000万美元Y CombinatorPrelude VenturesObvious VenturesMetaplanet HoldingsPiva Capital美国2024年9月SupermavenAI编程服务提供商A轮12
90、00万美元领投 Bessemer Venture Partners美国2024年9月HarmonicAI视频处理播放技术研发商A轮7500万美元领投 Sequoia Capital红杉Index VenturesGreatPoint VenturesDST GlobalJasper Laus Era FundsJared LetoNikesh Arora美国2024年9月Scribenote利用人工智能为兽医生成医疗记录种子轮820万美元领投 Andreessen Horowitz-a16ziNovia CapitalVelocity Fund美国2024年9月Mercor全自动AI人才评估平
91、台提供商A轮3000万美元领投 Bill Gurley领投 Victor LazarteGeneral Catalyst PartnersChris ReLarry SummersAdam DAngeloJack DorseyPeter Thiel美国2024年9月fal内容生成平台A轮1400万美元领投 Kindred Ventures美国2024年9月Brightband利用人工智能进行天气预报A轮1000万美元领投 Prelude VenturesBain Capital VenturesFuture Back Ventures美国全 球 人 工 智 能 简 史 2 0 2 4|F a
92、s t d a t a 极 数2024年海外市场AI相关企业重点融资案例盘点时间时间企业名称企业名称细分赛道细分赛道融资阶段融资阶段融资金额融资金额投资方投资方国家国家2024年9月OffDealAI并购服务提供商种子轮470万美元领投 adical Ventures美国2024年9月XP Health美国AI视觉福利平台B轮3320万美元Valor Capital GroupAmerican Family VenturesCanvas VenturesManchester Story美国2024年9月World Labs空间智能技术服务商B轮2.3亿美元领投 Andreessen Horow
93、itz-a16z领投 NEA恩颐投资-New Enterprise Associates领投 Radical VenturesAMD英特尔投资Intel Capital英伟达NVIDIA加拿大2024年9月Glean工作助手和知识管理平台E轮2.6亿美元领投 DST Global领投 Altimeter CapitalCraft VenturesSapphire Ventures软银愿景基金美国2024年9月SmartCAT一个自动化翻译平台C轮4300万美元领投 Left Lane Capital美国2024年9月SeekfilAI人工智能文档搜索工具开发商A轮510万美元领投 Kih Fu
94、nd汉十投资百联资本九禾资本贵州国建集团美国2024年9月WOMBO DreamAI画作制作软件种子轮900万美元英伟达NVIDIASBI投资(思佰益)CoreWeaveRound13 Digital Assets FundW Ventures加拿大2024年9月Palm TechnologiesAI金融科技服务商种子轮未透露Target GlobalSpeedInvestLiquid 2 VenturesGREENSUpfin英国2024年9月Champion AIAI驱动客户宣传平台种子轮330万美元High AlphaFlyover CapitalStage 2 CapitalBread
95、 and Butter Ventures美国2024年9月SSI安全智能服务商战略投资10亿美元Andreessen Horowitz-a16zSequoia Capital红杉DST GlobalSV AngelAI GrantNFDG Ventures美国2024年9月Dotyon.AI人工智能服务提供商天使轮320万美元百联资本贵州国建集团美国2024年9月Magic AI人工智能编码助手战略投资3.2亿美元Atlassian埃里克施密特Capital G美国全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数2024年海外市场AI相关企业重点融资案例盘
96、点时间时间企业名称企业名称细分赛道细分赛道融资阶段融资阶段融资金额融资金额投资方投资方国家国家2024年9月fal内容生成平台种子轮900万美元领投 Andreessen Horowitz-a16z美国2024年8月Codeium人工智能编码工具包提供商C轮1.5亿美元Greenoaks Capital ManagementKleiner Perkins Caufield&Byers(KPCB全球)General Catalyst Partners美国2024年8月Pryzm人工智能工具开发商种子轮未透露Amplify.LAXYZ Venture CapitalFirst In美国2024年8
97、月Opus Clip生成式AI视频编辑工具A轮3000万美元Samsung NEXTDCM海外Millennium New HorizonsGTMFund美国2024年8月Bland AI对话式人工智能平台提供商A轮1600万美元Y CombinatorScale Ventures美国2024年8月ViggleAI动画生成商A轮1900万美元领投 Andreessen Horowitz-a16zTwo Small Fish加拿大2024年8月Opkey人工智能持续测试自动化平台提供商B轮4700万美元PeakSpan Capital美国2024年8月Pangeam工业人工智能平台提供商Pre-
98、A轮280万美元Neotribe Ventures美国2024年8月ModelOp人工智能治理软件开发商B轮1000万美元贝雅资本美国2024年8月Cosine类人自主人工智能软件开发商种子轮250万美元领投 Soma Capital领投 Uphonest Capital威诚资本LakestarFocal美国2024年8月CodeRabbit AI代码审查平台A轮1600万美元CRVFlex CapitalEngineering Capital美国2024年8月EvenUp智能法务服务商C轮3500万美元Lightspeed Venture Partners光速全球美国2024年8月Ragie
99、 AI人工智能技术提供商，种子轮550万美元Craft VenturesValorChapter One VenturesSaga VC美国2024年8月Nepoe人工智能技术开发商天使轮900万美元领投 Bitkraft VenturesOKX VenturesMask NetworkAnimoca BrandsBig Brain HoldingsGalaxy InteractiveHanow FundMartin P Tin美国全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数2024年海外市场AI相关企业重点融资案例盘点时间时间企业名称企业名称 细分赛
100、道细分赛道 融资阶段融资阶段融资金额融资金额投资方投资方国家国家2024年8月OW气味数字化研发商Pre-A轮220万英镑领投 Parkwalk AdvisorsInnovate UK英国2024年8月Mechanical Orchard人工智能增强工具研发商B轮5000万美元领投 Google Ventures(GV)美国2024年8月Datch工业语音AI技术开发商A+轮1500万美元Blue Bear CapitalBlackhorn VenturesSIG海纳亚洲Third Prime美国2024年8月GroqAI芯片研发商战略投资6.4亿美元领投 BlackRock贝莱德Samsun
101、g Catalyst FundCisco Investments美国2024年8月Contextual AIAI大模型方案解决提供商A轮8000万美元Greycroft PartnersBain Capital Ventures英伟达NVIDIALightspeed Venture Partners美国2024年8月Protect AI网络安全服务商B轮6000万美元领投 Evolution Equity Partners01 AdvisorsSalesforceSamsung Electronics Co.美国2024年7月HarveyAI法律助手服务商C轮1亿美元领投 Google Ven
102、tures(GV)OpenAIKleiner Perkins Caufield&Byers(KPCB全球)Sequoia Capital红杉美国2024年7月Uplimit人工智能学习平台A轮1100万美元领投 SalesforceWorkday VenturesTranslink CapitalCowboy VenturesGreylock Partners美国2024年7月TES AIAI算力协议提供商A轮500万美元领投 X FORCE FoundationCMCC GlobalGroup Newman CapitalOIG Investment美国2024年7月Cohere自然语言处理
103、平台D轮5亿美元领投 PSP InvestmentsCisco思科AMDEDC英伟达NVIDIASalesforceFujitsu富士通加拿大2024年7月World Labs空间智能技术服务商A轮1亿美元领投 NEA恩颐投资-New Enterprise AssociatesAndreessen Horowitz-a16zRadical Ventures加拿大2024年7月MP药物制造图像处理平台运营商种子轮未透露Silverton PartnersAlumni Ventures Group美国2024年7月Anysphere人工智能工具和助手开发商战略投资未透露Andreessen Hor
104、owitz-a16z美国2024年7月Wanderboat AIAI驱动的智能旅行规划平台种子轮数百万美元Sequoia Capital红杉美国全 球 人 工 智 能 简 史 2 0 2 4|F a s t d a t a 极 数2024年海外市场AI相关企业重点融资案例盘点时间时间企业名称企业名称细分赛道细分赛道融资阶段融资阶段融资金额融资金额投资方投资方国家国家2024年7月Fireworks AIAI实验和生产平台开发商B轮5200万美元Sequoia Capital红杉英伟达NVIDIAAMDBenchmark CapitalMongoDBDatabricks美国2024年7月Capt
105、ionsAI创意工作室C轮6000万美元领投 Index VenturesHubSpotAdobeAndreessen Horowitz-a16zSequoia Capital红杉美国2024年7月Accend人工智能解决方案提供商种子轮320万美元领投 Adverb Ventures645 VenturesY CombinatorStripe美国2024年7月Thrive AI Health线上“AI健康教练”种子轮数百万美元OpenAIThrive GlobalAlice L.Walton基金会美国2024年7月SeekfilAI人工智能文档搜索工具开发商天使轮500万美元领投 Hanow