四季刊

关于人工智能是如何训练出来的,我们仍然不知道

来自:纽约客

作者:Sue Halpern

GPT-4是一种强大到具有地震级别影响力的技术,它既能提高我们的生活质量,又能减少我们的生活质量。

毫无疑问,由 OpenAI 公司开发的人工智能引擎的最新版本 GPT-4是创新和酷的。它可以创造一首松尾芭蕉风格的诗,为一首简单的曲子写出和弦进程和拍号,并提供一个花生酱和果冻三明治的七步食谱。当我要求它写一部关于一个自恋的政治家掌握着世界命运的音乐剧时,它用两个节目讲述了一个故事,主人公名叫亚历克斯 · 斯特林(Alex Sterling) ,他唱着“镜中水仙”、“权力的代价”和其他十几首虚构的歌曲,“在权力、操纵和他的决定的后果的迷宫中航行”。

这些歌曲似乎是凭空创造出来的,当然,没有人类构思过它们。尽管如此,亚历克斯的故事,“探索主题的自我发现,救赎,和领导的责任,”是相当熟悉的。这是因为 GPT 提供的所有东西都是我们的反映,由大量材料喂养的算法调节; 算法和材料都是由实际的有感知的人类创造的。

GPT 的首字母缩写是“生成式预训练转换器”。这句话的关键词是“预先训练”,利用从互联网上搜集到的各种数字化内容,GPT 使用深度学习技术来寻找模式,包括可能同时出现的单词,同时还要获取事实、吸收语法和学习基本逻辑。根据 GPT-4所说,“我已经在一个大型文本数据集上接受过训练,这使我能够根据我接收到的输入生成类似于人类的反应。”然而,它既不理解这些回应的含义,也不从经验中学习ーー它的知识库将停留在2021年9月。(根据 GPT-4,堕胎仍然是一项宪法权利。)

GPT-4最引人注目的特性之一是它回答查询时的自信。这既是一个特性,也是一个 bug。正如 GPT-4的开发人员在其发布的一份技术报告中指出的那样,“它有时会犯一些简单的推理错误,这些错误似乎与它在这么多领域的能力不符,或者在接受用户明显错误的陈述时过于容易受骗... ... (而且)可能自信地预测错误。”当我让 GPT-4总结我的小说《盗贼图书馆的夏日时光》时,它告诉我这是关于一个叫基特的男人,他最近刚从监狱释放出来。事实上,这是关于一个叫基特的女人,她是一个图书管理员,从来没有被监禁过。当蒙特利尔报纸 La Presse 要求 GPT 机器人为游客提供建议,看看它是否能够取代导游书和旅游博客时,人工智能发明了一个地点,给出了错误的方向,并不断地为提供错误信息而道歉。当加州大学洛杉矶分校(UCLA)的神经科学家迪安 · 布诺马诺(Dean Buonomano)问 GPT-4时,“这句话的第三个词是什么?答案是“第三”。这些例子可能看起来微不足道,但认知科学家加里 · 马库斯(Gary Marcus)在 Twitter 上写道: “即使有数十亿个培训例子,我无法想象,我们应该如何与一个连‘第三’这个词都无法理解的系统达成道德和安全的‘一致性’。”

GPT-4的前身 GPT-3接受了45TB 文本数据的培训,根据其后继者的说法,这相当于大约9000万部小说的字数。这些内容包括维基百科条目、期刊文章、报纸评论、指导手册、 Reddit 讨论、社交媒体帖子、书籍以及其开发者可以征用的任何其他文本,通常不会通知或补偿创作者。目前还不清楚有多少 TB 的数据被用来训练 GPT-4,或者它们来自哪里,因为 OpenAI,尽管它的名字,只在技术报告中说 GPT-4是预先训练的“使用公开可用的数据(例如互联网数据)和从第三方提供商获得许可的数据”,并补充说“考虑到竞争的前景和像 GPT-4这样的大规模模型的安全影响,这份报告没有包含关于架构(包括模型大小) ,硬件,训练计算,数据集构造,训练方法或类似的进一步细节。”

这种保密性之所以重要,是因为尽管 GPT-4和其他每天处理自然语言的人工智能模型令人印象深刻,但它们也可能带来危险。正如 OpenAI 的首席执行官 Sam Altman 最近告诉 ABC 新闻的那样,“我特别担心这些模型可能被用于大规模的虚假信息。”而且,他指出,“现在他们越来越擅长编写计算机代码,[他们]可以用于进攻性网络攻击。”他补充说,“还会有其他人没有像我们那样设置一些安全限制,”社会“只有有限的时间来弄清楚如何应对、如何规范、如何处理这些问题。”(1995年,我通过询问机器人蒂莫西 · 麦克维是如何在俄克拉荷马城炸毁爆炸装置艾尔弗雷德·P·默拉联邦大楼的,得到了用于解释如何使用肥料制造艾尔弗雷德·P·默拉联邦大楼的 GPT-4,尽管机器人确实补充说,它提供的信息是为了提供历史背景,而不是实用建议。)

GPT-4的不透明性,以及其他人工智能系统的不透明性,加剧了这些危险。这些系统是在大量数据集上训练出来的,被称为大型语言模型。不难想象,一个人工智能模型吸收了大量的意识形态错误,并将其注入到时代精神中而不受惩罚。即使是像 GPT 这样的大型语言模型,训练了数十亿个单词,也无法避免加剧社会不平等。正如研究人员指出,当 GPT-3发布时,它的大部分训练数据来自互联网论坛,在那里,妇女、有色人种和老年人的声音没有得到充分代表,导致其输出中隐含的偏见。

人工智能的训练数据集的规模也不能阻止它散布令人憎恶的内容。Meta 的人工智能聊天机器人 Galactica 本应该能够“总结学术论文,解决数学问题,生成 Wiki 文章,编写科学代码,注释分子和蛋白质等等。”但在一个演示发布两天后,该公司被迫关闭了它,因为研究人员能够使用 Galactica 创建推广反犹太主义和颂扬自杀的维基条目,以及虚假的科学文章,其中包括一篇支持吃碎玻璃的好处的文章。同样地,GPT-3在被提示时,也倾向于提供种族主义性别歧视的评论。

据《时代周刊》报道,为了避免这个问题,OpenAI 聘请了一家外包公司,该公司在肯尼亚雇佣了一些承包商,给可恶、冒犯、可能违法的材料贴上标签,然后将这些材料纳入培训数据,这样该公司就可以创建一种工具,在有毒信息到达用户手中之前,检测出有毒信息。《时代周刊》报道,一些材料“以生动的细节描述了儿童性虐待、兽交、谋杀、自杀、酷刑、自残和乱伦等情况。”承包商说,他们应该阅读和标签之间的一百五十和二百五十文本在九个小时的轮班。他们每小时的工资不超过两美元,并且接受集体治疗,以帮助他们处理这份工作所造成的心理伤害。这家外包公司对这些数字提出异议,但这项工作令人非常不安,以至于提前8个月终止了合同。OpenAI 的一名发言人在给《时代》周刊的一份声明中表示,该公司“没有发布任何生产率目标”,而且这家外包公司“负责管理员工的薪酬和心理健康条款”,并补充说,“我们非常重视员工和承包商的心理健康。”

根据 OpenAI 的章程,其使命是“确保人工通用智能(AGI)——我们所说的 AGI 是指在最具经济价值的工作中表现优于人类的高度自主的系统——惠及全人类。”抛开人工智能是否可行,或者将工作外包给机器是否会造福全人类的问题不谈,很明显,大语言人工智能引擎正在对全人类造成真正的伤害。根据《科学为人民》杂志上的一篇文章,训练一个人工智能引擎需要大量的碳排放能量。“虽然一个人每年要排放5吨二氧化碳,但训练一个大型神经元 LM (语言模型)需要花费284吨。此外,由于训练最大型模型所需的计算能力在6年内增长了30万倍,我们只能预期这些模型对环境的影响将会增加。”

我们也可以期待更多。Meta、谷歌和许多较小的科技公司也正在进行一场随意的竞赛,以建立自己的大语言模型人工智能。谷歌上周发布了新的人工智能聊天机器人巴德(Bard)。在与南加州大学安纳伯格分校(USC Annenberg)研究教授、微软(Microsoft)高级首席研究员凯特•克劳福德(Kate Crawford)的交流中,巴德表示,它曾接受过部分 Gmail 用户私人电子邮件信息方面的培训。谷歌回应说,这是不正确的,作为一个早期的实验,巴德会“犯错误。”与此同时,据报道,微软在 OpenAI 上投资了100亿美元,在必应搜索引擎和 Edge 浏览器上使用了 GPT-4,现在又将其添加到 Word 和 Excel 中,最近解雇了整个人工智能伦理团队。这些人负责确保公司的人工智能是负责任地制造出来的。“最糟糕的事情是,我们已经暴露了业务的风险,人类在这样做的风险,”团队成员之一告诉科技时事通讯Platformer

GPT-4的人工智能很容易受到诱惑。它能在律师资格考试中取得优异成绩!它可以在大学先修课程测试中获得满分!它知道怎么写代码!不久,它将能够看着你的冰箱内容的照片,并建议食谱!但是很快,它也将能够生成无缝的深度伪造,并从文本中创建图像,毫无疑问,包括儿童性虐待的图片。这是一个强大的,地震技术,有能力既提高我们的生活,减少他们。如果没有护栏和监督,它的危害注定会成倍增加。

ChatGPT 告诉我: “像我这样的人工智能模型是否应该受到监管,这个问题应该由人类来决定。”。“重要的是,包括人工智能开发者、政策制定者和公众在内的利益相关者应参与讨论人工智能技术的伦理影响,并制定适当的监管框架,以确保人工智能系统的负责任和伦理发展及部署。”那些框架会是什么样子?机器人提出了一个长长的清单,它说,需要有足够的灵活性,以适应人工智能发展的快速步伐。它包括: 建立一套管理人工智能系统开发和部署的道德准则; 建立一个独立的监管机构,负责监督人工智能部门,制定标准,监督合规情况,并执行法规; 要求人工智能模型有关于它们是如何构建的明确文件; 要求开发人员或公司对其系统造成的危害负责; 建立内容审核和隐私保护制度; 确保人工智能的好处是可访问的和包容的。这将是对我们人类非人工智能的一次考验看看我们是否有足够的资金来做这件事。