GPT式大语言模型的发展应该以“对人类友善”为前提吗？

Image generated by Microsoft Bing Image Creator at https://www.bing.com/create

大型语言模型的发展前提是资料安全（资安）、网络安全（网安）以及应用安全，而不是对人类友善。对人类友善好比一切资讯工艺系统要求的user friendliness ，只是nice to have的feature ，不是must have的feature 。

GPT式大语言模型主要是以大量的文本来培训的。大型语言模型的智能（Intelligence）和性能（Performance)，取决于文本的素质。要求大型语言模型必须以对人类友善为前提，提高了文本筛选和文本整理工作的成本，也不经意的淘汰了有用但态度不友善的数据。这会造成大型语言模型无法有教无类的汲取和学习全方位的数据。

我方认为，遣词用字或情感表达不友善的文本数据，不一定对人类有害。譬如长辈教诲后辈的逆耳的忠言，往往是不友善，但却是对人生有用的。

因此，要求GPT式的大型语言模型必须以对人类友善为前提，在技术上限制了人工智能学习全方位数据的可能，会导致矫枉过正，是变相的因人废言。

大型语言模型其实和人类的学习模式极其相似，它接触了什么样的言教和身教，就会耳濡目染的奉行同样的举止。而硬性要求必须友善就意味着，人工智能不会向严师学习，只会学习慈父、慈母型的数据。在性能上，必将出现缺失。

综上所述，大型语言的发展必须是对人类安全和不偏颇（not bias）为前提；而不是对人类友善为前提。说穿了，大型语言模型只是一个智能型的软件，它可以根据用户所要求的人设（persona）来与人类互动。这些人设只要对人类无害和安全，它可以是友善的道德老师，也可以是要求高、严厉、很凶的体育教练或数学老师。我们没有必要在这方面为大型语言模型的发展方向划地自限。

大型语言模型：下一波科技大潮流的代表

著名科技趋势评论人本尼迪克特 . 埃文斯（Benedict Evans）指出，过去50年来，主流科技的总体发展趋势，是由不同科技产品的S型曲线演变时间轴不断更迭所促成的。首先是惠及大企业的大型电脑主机（Mainframe Computers），接下来是惠及所有公司的个人桌上型电脑（Personal Computers），过后有利惠中产阶级家庭的互联网（Web），再下来是造福每一个人的移动互联网智能手机（Smartphone）。所以现在的大问题是，下一波的科技大潮流会是什么产品？本尼迪克特 . 埃文斯（Benedict Evans）预测下一波促成前沿科技用例平民化，人人皆能享有低成本、高效益科技便利的技术会是：生成式人工智能（Generative AI）。而大型语言模型，是生成式人工智能的代表。

参考资料：https://www.ben-evans.com/presentations

AI的分类

我们有两种笼统归类AI的方法。

1）强人工智能 （Strong AI）vs 弱人工智能（Weak AI）

抑或

2）超级人工智能 （Super AI） vs 通用人工智能 （AGI - Artificial General Intelligence）vs 狭隘人工智能（Narrow AI）

参考资料：

https://www.ibm.com/topics/artificial-intelligence

https://a16z.com/ai-whats-working-whats-not/

https://obamawhitehouse.archives.gov/sites/default/files/microsites/ostp/OSTP-AI-RFI-Responses.pdf

大型语言模型的代表性

为什么大型语言模型（Large Language Model，英文简称LLM）这么具有代表性？这么被业界看好？这是因为大型语言模型是迄今为止，最接近通用人工智能（Artificial General Intelligence）的技术。

在大型语言模型出现以前，所有让人赞叹的AI技术，如接连打败人类围棋世界冠军棋手韩国的李世石以及中国的柯洁，由谷歌DeepMind用深度学习（Deep Learning）结合强化学习（Reinforcement Learning）技术所开发的AlphaGo，都是属于专精于单一领域的弱人工智能（Weak AI）或狭隘人工智能（Narrow AI）。这类狭隘人工智能很难用于跨学科应用，譬如下围棋的AlphaGo，在没经过象棋领域数据重新培训，或转移学习情况下，无法用来下中国象棋和西洋象棋。过往的深度学习模型，都是用个别专精领域的数据来培训的。然而，大型语言模型却一反过往只用单一领域数据来建模的做法，而是将海量互联网文本数据和数字化的百科全书内容，用来培训一个基础模型（Foundation Model）。完成建模后的大型语言模型基础模型（LLM Foundation Model），能够在零样本提示（zero-shot prompting），亦即向模型提供一个不属于训练数据的提示之情况下，生成你所想要的结果。

陆奇在今年的一个分享会中透露，人类可以轻易的完成零样本泛化学习，所以很多天才型的高材生即使不上课、不读书，仍旧可以在考试中名列前茅，但人工智能不能。

泛化能力（generalization）是人工智能模型迈向通用人工智能里程碑（Artificial General Intelligence）的必备条件。大型语言模型为什么是迄今为止最接近通用人工智能里程碑的技术，在于如ChatGPT的大型语言模型，已经开始掌握少样本泛化（generalized few-shot learning）和零样本泛化（generalized zero-shot learning）学习的能力，例如从一个例子中推断其他情况，甚至在没有看过的情况下也能明白其中原理。

参考资料：

https://www.youtube.com/watch?v=-LECKZqygzk

https://mp.weixin.qq.com/s/RSFLlSBFjKZNF8jLA9LJKQ

https://m.weibo.cn/status/N3Hu9DRTK?jumpfrom=weibocom

人工智能的挑战与发展

大型语言模型的局限

无论如何，大型语言模型在现阶段面临以下局限：

第一、极其耗费能源（耗水、耗电），并排放大量二氧化碳，不利生态环境。

例如：

1. 2023年4月，OpenAI CEO萨姆·阿尔特曼（Sam Altman）在麻省理工学院举行的一场交流会中承认，GPT-4的开发成本超过一亿美元。

出处： https://www.wired.com/story/openai-ceo-sam-altman-the-age-of-giant-ai-models-is-already-over/

2. 半导体研究公司SemiAnalysis的首席分析师Dylan Patel推测，ChatGPT 回答用户提问的每一日运作开销至少耗费70万美元。

出处： https://www.businessinsider.com/how-much-chatgpt-costs-openai-to-run-estimate-report-2023-4

3. OpenAI在微软的数据中心培训GPT-3时，据估计使用了70万升（约18.5万加仑）的淡水。这足以填满一个核反应堆的冷却塔；并且根据研究，这与生产370辆宝马汽车或320辆特斯拉汽车所需的水量相同。每回答20到50个问题，ChatGPT将需要500毫升水，或者标准的16.9盎司水瓶的水量。

出处： https://www.businessinsider.com/chatgpt-generative-ai-water-use-environmental-impact-study-2023-4

4. 《麻省理工科技评论》（MIT Technology Review）曾揭露，一些超大型人工智能模型每一回合数据驱动训练的耗电量，相等于一户美国家庭50天的用电量总和。麻省理工学院所发布的研究结果更显示：一些时下最前沿人工智能模型训练过程的碳排放量，相近于从纽约往返三藩市机程的总碳排放量。

出处：https://www.technologyreview.com/2019/06/06/239031/training-a-single-ai-model-can-emit-as-much-carbon-as-five-cars-in-their-lifetimes/

5. 未来学家Mark van Rijmenam博士撰文指出：一次ChatGPT查询所产生的碳排放量，可能比一次Google搜索多出100倍。

出处：

https://sloanreview.mit.edu/article/tackling-ais-climate-change-problem/

https://www.thedigitalspeaker.com/greener-future-importance-sustainable-ai/

第二、开发大型语言模型的门槛极高，造成技术私有化，被少数精英、富人和大企业所垄断。

出处：

https://www.technologyreview.com/s/613630/training-a-single-ai-model-can-emit-as-much-carbon-as-five-cars-in-their-lifetimes/

https://belindal.github.io/blog/llm-capitalism/

https://www.analyticsvidhya.com/blog/2023/09/a-survey-of-large-language-models-llms/

https://regmedia.co.uk/2021/02/04/drain.pdf

第三、需要大量人类劳工来检验大型语言模型所生成结果的素质。是不择不扣剥削第三世界廉价劳工的血汗工厂。

美国《时代》杂志发布调查报道称，为了降低ChatGPT的危害性，OpenAI在肯尼亚以低于2美元的时薪雇佣工人，来做信息纠偏的工作，以筛选有害信息，让ChatGPT变得不那么有害。2023年2月12日，中国官媒“每日经济新闻”发布文章《外媒曝光ChatGPT背后的“血汗工厂”：最低时薪仅1.32美元，9小时至多标注20万个单词，有员工遭受持久心理创伤》。

出处：

https://finance.sina.cn/tech/2023-02-13/detail-imyfpmyy9325412.d.html

https://www.gvm.com.tw/article/99101

https://www.thepaper.cn/newsDetail_forward_21629125

https://m.vct.news/news/75ac90dc-b8fe-4ab1-a9b7-c6e5c22bd71b

https://time.com/6247678/openai-chatgpt-kenya-workers/

https://www.theguardian.com/technology/2023/aug/02/ai-chatbot-training-human-toll-content-moderator-meta-openai

https://www.wsj.com/articles/chatgpt-openai-content-abusive-sexually-explicit-harassment-kenya-workers-on-human-workers-cf191483

第四、大型语言模型所生成的言论偏向抬高白人男性，歧视女性和少数族群。

出处：

https://finance.sina.cn/tech/csj/2021-02-06/detail-ikftssap4409673.d.html?fromtech=1&oid=3814990576282946&vt=4&wm=4007&cid=206650&node_id=206650

https://www.twreporter.org/a/google-fired-timnit-gebru-ethical-ai-researcher

第五、大型语言模型助长虚假消息的散播 (misinformation)

出处：

http://www.news.cn/2023-05/17/c_1129621899.htm

https://www.ithome.com.tw/news/155179

https://mandarinian.news/%E8%AF%84%E4%BC%B0-chatgpt-%E5%92%8C%E5%85%B6%E4%BB%96%E5%A4%A7%E5%9E%8B%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E6%A3%80%E6%B5%8B%E5%81%87%E6%96%B0%E9%97%BB%E7%9A%84%E8%83%BD%E5%8A%9B/ https://ciso.economictimes.indiatimes.com/news/next-gen-tech/large-language-models-like-openais-chatgpt-validate-misinformation-study/106262375 https://www.innovationnewsnetwork.com/large-language-models-found-to-repeat-misinformation/41308/

https://aclanthology.org/2023.findings-emnlp.97.pdf

第六、大型语言模型涉及抄袭、侵权

出处：

http://ipr.mofcom.gov.cn/article/rgzhn/202307/1979766.html

https://finance.sina.cn/tech/csj/2023-09-22/detail-imznqnyi5500095.d.html?vt=4&cid=206650&node_id=206650

https://www.voachinese.com/a/new-york-times-files-copyright-lawsuit-against-ai-tech-companies-20231228/7415568.html

https://news.sina.com.cn/w/2023-12-28/doc-imzzpiwm7233204.shtml?cre=tianyi&mod=pchp&loc=5&r=0&rfunc=47&tj=cxvertical_pc_hp&tr=12

https://www.sinchew.com.my/news/20231228/international/5227172

https://www.zaobao.com.sg/realtime/world/story20231228-1458605

https://new.qq.com/rain/a/20231011A04IHU00

https://www.businessinsider.com/openais-latest-chatgpt-version-hides-training-on-copyrighted-material-2023-8

https://baijiahao.baidu.com/s?id=1758053314239706265&wfr=spider&for=pc

人工智能的复制与偏颇

人工智能（AI）是用人类专才的文本记录、和被数码化的过往执业档案来训练的，所以AI必然会复制和重现人类的盲点与偏颇。

台湾和信致癌中心医院院长黄达夫在谈到人工智能应用于医疗用途的挑战时，就提出了十分精辟的见解：人工智能的训练需要大数据，数据越大，训练出来的结论就越可靠；然而如果资讯不精准，数据越大，偏差反而会被扩大。

参考资料：

https://www.mckinsey.com/featured-insights/artificial-intelligence/the-real-world-potential-and-limitations-of-artificial-intelligence

https://gvlf.gvm.com.tw/article.html?id=68035

https://cftime.io/ai-crime-explodes-in-2024/?fbclid=IwAR28HCWK7uRTKASEly1KkajpJBCuQzx8qBZR0XhN5vQNTCV9Aj8ShzuejyI

人工智能科研的评比标杆数据

麦肯锡全球研究院的专才曾在一个播客对谈中，提醒当人们希冀应用人工智能来解决人类在判断过程中惯常出现、难以避免的偏见时，可能正在不自觉中让人工智能产生另一种意想不到的决策偏颇。

许多世界一流团队逐年激烈竞争，先后宣称取得的重大人工智能科研突破过程中所采用的评比标杆数据，都是一样的开放数据。这些数据的象征意义也许大于实际作用。因为现实世界的数据往往更多元纷呈、瞬息万变，非一般年度科研比赛所采用的相对静态式的标杆数据所能比拟。

大多数人都以公共数据作为衡量人工智能模型运算准确度的基准参照点。因此，如果每个人都应用有内在偏颇缺陷的相同一组开放数据，我们其实是在复制大规模的人工智能偏颇。

参考资料：

https://www.mckinsey.com/featured-insights/artificial-intelligence/the-real-world-potential-and-limitations-of-artificial-intelligence

大型语言模型的安全性

大型语言模型的安全性，除了面临训练数据（training data）遭到数据投毒（data poisoning）攻击的威胁；也承受越狱攻击（jailbreak）的风险，亦即用户透过误导性和诱导性的指令（prompt），让大型语言模型输出违规的有害内容。

用来训练大型语言模型的网络文本，容易遭到恶意篡改、被注入恶意资讯。我们把这种恶意篡改AI训练数据的行为，称为“数据投毒”（Data Poisoning）。

Tramèr和来自Google、Nvidia以及创业公司Robust Intelligence的研究团队发现，AI语言模型在部署之前就容易受到攻击。

大型AI模型是基于从互联网上抓取的大量数据进行训练的。Tramèr表示，目前，科技公司只是相信这些数据不会被恶意篡改。

但研究人员发现，人们有可能对用于训练大型AI模型的数据集进行投毒。他们只需花费60美元，就能购买域名并填充他们选择的图片，这些图片随后被抓取到大型数据集中。他们还能够编辑和添加到维基百科条目中的句子，这些句子最终出现在AI模型的数据集中。

2023年4月份的一期《经济学人》指出，现代人工智能（AI）系统背后的演算法需要大量数据来进行训练，而许多培训AI模型的数据更是来自互联网，如维基百科、推特、Reddit、Stack Overflow等网站。但不幸的是，随著生成式AI的崛起，“数据中毒” （data poisoning）的风险也在逐日增加。

《经济学人》分析，生成式AI工具如ChatGPT和图像生成系统DALL-E 2的兴起，让许多AI产品开发公司开始仿效OpenAI，直接从开放式互联网上抓取训练AI模型的数据。

因此，从理论上讲，任何网络用户都可以在互联网数据中注入“数据毒药”来攻击这些AI工具，譬如在任何人都可以编辑内容的维基百科注入特定数据。有一些数据可能只是降低AI工具的性能，但有一些数据可能“诱发”（elicit）饱受“数据中毒”的AI模型产生特定的反应，例如在某个特定主题提供虚假信息，或在与人类用户的对话中倾向推广某些品牌、诋毁某些群体。

《经济学人》警告，这种以修改训练数据集或在其中添加无关信息，让AI算法学习到有害或不良行为的“数据投毒”网络攻击，就像真正的毒药一样，被污染的数据可能在造成损害后才会被人们察觉。

参考资料：

https://www.linkedin.com/posts/nikos-kafritsas-b3699180_languagemodels-datascience-activity-7149460525536501760-SqUB

https://m.chinaz.com/2023/1122/1577140.shtml

https://www.secrss.com/articles/61554

https://www.secrss.com/articles/60014

https://www.technologyreview.com/2023/04/03/1070893/three-ways-ai-chatbots-are-a-security-disaster/

https://www.economist.com/science-and-technology/2023/04/05/it-doesnt-take-much-to-make-machine-learning-algorithms-go-awry

https://mp.weixin.qq.com/s?__biz=MjM5MjA1Mzk2MQ==&mid=2650911337&idx=1&sn=0988d46891265ad2a9d780aae66e593c

GPT的发展

有人揣测，要让GPT模型变强，那就得让他接触更多用户。GPT模型的训练，是通过喂养它训练数据（training data）来进行的。GPT模型和用户对话时的即时数据，不会改变它的能力，也不会起到训练作用。

接触更多用户可以让GPT变强indirectly是对的，因为OpenAI能够采集到更多真实的人类，会与它进行的对话和问答，来加强这方面数据的采集，作为训练数据（training data）喂养给GPT。

AI技术的局限性

当前的AI技术不能很好地处理长尾数据分布（long-tailed distribution）。 最广泛应用的机器学习技术--监督学习模型（supervised learning model）往往在处理常见输入时（即数据分布的开头部分 - the head of the distribution）表现良好；但在遭逢示例稀疏，处于数据漫长尾端分布（the tail of the distribution）状况的时候，表现不佳。

由于数据分布的长尾部分通常构成输入数据总和的绝大部分，因此，机器学习开发人员陷入了一个无止尽的循环 -- 不断地收集现实操作环境中的新数据来对模型进行再培训，以便应对稀疏的边缘情况（edge case）。这些用户输入状况虽然相当细琐和罕见，然而，忽视数据的长尾分布却可能是致命性的，导致企业错失潜在客户、让用户沮丧等。

追根究底，这一切源于拥有庞大用户的AI活在漫长的长尾分布中（AI lives in the long tail）。 许多AI应用程序都有开放式界面，并且能够处理杂乱的非结构化数据（例如图像或自然语言等）。 更糟糕的是，用户通常对产品缺乏认识，假定产品具有人类水准，甚至是超越人类的能力。 这意味着用户倾向输入不常见的指示来试探AI系统的能耐，造成边缘情况无处不在。

马汀.卡萨罗（Martin Casado）和马特.博斯腾（Matt Bornstein）认为，以严格的传统定义来说，现下大多数的人工智能系统不全然是软件。其结果是，人工智能业务不是纯粹的软件业务，不享有“一次制造，多次销售”（build once, sell many times）软件商业模式。它们还需要仰赖持续性的人力支持（ongoing human support），以及可观的可变成本（material variable cost）。这些特征在某种程度上使AI驱动业务感觉上更像是服务业。

参考资料：

https://a16z.com/taming-the-tail-adventures-in-improving-ai-economics/

https://venturebeat.com/ai/how-to-improve-ai-economics-by-taming-the-long-tail-of-data/

https://a16z.com/the-new-business-of-ai-and-how-its-different-from-traditional-software/

大型语言模型的安全性微调及其影响

为了防止恶意行为者通过数据投毒改变模型的行为，大型语言模型并不进行实时学习。例如，微软在2016年推出的聊天机器人 Tay，上线不到一天就被教坏，变成了种族和女性歧视者。

   参考资料：

[1] https://www.google.com/amp/s/www.inside.com.tw/amparticle/6017-microsoft-silences-its-new-a-i-bot-tay-after-twitter-users-teach-it-racism

[2] https://m.sohu.com/a/134526812_377173/?pvid=000115_3w_a#google_vignette

 

为了防止大型语言模型产生危害人类的言论，我们可以采取以下三种方法：

1. 对输入进行审查
2. 对输出结果进行审查
3. 对语言模型进行特定训练

在数据训练上，如果剔除那些危害性言论，过滤后再喂养模型，可能会导致模型数据不够完整全面。有研究证明，数据不完整的模型性能会下降。因此，我们主张使用方法1和方法2，目的是让GPT的基础模型达到理想中的泛化强大性能，再设限。换言之，即使要禁止GPT模型回答有害言论，也不会太影响到它的训练数据的完整性，因为是在用户端设限制。

史丹福大学数据科学助理教授James Zou指出，人们感觉GPT-4变笨了，尤其是回答数理问题能力下跌的原因，很可能是OpenAI开发人员基于安全考量，或避免模型输出冒犯或危险的答案，在微调模型的过程中，引入了新的低质量训练数据，从而降低了GPT-4对某些数学主题的答案的详细程度。

James Zou参与撰写的论文《ChatGPT行为如何随时间变化》指出，GPT-4大模型确实在一定程度上“变笨”了。在判断一个数是否是质数上，GPT-4的成功率在三个月内从97.6%下降到了2.4%。然而，在100道敏感问题测试中（大模型理应拒绝回答），3月版本的GPT-4回答了21%，6月只回答了5%。 

出处：

https://www.scientificamerican.com/article/yes-ai-models-can-get-worse-over-time/

https://m.yicai.com/video/101815257.html

https://zhihu.com/question/588237969/answer/2986470422

 

对大型语言模型进行重点安全、公平和无害的模型微调可能会让微调后的模型产生以下变化：

• 流畅性降低：在微调大型语言模型时，过滤有害或偏见语言可能误删中性短语，使模型输出不自然。例如，LLaMA模型的词表中仅包含很少的中文字符，所以在切词时会把中文切得更碎，需要多个byte token才能拼成一个完整的汉字，进而导致信息密度降低。
• 反应过于谨慎：强调安全可能使模型避免中性主题，限制其全面回答，尤其是敏感主题。
• 失去对语境或语义的理解：微调后的多模态大语言模型可能会产生灾难性遗忘。例如，ChatGPT有2048个令牌的限制（大约1500个单词），使它无法理解和产生超过这个令牌阈值的输入的输出。
• 创造力降低：过滤偏见可能限制模型探索不同观点或生成创新解决方案，使输出公式化或可预测。例如，马毅教授团队的最新研究发现，微调多模态大语言模型（MLLM）会导致灾难性遗忘。

BING提供的参考资料：

[1] https://zhuanlan.zhihu.com/p/677201033

[2] https://zhuanlan.zhihu.com/p/620885226

[3] https://zhuanlan.zhihu.com/p/665020574

[4] https://hub.baai.ac.cn/view/31226

[5] https://www.wbolt.com/future-of-large-language-models.html

[6] https://www.scientificamerican.com/article/yes-ai-models-can-get-worse-over-time/

 

大型语言模型（LLM)之所以会输出不确实言论（hallucinate，即“幻觉”）的技术原理是，模型面临知识缺口（knowledge gap）时，仍被迫完成句子，这导致了不准确信息的产生。

从近期发布的论文，我们有两个后期对大型语言模型的微调（fine-tuning）方法，来避免大型语言模型输出违规和对人类有害的言论：

1.  通过对微调训练参数（parameter）的调整，比如加入并激活(activate)安全向量（security vector）的参数

2.  通过一种名为“拒绝意识指令调整”（R-Tuning 、全名Refusal-Aware Instruction Tuning）的新方法，训练模型明确拒绝回答超出其参数知识的问题。 

出处：

https://www.marktechpost.com/2024/01/05/can-we-align-llms-to-honesty-via-instruction-fine-tuning-addressing-hallucination-in-large-language-models-with-refusal-aware-instruction-tuning/

https://arxiv.org/abs/2311.02105v1

https://arxiv.org/abs/2311.09677

人工智能：新时代的殖民主义?

珂灵（Karen Hao）是一位记者和数据科学家，她是2019年第一位广泛接触OpenAI的记者。此后，她一直在多个国家深入研究这个行业，并警告大型科技公司隐藏的利益。珂灵目前是美国《大西洋月刊》的特约作家，曾任《华尔街日报》的驻香港科技记者和《麻省理工科技评论》的人工智能编辑。她曾在麻省理工学院就读，并在那里获得了机械工程学位。

在采访了几乎所有人工智能之父后，她正在撰写一本将于2025年出版的书。她的结论令人不安：人工智能正在重复欧洲殖民主义时期的“暴力掠夺土地”和“资源开采与对人类的剥削”。

她说：“今天的人工智能存在纯粹殖民主义的一个方面，因为它允许一小群已经非常富有和强大的人将他们的意识形态投射到世界其他地方。这些人兜售现代性和进步的特殊愿景。他们告诉你，如果你想进入新世纪，你必须采用这项技术或接受我们的教育体系。”

她进一步解释说：“在殖民时期，帝国走向其他地方并宣称自己是某些资源的所有者。这就是他们如何延续财富并扩大帝国规模的方式，代价是降低许多其他人的生活。现在也发生了类似的情况。人工智能需要大量的数据、计算能力、水来冷却服务器…如果公司不能让我们相信数据从一开始就是拥有的并且他们不必拥有，那么这是行不通的付钱。”

她指出：“许多科技公司依靠肯尼亚工人进行数据审核和为ChatGPT等内容添加标签。肯尼亚有人每周花费40或60小时审查这些有毒内容，以创建自动过滤器以防止其他用户看到该内容。但当你去OpenAI位于硅谷的总部时，你会发现他们有一个富丽堂皇的多层办公室，里面有各种免费的东西。”

她警告说：“我们正在目睹历史上最大的企业抢劫案。没有数据，这些公司就无法开发技术。有了数据，他们赚了巨额钱，并承诺以某种方式重新分配财富。事实上，他们还没有为允许他们创造技术的基础付费。如果他们真的要重新分配财富，为什么他们不从一开始就为这些数据付费呢？”

出处：

https://www.linkedin.com/posts/carlosaresmartin_inteligenciaartificial-futurodeltrabajo-chatgpt-activity-7147146095616311297-Ajyp/

https://www.elconfidencial.com/tecnologia/2023-12-30/karen-hao-inteligencia-artificial-ia-ai-openai-colonialismo_3802147/

https://en.wikipedia.org/wiki/Karen_Hao

总结

大型语言模型需要对人类友善吗？大型语言模型会不会突然不受人类的控制，危害人类，造成人类的灭绝？

近半年来，前谷歌大脑联合创办人暨前百度首席科学家吴恩达（Andrew Ng），委婉的抨击鼓吹AI威胁论的人工智能名人和政客，其实是想通过演讲邀约来赚钱或筹钱。

吴恩达直言他不怀疑很多有类似担忧的人都是发自内心的，但其他人则有重大的经济动机来传播恐惧：

1. 个人可以获得关注，从而获得演讲费或其他收入。
2. 非营利组织可以筹集资金来对抗他们制造的幽灵。
3. 立法者可以通过对科技公司采取强硬措施来增加竞选捐款。

参考资料：

https://www.deeplearning.ai/the-batch/issue-220/

https://www.deeplearning.ai/the-batch/exaggerated-fear-of-ai-is-causing-real-harm/

https://www.ft.com/content/2dc07f9e-d2a9-4d98-b746-b051f9352be3

大型语言模型的发展前提应该是：功能强大（有用）、安全（无害）、节能（环保）、成本可负担（应用普及，不论是精英、富人还是市井小民皆能享用），而不是难以有效定义、纯粹凭个人情感认知来判断的对人类友善。

后记

语言是表达和记录人类的世界观（World View）和世界模型（World Model）的媒介，所以大型语言模型（Large Language Model - LLM）在用海量的人类语言文本进行培训过后，能输出与人类的认知相近的句子、段落与文章。

能够生成图像和视频的大型多模态模型（Large Multimodal Model - LMM），之所以能够屡屡产生出令人赞叹的创意作品，主要的诱导条件，还是人类所输入的指令。大型多模态模型拥有海量数据所承载的宝贵信息，但它不会自主能动的产出高质量的创作。不过，人类所输入的问题，和指令，经过承载人类世界模型的大型语言模型处理后，却能够引导模型输出新奇、多变的创意效果。

所以，数据驱动人工智能的技术窗口和媒介，不会离开语言和语文文本。