编者按：日前，“学习强国”学习平台与中国科学报社联合发起“科学家回信”活动，邀请广大读者向自己心中向往尊敬的科学家、科技工作者提问、留言。活动启动后，“学习强国”“科学网App”收到了读者的踊跃留言。我们精选了读者戴戈的提问，请北京通用人工智能研究院院长朱松纯发出第二十一期回信。
以求索之问激发科学探讨，以互动回应碰撞科学新知，“学习强国”“科学网App”愿成为公众与科学的信使，欢迎你继续在评论区留言。
读者戴戈：如何避免和防范人工智能高速发展所产生的对人类的威胁？
朱松纯：近几个月来，以大语言模型（LLM）为基础的生成式人工智能（AIGC）应用GPT系列产品因其能够通过学习大量人类语言来完成对话、撰写邮件、视频脚本、文案、翻译和编写代码等原本只有人类可以完成的复杂任务，引发广泛关注成为了网络热点，同时也让很多人工智能研究领域的专业名词进入公众视野。
AI的快速发展在一定程度上能够为社会经济发展起到助推作用。本轮AI热潮以生成式人工智能（AIGC）技术为代表，它将在自动化和效率提升、个性化和定制化服务等方面发挥优势作用。例如，在数据分析、内容生成、编程和设计等领域，生成式人工智能可以快速生成大量高质量的内容、代码等，提高生产效率，促进社会经济发展。
实现通用人工智能是人工智能研究的初心也是终极目标，但在现有大模型的基础上继续扩大参数规模并不能实现通用人工智能。由于ChatGPT表现出了一定的泛化性和通用性，微软等硅谷科技公司有人认为大语言模型是实现通用人工智能的途径，国内则掀起了“all in GPT”的浪潮，开始了“百模大战”，并认为通用人工智能将很快实现，但国际主流学术界对此并不认可。美国加州伯克利大学的知名学者Stuart Russell表示，“关于ChatGPT，更多数据和更多算力不能带来真正的智能”；纽约大学教授Gary Marcus认为“AI研究不应该关注过去内容的保存，而应该探索建立具有价值表达和推理能力的智能”；OpenAI CEO也公开表示“大模型的研究已经到头了没有未来，AI研究需要新思路”。
如果我们把实现通用人工智能看作“探月工程”，大模型现在取得的成就如同登上了珠峰，虽然也是了不起的成就但并不能实现终极目标。ChatGPT产生的轰动效应让“通用人工智能”这个专业术语进入大众视野，让原来在学术界认为无法企及的目标变得并非想象中那么遥不可及，因此，未来要格外重视真正的通用人工智能的发展。
人工智能的高速发展一定会对人类产生威胁吗？
在科技行业开启大模型军备竞赛的同时，很多科技公司、文化传媒行业开始裁员或收紧外包服务的新闻也不绝于耳，公众开始担心起自己的工作岗位，甚至担心未来人工智能会控制人类。前不久，数千名学者联名呼吁暂停AI研发至少6个月，要讨论出AI安全治理框架，某些公司和国家甚至开始禁用ChatGPT以防止核心数据外泄。
这充分说明一方面人工智能作为新一轮科技革命和产业变革的重要驱动力量其蕴含的巨大潜能正在慢慢显露，另一方面其风险也愈发让人担忧。因此，我们在大力发展通用人工智能的同时，也需要积极应对新挑战，主动防范、化解新技术带来的数据安全、伦理、法律以及社会治理等方面的风险。
其实，人们对人工智能威胁论的担心，核心是对“大模型”的不信任。人之间的信任有两个层次，第一个层次是对能力的信任。例如，我们从小到大经历的各种考试，就是在证明我们有各种各样的能力。第二个层次是对价值观的认同。人与人之间信任的核心是价值观认同。
首先，从能力的角度看，ChatGPT在语言空间上打破了以往只能实现单一功能的局限性，表现出了多用途的能力，但同时又在很简单的问题上犯错误。究其根本在于其工作原理是基于统计学原理进行的工作，是全新一代的“知识表示和调用方式”，其表现高度依赖数据标注和训练模型，并不真正具备因果推理、数理逻辑推理、事实判断等认知方面的能力。GPT生成的内容只能从Ta“见过”的问题和答案中去找，然后用统计概率的方式计算出一个最有可能的答案输出给用户。因此，对于见过的问题，GPT准确率非常高，但对于陌生问题准确率很差，甚至出现一本正经胡说八道的情况。例如，当我们问GPT4，“请讲述一下林黛玉倒拔垂杨柳的故事”，Ta煞有介事地讲了一个故事如下图：
科学家回信|朱松纯：人工智能高速发展一定会产生威胁吗？
