人工智能不能做什么
现在我们应该对人工智能提一个终极的问题：人工智能不能做什么？
这个问题可以分为两类：一类是基于人工智能的局限性，或者基于人工智能与人类心智的本质差异，人工智能不能做什么。另一类是即使出现了全智全能的人工智能，出于道德的考虑和对人类命运的关切，人工智能不能做什么。这两类问题是互相关联的。
不能产生意识和自我意识。人工智能的根本局限性是不能产生意识和自我意识。这个问题笔者曾在《大科学时代的基础研究、核心技术和综合创新》一文中作过论述。[10]郞咸平教授最近在《AlphaGo风光背后：人工智能时代加速到来》节目中，以“智能经济”、“智能犯罪”、“智能天网”和“智能意识”四种人工智能为例，分析人工智能发展如何陷入二律背反。
以“智能经济”为例，如果人工智能完全取代人工，则劳动价值归零，工资也归零，经济却无限增长，社会产品无限丰富，社会产品按照公平原则分配给每个人。这就是“智能经济”的前景。试问，在这样的情况下，还有谁会来投资“智能经济”呢？
正题：智能经济导致经济无限增长。
反题：智能经济导致GDP归零。
二律背反也称作“二律悖反”，它是一种悖论，即从它的正题可以推出它的反题；同时，从它的反题可以推出它的正题。
机器人意识也是一个悖论。
如果机器产生了意识和自我意识，那么，这样的机器人没有人敢用。请问，工厂的生产线敢用这样的机器人吗？你不怕它自我意识觉醒后罢工、造反、破坏生产线吗？又问，陪护机器人、性爱机器人你敢用吗？你不怕它哪一天突然自我意识觉醒，杀死它的陪护对象和性爱伙伴？如果发生这种事情，请问你如何诉讼？你会胜诉吗？你没有机会，因为商家早就让你在购买机器人时签下了免责协议书。
正题：有意识的AI能够为你提供更人性的服务。
反题：有意识的AI可能按自己的意志行事，从而违背其服务对象的意志。
所以，没人敢使用具有意识和自我意识的机器人。
笔者认为，有意识的人工智能永远不会出现。一是基于人工智能的局限性，或者基于人工智能与人类心智的本质差异，人工智能不是生命，所以，它永远也不会产生意识。二是出于道德的考虑和对人类命运的关切，具有理性和正常思维的人类永远也不会允许人工智能具有意识和自我意识。
不能发明语言和使用语言，也就不可能有思维。1997年，“深蓝”超级计算机战胜国际象棋大师卡斯帕罗夫。2016年，谷歌公司的AlphaGo以五战全胜的成绩完胜人类围棋高手李世石。可以说，在推理的某些领域，人工智能已经战胜人类。那么是否可以说，人工智能也能够像人类一样思考，甚至还要胜过人类呢？
其实，迄今所有的机器行为和人工智能在推理方面都只是模仿人类心智，是按照一种叫做“演绎规则”（Modus Ponens, MP）的非智能方式来完成推理。这条规则表述为：