经典森林舞会:计算能力的提高和大规模应用促进了预训练大模型的产生

数据显示，为了让ChatGPT的语言合成结果更加自然流畅，OpenAI使用了45TB的数据和近1万亿个单词来训练模型。这大约相当于1351万本牛津词典。单次培训的费用可能高达数千万美元。

除了训练成本，经典森林舞会,跑步成本同样惊人ChatGPT在线服务消耗的计算能力成本高达每个用户每年几十美元，而训练达到更好的交互质量需要大量的资金和硬件支持。

中国工程院院士吴认为，计算能力的提高和大规模应用促进了预训练大模型的产生。ChatGPT的出现，把预先训练好的大模型带到了可以商业化的地步，这是一个很大的进步。但其应用仍有一定的局限性。“还是那种靠大量计算能力堆砌起来的公司，用得起这么大量计算能力支撑的，在全球还是少数。”

无论是用ChatGPT做客服还是游戏内角色(NPC)，成本都可能是企业无法承受的。这在游戏行业有先例，业内人士此前曾推出过人工智能驱动的NPC，但此后一直没有普及。之所以会这样，主要是因为成本高，NPC和游戏玩家的高质量对话可能会产生每个用户每年2000元的运营成本，这是游戏公司无法承担的。

其次，如何形成新的商业模式还不确定。其中，ChatGPT准确率低的问题不容忽视。

第三，人工智能技术在虚假信息、学术抄袭、隐私泄露、舆论导向等方面的社会风险，会因为使用的数据规模巨大而进一步放大。OpenAI也承认，ChatGPT“有时会写出看似合理但不正确或荒谬的答案。”