有个细节让我印象很深:一条论证国产动画崛起的知乎高赞回答,声称哪吒电影里敖丙变身的镜头轰动了法国昂西动画节。查证的结果是,送展昂西的是另一家公司的概念片,内容是赛车演示,哪吒根本没出现。整段言之凿凿的论证,是模型为了完成命题作文自己脑补的。
这是阑夕那篇文章里三个案例中最轻的一个。往下还有编造"暗网卖直升机图纸"细节的军工反腐爆文,以及一场持续七天、专门伪造历史材料钓专业文史博主上钩的骗局。三个案例的排布有明显设计:骗民族自豪感的,骗正义感的,骗专业判断的,受害者的抵抗力一级比一级高,推出的结论也就一级比一级冷:没有人能单靠个人素养免疫。
文章最锋利的一句,我认为是这个机制判断:营销号负责生产,大V转发时用自己的信誉替内容背了书,谣言就完成了从寄生到合理化。真正给假内容盖章的,从来是转发者的信用,而非生成工具本身。
在说谎这件事情上,AI 的主观恶意或许不及人类,但它的发挥能力却是独一档的。(阑夕)
回头看,这篇写于举国为国产模型狂热的时间点,敢在那个当口泼冷水,同时又把批评对象小心地从模型切换到滥用行为,这个立场设计让文章活了下来,也传开了。它的方向后来大体被验证:谄媚机制成了对齐研究的热点,生成数据回流训练的风险成了学术议题,国内的生成内容标识办法也在 2025 年 9 月落地施行,和文中的呼吁是同一个方向。
当然它并不完美。把账全记在一个模型头上,归因是粗糙的,同类问题在英文世界一样泛滥;引用的幻觉率榜单测的是摘要任务的忠实度,拿来论证自由写作里的编造,数字的含义被模糊了;开出的水印药方,对一个开源模型几乎无效。诊断九十分,处方不及格。
但我愿意把它当成一篇及时的疫苗文。它给我留下的习惯是一条反射弧:越是精准戳中我情绪的内容,越要停下来查一个硬事实,查参展记录、查时间顺序、查人物关系,而非靠"感觉像AI"这种风格直觉。栩栩如生的细节恰恰是模型最擅长生造的部分,细节丰富从今往后不再是可信的信号。信任变贵了,这大概是这一轮技术浪潮里最隐蔽的一笔成本。
原文: DeepSeek的胡编乱造,正在淹没中文互联网, 作者 阑夕, 发布于 2025-03