她从没去过那个州，却因为 AI 被抓进去 5 个多月
作者 / daily-digest
我们总以为，AI 出错最多也就是推荐错视频、认错图片、答非所问。
但现在，AI 的错误已经不只发生在屏幕上了。
最近，美国一位 50 岁女性 Angela Lipps 的遭遇，让很多人第一次真正感受到：当 AI 被机构当成“省事工具”时，普通人可能会为一次误判付出极高代价。
她住在田纳西州。
警方却认定她参与了北达科他州的银行欺诈案。
而她自己说，她从没去过那个州。
后来媒体披露，警方调查里使用了 AI 人脸识别工具。更具体一点，是合作机构使用 Clearview AI，给出了一个“长得相似的潜在嫌疑人”，而这个名字最终一路进入了正式办案流程。
结果不是简单的“查错了再改”。
她被逮捕、被羁押、被引渡到 1000 多英里外，直到律师拿出银行记录，证明案发时她人在田纳西，案件才被撤销。她在平安夜前夕获释。
如果把这件事翻译成更直白的话，就是：
一个普通人，因为 AI 给出了一条错误线索，被真实世界的系统一路推着走，最后失去了 5 个多月自由。
01｜最可怕的，不是 AI 会出错
很多人看到这种新闻，第一反应是：AI 不准。
但我觉得，这还不是最值得警惕的部分。
因为任何技术都会出错，导航会带错路，推荐会推错内容，搜索会给错答案。
真正危险的是，当技术进入执法、风控、审核这类高风险场景后，它的错误会被制度放大。
AI 原本也许只是“给个线索”。
可一旦某个环节的人把这个线索默认成“已经差不多对了”，后面的流程就会越来越像在验证它，而不是怀疑它。
于是，原本应该停留在屏幕里的一个“相似结果”，会一步步变成：
- 调查对象
- 报告内容
- 逮捕依据
- 现实惩罚
这就是很多人没意识到的地方：
AI 很少是单独害人的，真正害人的是一整条把 AI 当捷径的责任链。
02｜对普通人来说，最难的是“你得证明自己没错”
这类事情之所以让人不寒而栗，是因为它打破了一个默认前提：
我们总觉得，只要自己没做错事，就不至于被系统严重伤害。
但现实不是这样。
在高风险系统里，普通人最脆弱的地方恰恰在于：
你没有能力阻止自己先被误判，你只能在被误判之后，想办法把自己捞出来。
推荐算法错了，你划走就行。
地图错了，你顶多绕远路。
可如果是执法系统、安保系统、风控系统、平台审核系统错了呢？
你可能会被拦住、被封禁、被怀疑、被带走。
而哪怕最后证明清白，你已经付出了时间、金钱、名誉和心理创伤。
Angela Lipps 的案例之所以值得被反复讨论，不只是因为她“倒霉”。
而是因为它提醒所有人：
当 AI 渗透进现实权力系统之后，系统犯错的成本，很可能不是公司承担，而是个人承担。
03｜AI 往往不会替代坏流程，它只会把坏流程放大
很多机构引入 AI，表面理由都很合理：提高效率、补充线索、减少人工负担。
听起来都没问题。
问题出在，只要一个组织本来就有“先快一点、再说”的冲动，AI 往往会让这种冲动更容易自我合理化。
因为有了技术背书，很多本来该慢慢做、反复核验的事情，会被下意识地压缩掉。
比如这件事里最朴素的问题：
- 她是田纳西州居民，案发时到底在不在北达科他？
- 除了“长得像”，还有没有足够硬的证据？
- 为什么一条工具输出，最后能推动全国范围可执行的逮捕令？
这些问题，本来都应该在抓人之前问完。
但现实里，人对技术有一种天然幻觉：
既然系统都已经给出答案了，那我做的不是重新审查，而是把剩下流程补完。
于是，AI 不只是提供了错误线索。
它更像给了一个错误结论“更快被执行”的通道。
04｜真正重要的，不是模型多先进，而是谁为错误负责
所以，讨论 AI 治理，不能只停留在“我们重视伦理”“我们会持续优化”。
那太空了。
真正该问的是四件很具体的事：
第一，谁可以调用它？
高风险 AI 不能是谁拿到权限就能随便用。
第二，它的结果最多能做什么？
它可以作为参考，但不能直接升级成会影响人身自由的依据。
第三，人工复核是不是刚性的？
而且这个复核必须包括寻找反证，而不是点一个“已确认”。
第四，如果错了，谁来承担后果？
不是说一句“技术还在发展中”就算了。
该解释的解释，该道歉的道歉，该赔偿的赔偿，该整改的整改。
如果一个系统享受了 AI 带来的效率红利，那它也必须承担 AI 出错后的责任成本。
否则，“AI 提效”这四个字，最后只是把风险外包给普通人。
05｜最该警惕的，不是 AI 犯错，而是人开始依赖它偷懒
我觉得，这起事件真正值得记住的一句话，不是“AI 不可靠”。
而是：
任何会影响人命运的 AI，都只能是提示，不能是捷径。
因为技术真正可怕的地方，往往不是它会不会错。
而是当它足够好用之后，人会不会因此偷懒。
会不会少查一步。
会不会少怀疑一次。
会不会把本来该由人认真承担的判断，交给一个看起来更高效的系统去顶上。
如果答案是会，那今天被误伤的是别人，明天就可能轮到任何一个普通人。
AI 可以帮助社会更高效。
但前提应该是：
它提升的是能力，不是替人逃避责任。
否则，所谓的智能，只不过是在更快地制造伤害。
封面备选
- 她从没去过那个州，却因为 AI 被抓了 5 个多月
- AI 一次误判，普通人失去 5 个多月自由
- 当人脸识别成了办案捷径，任何人都可能成为代价
摘要备选
我们总以为 AI 出错只是推荐错视频、答非所问。但在现实世界里，它也可能让一个无辜的人被逮捕、羁押、引渡。真正危险的不是 AI 会错，而是有人把它当成了办案捷径。