AI 内容检测

用于判断文本或图像是否由机器生成的工具。

3 个工具

这类工具用于估计一段文本或一张图片是否由机器生成。关于这个分类值得直说,因为宣传很自信而底层的可靠性并不:没有任何检测器能以其百分比分数所暗示的确定性判断这件事,而把那个数字当作证据,已经对真实的人造成了真实的伤害。

挑选时该看什么

最有资格做这件事的厂商撤回了自己的检测器

OpenAI 发布过一个 AI 文本分类器,并在 2023 年 7 月将其下线,理由是准确率低。对文本如何生成了解最深的那个组织,都没能把检测做到足以继续提供的程度。这是关于这个分类信息量最大的单一事实,值得拿来掂量今天任何声称高准确率的厂商。

假阳性不是均匀分布的

检测器依据的是统计上的规整性 —— 句长均匀、用词常见、结构可预测。这描述的是机器输出,同时也描述了用第二语言认真写作的人,以及任何被训练成写得平实的人。最可能被误判的那群人,恰恰是最没有能力申辩的那群人,于是一个技术局限变成了一个公平问题。

分数是一个信号,永远不是一个判决

如果你确实要用这类工具,请用它来决定该在哪里看得更仔细,而不是用来决定一个结果。版本历史、草稿、当面讨论这份作业的能力 —— 这些是证据。一个无法解释自身推理的模型给出的百分比不是,任何机构都不该单凭它施加后果。

什么时候你其实不需要

如果背后的问题是「这个人是否理解自己交上来的东西」,那么当面问他要更快、更公平,也确定得多,胜过任何检测器。多数把人送到这个分类的情境,与其买个工具,不如换一种布置任务的方式。