纽约州布法罗——当大多数人想到人工智能时，他们可能会想到——并担心——ChatGPT和深度造假。人工智能生成的文本和图像主导着我们的社交媒体和我们访问的其他网站，有时我们不知道，而且经常被用来传播不可靠和误导性的信息。
但是，如果像ChatGPT这样的文本生成模型真的可以识别深度伪造的图像呢?
布法罗大学领导的一个研究小组已经应用大型语言模型(llm)，包括OpenAI的ChatGPT和谷歌的Gemini，来识别人脸的深度伪造。他们在上周的IEEE/CVF计算机视觉与模式识别会议上发表的研究发现，llm的性能落后于最先进的深度伪造检测算法，但它们的自然语言处理实际上可能使它们在未来成为更实用的检测工具。
“法学硕士与现有检测方法的区别在于能够以人类理解的方式解释他们的发现，比如识别不正确的阴影或不匹配的耳环，”该研究的主要作者，纽约州立大学工程与应用科学学院计算机科学与工程系的纽约州立大学帝国创新教授吕思维博士说。“法学硕士并不是为深度伪造检测而设计或训练的，但他们的语义知识使他们非常适合它，所以我们希望看到更多的努力朝着这个应用。”
这项研究的合作者包括奥尔巴尼大学和香港中文大学深圳分校。这项工作得到了美国国家科学基金会的支持。
语言模型如何理解图像
ChatGPT对互联网上的大部分可用文本进行了训练——大约有3000亿个单词——它可以找到单词之间的统计模式和关系，从而产生响应。
最新版本的ChatGPT和其他llm也可以分析图像。这些多模式法学硕士使用带有字幕的照片的大型数据库来查找单词和图像之间的关系。
“人类也会这样做。无论是停止标志还是病毒表情包，我们都会不断地为图像分配语义描述，”该研究的第一作者、UB媒体法医实验室助理实验室主任Shan Jai说。“通过这种方式，图像成为了它们自己的语言。”
媒体取证实验室团队决定测试具有视觉的GPT-4 (GPT-4V)和Gemini 1.0是否能区分真实面孔和人工智能生成的面孔。他们给它提供了数千张真实和深度伪造的人脸图像，并要求它识别任何潜在的操纵迹象或人工制品。
ChatGPT优势
ChatGPT在潜在扩散生成的图像中检测合成伪影的准确率为79.5%，在stylegan生成的图像中检测合成伪影的准确率为77.2%。
“这与早期的深度伪造检测方法相当，所以在适当的及时指导下，ChatGPT可以在检测人工智能生成的图像方面做得相当不错，”吕先生说，他也是UB信息完整性中心的联合主任。
更重要的是，ChatGPT可以用通俗易懂的语言解释它的决策过程。当提供人工智能生成的一名戴眼镜男子的照片时，该模型正确地指出“图像左侧的头发略有模糊”，“人物和背景之间的过渡有点突兀，缺乏深度”。
“现有的深度伪造检测模型会告诉我们图像是真还是假的概率，但它们很少会告诉我们为什么会得出这个结论。即使我们研究了模型的潜在机制，也会有我们根本无法理解的特征，”Lyu说。“与此同时，ChatGPT输出的一切对人类来说都是可以理解的。”
这是因为ChatGPT的分析仅仅基于语义知识。传统的深度伪造检测算法通过在标记为真假的图像的大型数据集上进行训练来区分真假，而法学硕士的自然语言能力让他们对现实有了一些常识性的理解——至少在他们没有产生幻觉的时候——包括人脸的典型对称性和真实照片的外观。
Lyu说:“一旦ChatGPT的视觉组件将图像理解为人脸，语言组件就可以推断出这张脸通常有两只眼睛，等等。”“语言部分在视觉和口头概念之间提供了更深层次的联系。”
该研究总结道，ChatGPT的语义知识和自然语言处理使其对用户和开发人员来说都是一个更友好的深度伪造工具。
“通常情况下，我们会深入了解如何检测深度伪造，并将其转换为编程语言。现在，所有这些知识都存在于一个模型中，我们只需要使用自然语言来获得这些知识，”Lyu说。
ChatGPT缺点
ChatGPT的表现远低于最新的深度伪造检测算法，后者的准确率在90%左右。
这在一定程度上是因为llm无法捕捉人眼看不见的信号级统计差异，而这些差异通常被检测算法用于识别人工智能生成的图像。
“ChatGPT只关注语义层面的异常，”Lyu说。“通过这种方式，ChatGPT结果的语义直观性实际上可能是深度假检测的双刃剑。”
而其他法学硕士在解释他们的分析时可能没有这么有效。尽管在猜测人工合成物的存在方面表现得比ChatGPT好，但Gemini的支持证据往往是荒谬的，比如指出不存在的痣。
另一个缺点是法学硕士经常拒绝分析图像。当被直接问及照片是否由人工智能生成时，ChatGPT通常会回答:“对不起，我无法提供帮助。”
“当它没有达到一定的置信度时，这个模型被编程为不回答，”Lyu说。“我们知道ChatGPT具有与深度伪造检测相关的信息，但是，同样，需要人类操作员来激活其知识库的这一部分。快速工程是有效的，但不是非常高效，所以下一步是向下一级，针对这项任务对llm进行微调。”
本文来自作者[访客]投稿，不代表nslqa号立场，如若转载，请注明出处：https://www.nslqa.cn/zlan/202507-1146.html
评论列表（4条）
我是nslqa号的签约作者“访客”！
希望本篇文章《研究显示：ChatGPT能协助法学硕士识别人工智能生成的深度伪造内容》能对你有所帮助！
本站[nslqa号]内容主要涵盖：国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育
本文概览：纽约州布法罗——当大多数人想到人工智能时，他们可能会想到——并担心——ChatGPT和深度造假。人工智能生成的文本和图像主导着我们的社交媒体和我们访问的其他网站，有时我们不知道...