“10月15日凌晨，上海外灘，一輛價值300萬的法拉利跑車失控撞上護欄……”近日，有讀者向上海辟謠平臺提供了一條辟謠線索：在某資訊平臺上，一條提綱都留著、AI還沒編完整的假消息，已經公開發(fā)布。事實上，當天并沒有這起車禍。

資訊平臺上，為AI寫的提綱都沒有刪除，AI生成的假消息已經發(fā)布了（截屏）

無獨有偶，某社交平臺上一條“在上海，記住浦東這棟樓，根本走不出來”的視頻也被網友投訴——視頻里的樓宇采用熱門IP拉布布（Labubu）的造型，發(fā)布者煞有其事地介紹該樓宇所在地、交通方式等。可Labubu造型大樓屬于AI生成的“一眼假”。有網友責問發(fā)布者：“假成這樣良心不痛？”原來，發(fā)布者的目的是用AI制作的視頻推銷某家與圖片完全無關的商鋪。

有賬號用AI生成假視頻，為相關店鋪引流（截屏）

一段時間以來，AI造假屢禁不止。雖然眾多平臺都要求發(fā)布者聲明“含有AI生成”，但從結果看，仍有不少AI假消息試圖博取眼球。

面對質量參差的AIGC（人工智能生成內容），應該怎么辦？

“用魔法打敗魔法”

在業(yè)界，“用魔法（AI）打敗魔法（AIGC）”的呼聲越來越高。

上海辟謠平臺調查發(fā)現，國內已經有不少企業(yè)致力于AIGC鑒別。不同企業(yè)的研究方向略有差異，形成了視頻鑒別、圖像鑒別、文本鑒別等差異化賽道，其中有部分成果已經落地應用。在實踐中，用AI識別AI的準確度和效率都不低。

上海企業(yè)合合信息自研的TextIn通用篡改檢測平臺被銀行、保險、證券、零售、汽車等多個行業(yè)采納，可以用來檢測財務憑證、商場機打小票、身份證、護照、行駛證、駕駛證、港澳臺證件等數十種常用卡證的篡改檢測。在正常情況下，誤檢率不到千分之一。而且，針對企業(yè)及機構檢測文檔數量龐大、人工審核效率低的痛點問題，TextIn通用篡改檢測平臺對單個樣本能實現“毫秒級檢測”，效率極高。

合合信息TextIn通用篡改檢測平臺精準識別商場小票篡改痕跡（采訪對象提供）

相關團隊負責人解釋，之所以能取得這樣的結果，是因為AI生成或篡改的圖像或視頻存在肉眼無法辨別、但技術能一眼發(fā)現的瑕疵，包括像素差異、光線不合理、違背物理常識，等等。通過有的放矢地訓練對應的鑒別大模型，能有效提高鑒別率。

騰訊朱雀實驗室團隊的技術人員則向記者提供了4張圖片、2份文稿，請記者判斷哪些是人拍的或人寫的，哪些是AI生成的。不論從圖片細節(jié)或行文風格、結構邏輯看，都很難分辨。但使用相關大模型檢測，“人拍的”“人寫的”和“AI生成的”一秒就能出結果。再用大模型測試網絡上AI生成的假新聞、假廣告，結果堪稱百發(fā)百中。

朱雀實驗室提供的測試圖片，4張照片中，只有圖3是真的（采訪對象提供）

兩篇文稿中，左邊是“人寫的”，右邊是“AI生成的”（采訪對象提供）

技術人員以文稿為例解釋，這是因為“AIGC文本內容在宏觀上流暢自然，但還是存在一些微觀特征與人類寫作不同。例如，生成模型在預測下一個詞時，有其內在的概率分布偏好，更傾向于選擇最安全、最高頻的詞匯組合，而人類寫作可能會使用一些不常見但地道的表達。又比如，人類創(chuàng)作通常表現出更多的爆發(fā)性，即偶爾會使用一些意想不到的詞匯，而AIGC文本內容缺少這種突變性?？偟膩碚f，可以借助AI來捕捉人類數據與AI生成內容的特征差異，鑒別AIGC文本內容?！?/p>

給AIGC鑒別更多關注度

“在很多專業(yè)展會上，大部分企業(yè)展示的都是AIGC的內容多么真、生成效率多么高，公眾關注的重點也是‘AIGC多厲害’。在這樣的背景下談AIGC鑒別，似乎有些不合時宜。但從實際情況看，有必要給AIGC鑒別技術更多的關注度?！蹦巢辉妇呙臉I(yè)內人士表示，“AIGC雖然降低了內容創(chuàng)作的門檻，卻也導致互聯網上低質量甚至誤導性的內容快速增長，更有不法分子利用AIGC坑蒙拐騙。所以，要鼓勵更多的企業(yè)投身于AIGC鑒別技術開發(fā)，也引導平臺應用相關成果，從源頭減少造假行為?！?/p>

防止濫用AIGC并鼓勵AIGC鑒別技術發(fā)展，需要整個生態(tài)一起努力。

一方面，對于AIGC的開發(fā)者來說，在訓練模型時，要給模型加上堅固的安全護欄，保障模型輸出內容安全可信。同時，在模型生成內容時，可以給生成內容加上看不見的“身份證”，方便后續(xù)進行生成內容溯源。

相關人士指出，AIGC鑒別屬于“被動防御”，而這類“身份證”相當于“主動防御”策略。例如，目前已經有一種“半脆弱性數字水印”，就是在不破壞原有圖像、視頻內容的基礎上，在人臉等重要表征上嵌入隱藏的、肉眼不可見的水印信息。圖像或視頻一旦被編輯修改，水印就會被破壞。使用數字水印檢測器能很容易發(fā)現圖像或視頻是否進行過編輯，以及在哪里進行了編輯。

另一方面，社交媒體、視頻網站、資訊平臺等信息發(fā)布平臺應當做好“守門人”，部署模型工具對平臺上傳播的內容進行檢測識別，做好標簽化處理。

比如，明確規(guī)范信息發(fā)布者按照“包含AI生成內容”“全部由AI生成”等給相關內容打上標簽。同時，建立快速響應機制對明確利用AIGC進行欺詐、造謠等內容進行快速下架處置等。

此外，普通人可以嘗試一些面向公眾的AIGC鑒別工具來判斷互聯網上真假難辨的消息。朱雀實驗室團隊給出建議：在無法從文本或圖片的表現形式識別真?zhèn)螘r，可以用AI檢測工具對內容進行初篩。然后，根據檢測工具識別出的AI生成內容進行重點篩查。期間，可以用AI等新技術快速在權威媒體、官方通報、學術數據庫等可信信源中進行交叉檢索，驗證內容的可信度。最終，綜合以上結果來判斷信息真?zhèn)巍?/p>

總之，整個行業(yè)要不斷建設完善AIGC治理的標準和法規(guī)。最終目標不是禁止AIGC，而是為這項新技術裝上“安全閥”，讓它更好地創(chuàng)造價值。