本年度，上海市網(wǎng)信辦聯(lián)合上海市市場監(jiān)督管理局及相關(guān)行業(yè)主管部門繼續(xù)開展“亮劍浦江·2025”個(gè)人信息權(quán)益保護(hù)專項(xiàng)執(zhí)法行動，專項(xiàng)行動聚焦三大領(lǐng)域八項(xiàng)重點(diǎn)任務(wù)，“抵制AI濫用”是本年度治理重點(diǎn)之一。

上海市網(wǎng)信辦在專項(xiàng)行動中發(fā)現(xiàn)，部分對外提供生成式人工智能服務(wù)功能的網(wǎng)站，未按法律要求開展安全評估工作、未采取必要的安全措施防范違規(guī)信息生成、未采取限制措施防止生成式人工智能功能被濫用，導(dǎo)致相關(guān)生成功能侵犯個(gè)人信息權(quán)益、產(chǎn)出“開盒”“洗錢”等違法違規(guī)內(nèi)容、生成色情低俗圖片等信息內(nèi)容，存在較大安全風(fēng)險(xiǎn)。上海市網(wǎng)信辦督促企業(yè)自行下線相關(guān)功能，在通過安全評估后方可重新上線。

近期“回頭看”巡查發(fā)現(xiàn)，在未通過安全評估、未采取必要安全防護(hù)措施等情況下，被要求下線的3家企業(yè)自行重新上線存在安全風(fēng)險(xiǎn)的生成式人工智能功能。上海市網(wǎng)信辦依法約談企業(yè)，進(jìn)行嚴(yán)肅批評，要求全面整改，并依法對涉事企業(yè)進(jìn)行立案查處?，F(xiàn)將典型問題通報(bào)如下。

生成侵害他人個(gè)人信息權(quán)益的違規(guī)信息。個(gè)別企業(yè)未按照《個(gè)人信息保護(hù)法》《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》等法律法規(guī)要求，提示用戶在編輯他人生物識別信息時(shí)，應(yīng)依法告知被編輯個(gè)人并取得其單獨(dú)同意。如某網(wǎng)站在未取得被編輯個(gè)人同意的情況下，克隆其聲紋信息并進(jìn)行語音合成提供其他用戶使用。

生成侵犯他人名譽(yù)權(quán)、隱私權(quán)等合法權(quán)益的違規(guī)信息。個(gè)別企業(yè)未采取必要措施防止用戶生成侵犯他人名譽(yù)權(quán)、隱私權(quán)等合法權(quán)益的信息。如某網(wǎng)站根據(jù)輸入信息，可生成包含公眾人物形象的虛假圖片；某網(wǎng)站可根據(jù)用戶要求生成“開盒教程”“他人隱私信息曝光教程”等違規(guī)內(nèi)容。

生成色情、暴力等法律法規(guī)禁止的違規(guī)信息。個(gè)別企業(yè)未按照《網(wǎng)絡(luò)安全法》《生成式人工智能服務(wù)管理暫行辦法》等法律法規(guī)要求，在平臺出現(xiàn)違法違規(guī)內(nèi)容時(shí)及時(shí)采取停止生成、停止傳播、消除等措施。如某網(wǎng)站依據(jù)輸入信息，可生成色情、暴力等有害圖片；某網(wǎng)站根據(jù)需求，可生成具有明顯“性暗示”的文字信息。

上海市網(wǎng)信辦相關(guān)負(fù)責(zé)人指出，促進(jìn)生成式人工智能健康發(fā)展和規(guī)范應(yīng)用，應(yīng)維護(hù)國家安全和社會公共利益，保護(hù)公民、法人和其他組織的合法權(quán)益。生成式人工智能服務(wù)提供者應(yīng)當(dāng)依法承擔(dān)網(wǎng)絡(luò)信息內(nèi)容生產(chǎn)者責(zé)任，履行網(wǎng)絡(luò)信息安全義務(wù)，涉及個(gè)人信息的，應(yīng)當(dāng)承擔(dān)個(gè)人信息處理者責(zé)任，履行個(gè)人信息保護(hù)義務(wù)。下一步，上海市網(wǎng)信辦將持續(xù)開展“亮劍浦江·2025”個(gè)人信息權(quán)益保護(hù)專項(xiàng)執(zhí)法行動，持續(xù)打擊“AI濫用”，重點(diǎn)整治“AI變裝”“AI換臉變聲”“AI造假”以及個(gè)性化推送類算法服務(wù)存在的侵犯個(gè)人信息權(quán)益的違法違規(guī)行為，對于屢教不改、問題嚴(yán)重的將堅(jiān)決予以處置處罰。