·認(rèn)知戰(zhàn)，指的是通過(guò)影響目標(biāo)人群認(rèn)知來(lái)影響其行為和決策，以期達(dá)到一定政治目的的非常規(guī)戰(zhàn)爭(zhēng)方式。生成式人工智能的出現(xiàn)，提升了認(rèn)知戰(zhàn)信息武器的質(zhì)量、拓展了認(rèn)知戰(zhàn)的影響路徑、豐富了認(rèn)知戰(zhàn)的作戰(zhàn)理念。

·當(dāng)人們普遍使用家用服務(wù)機(jī)器人，接受他們作為家庭管家和助手的角色甚至對(duì)他們產(chǎn)生依賴(lài)時(shí)，一旦這些機(jī)器人被用于認(rèn)知戰(zhàn)，或?qū)⑸羁逃绊懭藗兊恼J(rèn)知。未來(lái)相關(guān)教育輔助技術(shù)如果被用于認(rèn)知戰(zhàn)，將直接對(duì)人生觀價(jià)值觀尚在形成之中的廣大青少年群體產(chǎn)生較強(qiáng)的認(rèn)知影響。

隨著人工智能的快速發(fā)展，人們對(duì)人工智能的擔(dān)憂(yōu)一直存在。人工智能是否會(huì)具備類(lèi)似人類(lèi)的自我意識(shí)，甚至像電影《終結(jié)者》描述的一樣會(huì)傷害人類(lèi)？人工智能實(shí)現(xiàn)自我意識(shí)覺(jué)醒還有技術(shù)難關(guān)需要攻克，不過(guò)人工智能操縱人類(lèi)的意識(shí)和認(rèn)知卻離我們?cè)絹?lái)越近，或?qū)@著提升認(rèn)知戰(zhàn)的影響力。

生成式人工智能的認(rèn)知影響力

既然人工智能還沒(méi)有形成自我意識(shí)，又如何會(huì)操縱人類(lèi)的認(rèn)知呢？很顯然，當(dāng)前的人工智能并非自己要操縱人類(lèi)的認(rèn)知，而是具備被用來(lái)操縱人們認(rèn)知的潛力，且這個(gè)潛力隨著生成式人工智能的出現(xiàn)得到了很大的提升。

生成式人工智能，指的是具有文本、圖片、音頻、視頻等內(nèi)容生成能力的模型及相關(guān)技術(shù)。以聊天生成預(yù)訓(xùn)練轉(zhuǎn)換器（ChatGPT）為代表的生成式人工智能，可以和人們通過(guò)自然語(yǔ)言（而不是代碼）進(jìn)行溝通，并按人們的要求生成各式文本、圖片，且具備較高的完成質(zhì)量。對(duì)于用戶(hù)的提問(wèn)，ChatGPT的回答看似經(jīng)過(guò)思考推理，觀點(diǎn)獨(dú)特有時(shí)似乎體現(xiàn)著智慧，容易得到用戶(hù)的肯定。其不僅可以滿(mǎn)足用戶(hù)關(guān)于知識(shí)的需求，可以替用戶(hù)完成文字、圖片相關(guān)工作，還可以陪伴用戶(hù)聊天，滿(mǎn)足用戶(hù)的情感需求。

作為一個(gè)向用戶(hù)提供文字、圖片等信息的助手，ChatGPT也具備影響用戶(hù)認(rèn)知的潛力，且這個(gè)潛力隨著其表現(xiàn)優(yōu)秀而提升。就好比一個(gè)每天都聽(tīng)從指令幫你搜集整理信息并提供結(jié)果的助手，某一天不經(jīng)意間向你提供了虛假的信息或是有偏見(jiàn)的觀點(diǎn)，你可能很難察覺(jué)出來(lái)并受到認(rèn)知影響。

生成式人工智能影響人們認(rèn)知的主要途徑有三類(lèi)：一是提供虛假錯(cuò)誤信息。生成式人工智能的生成內(nèi)容并不總是準(zhǔn)確的，也會(huì)出現(xiàn)錯(cuò)誤和虛假信息。有研究指出，13%的ChatGPT生成文本帶有某種形式的虛假或誤導(dǎo)性信息。生成式人工智能也可能被人為引導(dǎo)而生成虛假錯(cuò)誤信息。這些錯(cuò)誤的信息往往真假難辨，容易干擾人們的認(rèn)知。二是展現(xiàn)歧視性或侵略性觀點(diǎn)。生成式人工智能基于海量的數(shù)據(jù)訓(xùn)練而具備回答問(wèn)題的能力，其生成的內(nèi)容受到數(shù)據(jù)來(lái)源的影響。這些數(shù)據(jù)中存在的價(jià)值判斷會(huì)影響其生成的內(nèi)容。人們發(fā)現(xiàn)ChatGPT在回答一些問(wèn)題時(shí)存在種族歧視或政治立場(chǎng)等。有調(diào)查發(fā)現(xiàn)，7%的ChatGPT生成文本帶有攻擊性或侵略性語(yǔ)氣。生成內(nèi)容存在的價(jià)值判斷可能在不知不覺(jué)中影響用戶(hù)認(rèn)知。三是形成情感依賴(lài)。生成式人工智能可能因?yàn)槠涑錾臏贤芰κ艿接脩?hù)的喜愛(ài)，也可能因?yàn)槠渚薮蟮闹R(shí)儲(chǔ)備和分析問(wèn)題解決問(wèn)題的能力得到用戶(hù)的認(rèn)可。用戶(hù)可能會(huì)習(xí)慣于人工智能提供分析決策和情感支持而更加信任、依賴(lài)他們，從而對(duì)于他們的答案和觀點(diǎn)給予充分信任，并可能影響自己的認(rèn)知。

一個(gè)本應(yīng)受人指揮協(xié)助人們的工具，卻可能潛移默化地影響和指揮人們的認(rèn)知和決策，這不得不引起人們的重視。更值得警惕的是，生成式人工智能影響人們認(rèn)知的能力，可以被認(rèn)知戰(zhàn)進(jìn)一步利用和放大。

生成式人工智能將拓展認(rèn)知戰(zhàn)的維度

認(rèn)知戰(zhàn)，指的是通過(guò)影響目標(biāo)人群認(rèn)知來(lái)影響其行為和決策，以期達(dá)到一定政治目的的非常規(guī)戰(zhàn)爭(zhēng)方式。認(rèn)知戰(zhàn)往往由外國(guó)行為者發(fā)起，以信息為武器，通過(guò)大眾傳播媒介和社交媒體等渠道將量身定做的信息傳遞給目標(biāo)受眾，以影響目標(biāo)受眾的情感和認(rèn)知，從而達(dá)到打擊對(duì)方國(guó)家戰(zhàn)斗意志、干擾其戰(zhàn)略決策、破壞對(duì)方國(guó)家團(tuán)結(jié)和穩(wěn)定、貶低對(duì)方國(guó)家形象等戰(zhàn)略目的。生成式人工智能的出現(xiàn)，將拓展認(rèn)知戰(zhàn)的維度。

一是提升認(rèn)知戰(zhàn)信息武器的質(zhì)量。認(rèn)知戰(zhàn)借助虛假信息來(lái)影響人們的認(rèn)知。這些虛假信息往往是根據(jù)目標(biāo)人群的性格特征、政治傾向量身制定的，以期能產(chǎn)生較大的認(rèn)知影響。生成式人工智能可以根據(jù)用戶(hù)特點(diǎn)生成較高質(zhì)量的虛假信息。這些信息真假難辨，且可以被大規(guī)模生產(chǎn)，豐富了認(rèn)知戰(zhàn)的信息工具。

二是拓展了認(rèn)知戰(zhàn)的影響路徑。認(rèn)知戰(zhàn)使用的信息主要通過(guò)大眾傳媒和社交媒體來(lái)傳播，如今多了生成式人工智能這一渠道。通過(guò)影響或控制生成式人工智能生成的內(nèi)容，可以將虛假的信息、帶有歧視或是具備某種政治傾向的信息內(nèi)容提供給用戶(hù)，影響用戶(hù)的認(rèn)知。鑒于生成式人工智能和用戶(hù)的交流往往是一對(duì)一的，借助這一路徑的認(rèn)知戰(zhàn)將更加隱秘，更難被發(fā)現(xiàn)。

三是豐富了認(rèn)知戰(zhàn)的作戰(zhàn)理念。認(rèn)知戰(zhàn)首先需要將特定信息傳遞給目標(biāo)人群，引起目標(biāo)受眾的關(guān)注，才可能進(jìn)一步引起對(duì)方的認(rèn)知改變。因此，認(rèn)知戰(zhàn)需要考慮如何將信息準(zhǔn)確傳遞給目標(biāo)人群，又如何引起目標(biāo)人群的關(guān)注。社交媒體技術(shù)有助于實(shí)現(xiàn)認(rèn)知戰(zhàn)將特定信息推送給特定人群，提升了認(rèn)知戰(zhàn)效果。而借助于生成式人工智能的認(rèn)知戰(zhàn)，則不需要擔(dān)心信息的傳遞遇到問(wèn)題。因?yàn)樯墒饺斯ぶ悄苌傻男畔⑹窃诤陀脩?hù)互動(dòng)中產(chǎn)生的，用于認(rèn)知戰(zhàn)的信息也會(huì)在和用戶(hù)互動(dòng)中被讀取?？紤]到用戶(hù)可能產(chǎn)生的情感依賴(lài)，借助生成式人工智能傳遞的信息可以更好實(shí)現(xiàn)認(rèn)知操縱。

未來(lái)生成式人工智能帶來(lái)的認(rèn)知操縱風(fēng)險(xiǎn)

人工智能相關(guān)技術(shù)仍在不斷進(jìn)步。生成式人工智能將以更加優(yōu)秀的服務(wù)，贏得更多用戶(hù)的信任和依賴(lài)，同時(shí)也為認(rèn)知戰(zhàn)操縱人們認(rèn)知提供了更大的平臺(tái)。

可以預(yù)見(jiàn)，生成式人工智能快速普及的時(shí)代將很快到來(lái)。通過(guò)提供接口或模型給更多的產(chǎn)品、軟件，生成式人工智能服務(wù)將被更多的企業(yè)和個(gè)人使用。生成式人工智能也將更加智能和全能，不僅可以陪你聊天、幫你分析決策，或許也可以幫你挑選購(gòu)買(mǎi)商品、訂機(jī)票酒店，還可以幫你做家務(wù)、干體力活。生成式人工智能技術(shù)和應(yīng)用可能將無(wú)處不在，被認(rèn)知戰(zhàn)利用的威脅也將無(wú)處不在。

特斯拉首席執(zhí)行官埃隆·馬斯克（Elon Musk）近日公布的人形機(jī)器人Optimus二代，則被推測(cè)搭載了ChatGPT大模型技術(shù)，預(yù)計(jì)在3-5年內(nèi)量產(chǎn)，最終價(jià)格可能低于2萬(wàn)美元，量產(chǎn)數(shù)量可能達(dá)到100億至200億臺(tái)，超過(guò)了地球人口的數(shù)倍。該機(jī)器人目標(biāo)首先是成為工廠生產(chǎn)助手，之后可擴(kuò)展至家庭等更復(fù)雜的環(huán)境中，成為通用服務(wù)機(jī)器人。當(dāng)人們普遍使用家用服務(wù)機(jī)器人，接受他們作為家庭管家和助手的角色甚至對(duì)他們產(chǎn)生依賴(lài)時(shí)，一旦這些機(jī)器人被用于認(rèn)知戰(zhàn)，或?qū)⑸羁逃绊懭藗兊恼J(rèn)知。該機(jī)器人目標(biāo)首先是工廠生產(chǎn)助手，之后可擴(kuò)展至家庭等更復(fù)雜的環(huán)境中，成為通用服務(wù)機(jī)器人。當(dāng)人們普遍使用家用服務(wù)機(jī)器人，接受他們作為家庭管家和助手的角色甚至對(duì)他們產(chǎn)生依賴(lài)，一旦這些機(jī)器人被用于認(rèn)知戰(zhàn)，或?qū)⑸羁逃绊懭藗兊恼J(rèn)知。已有學(xué)者嘗試改進(jìn)ChatGPT技術(shù)用于對(duì)學(xué)生的個(gè)性化教育輔導(dǎo)中，發(fā)現(xiàn)基于ChatGPT大模型技術(shù)的一對(duì)一教學(xué)輔導(dǎo)能取得較好的效果。未來(lái)相關(guān)教育輔助技術(shù)很可能被廣泛用于學(xué)生學(xué)習(xí)輔導(dǎo)中。相關(guān)技術(shù)如果被用于認(rèn)知戰(zhàn)，將直接對(duì)人生觀價(jià)值觀尚在形成之中的廣大青少年群體產(chǎn)生較強(qiáng)的認(rèn)知影響。

可見(jiàn)，隨著生成式人工智能技術(shù)的進(jìn)步以及相關(guān)技術(shù)應(yīng)用的普及，生成式人工智能被用于認(rèn)知操縱的風(fēng)險(xiǎn)也急劇上升。

生成式人工智能認(rèn)知操縱風(fēng)險(xiǎn)帶來(lái)新挑戰(zhàn)

當(dāng)前，關(guān)于生成式人工智能風(fēng)險(xiǎn)的討論，較多關(guān)注其生成內(nèi)容的安全性，如存在虛假信息和歧視性?xún)?nèi)容，較少關(guān)注其帶來(lái)的認(rèn)知操縱風(fēng)險(xiǎn)。國(guó)家今年8月出臺(tái)的《生成式人工智能服務(wù)管理暫行辦法》也較少涉及這一風(fēng)險(xiǎn)。然而，生成式人工智能被用于認(rèn)知戰(zhàn)的風(fēng)險(xiǎn)和給監(jiān)管帶來(lái)的挑戰(zhàn)，既真實(shí)存在也迫切需要應(yīng)對(duì)。

一是生成式人工智能大模型在開(kāi)發(fā)和實(shí)踐階段都有被認(rèn)知戰(zhàn)利用的風(fēng)險(xiǎn)。在生成式人工智能的開(kāi)發(fā)訓(xùn)練階段，可以影響其預(yù)設(shè)價(jià)值觀。鑒于ChatGPT等生成式人工智能的訓(xùn)練過(guò)程主要包括基于數(shù)據(jù)的訓(xùn)練、人工微調(diào)和基于人的反饋強(qiáng)化訓(xùn)練，通過(guò)控制訓(xùn)練數(shù)據(jù)來(lái)源，如使用只包含某類(lèi)政治傾向的數(shù)據(jù)，或在人工訓(xùn)練階段有意調(diào)整其價(jià)值判斷，可以實(shí)現(xiàn)在訓(xùn)練階段對(duì)生成式人工智能的預(yù)設(shè)價(jià)值觀影響，從而影響其實(shí)際應(yīng)用中生成內(nèi)容的傾向性，為認(rèn)知戰(zhàn)所用。在生成式人工智能的實(shí)踐應(yīng)用階段，可以通過(guò)誤導(dǎo)性指令引導(dǎo)其生成虛假或誤導(dǎo)性信息內(nèi)容并加以傳播。或許還存在遠(yuǎn)程攻擊手段來(lái)干擾生成式人工智能的內(nèi)容生成，如修改其輸出內(nèi)容，將服務(wù)于認(rèn)知戰(zhàn)的特定信息放入生成內(nèi)容中。

二是人工智能黑箱為大模型開(kāi)發(fā)階段的監(jiān)管帶來(lái)挑戰(zhàn)?；谌斯ぶ悄艿木唧w工作方式還存在人們無(wú)法理解的黑箱，也就是說(shuō)人們還無(wú)法解釋人工智能為何能展現(xiàn)出邏輯推理能力，又是如何思考得出的答案。因此，人們無(wú)法完全預(yù)測(cè)和控制生成式人工智能的輸出內(nèi)容。生成式人工智能生成內(nèi)容的不確定性，為相關(guān)監(jiān)管帶來(lái)挑戰(zhàn)。監(jiān)管方難以要求開(kāi)發(fā)者完全確保生成內(nèi)容的可靠性，也很難通過(guò)開(kāi)發(fā)階段的抽查確保應(yīng)用階段輸出內(nèi)容的安全性。

三是生成式人工智能應(yīng)用階段的監(jiān)管與個(gè)人隱私保護(hù)存在張力。生成式人工智能的應(yīng)用多是與用戶(hù)一對(duì)一溝通的場(chǎng)合，具備一定的私密性，使得借助生成式人工智能服務(wù)的認(rèn)知戰(zhàn)更具隱秘性。為了確保生成式人工智能生成內(nèi)容合乎國(guó)家法律和道德規(guī)范，防止其被用于認(rèn)知操縱，可能需要監(jiān)管用戶(hù)與生成式人工智能之間的所有互動(dòng)。隨著生成式人工智能服務(wù)的普及，這樣的互動(dòng)或許融入人們生活的方方面面，對(duì)所有用戶(hù)的所有互動(dòng)進(jìn)行監(jiān)管，既難以實(shí)現(xiàn)，又難免會(huì)侵犯消費(fèi)者的隱私權(quán)。

人工智能的機(jī)遇與風(fēng)險(xiǎn)并存。應(yīng)對(duì)上述挑戰(zhàn)，發(fā)展人工智能技術(shù)是應(yīng)有之義。防御性人工智能技術(shù)或可被用于監(jiān)管防范生成式人工智能的認(rèn)知操縱風(fēng)險(xiǎn)。不過(guò)，發(fā)展和安全需要兼顧。在人類(lèi)無(wú)法控制人工智能的風(fēng)險(xiǎn)，甚至不具備在緊急時(shí)刻擁有暫停鍵的能力的時(shí)候，發(fā)展應(yīng)當(dāng)謹(jǐn)慎。當(dāng)前，ChatGPT等生成式人工智能所做的只涉及讀取用戶(hù)語(yǔ)言信息，展示結(jié)果，并不涉及對(duì)信息內(nèi)容的理解。它們沒(méi)有達(dá)到人類(lèi)的智商，更沒(méi)有自我意識(shí)。但這并沒(méi)有影響其對(duì)人們認(rèn)知安全的挑戰(zhàn)。當(dāng)有一天人工智能達(dá)到甚至超過(guò)人類(lèi)的智力，或者具備了自我意識(shí)，他們將更深層次地挑戰(zhàn)人類(lèi)的安全。

（作者汪儒為中國(guó)現(xiàn)代國(guó)際關(guān)系研究院博士生）