【編者按】

12月18日，上海市社聯(lián)在上海市社會科學(xué)界學(xué)術(shù)年會上頒布了2020年度十大推介論文獎?！澳甓韧平檎撐摹被顒佑缮虾Ｊ猩缏?lián)2013年組織發(fā)起并連續(xù)多年推出。該活動是對近一年（2020年度從2019年9月1日至2020年8月31日）以來，上海學(xué)者發(fā)表于國內(nèi)學(xué)術(shù)期刊、引起學(xué)界高度關(guān)注的原創(chuàng)性研究成果作出推薦，旨在探索建立科學(xué)權(quán)威、公開透明的哲學(xué)社會科學(xué)成果評價體系，建立優(yōu)秀成果推介制度，把優(yōu)秀研究成果真正評出來、推廣開。與目前大多數(shù)評獎活動不同，年度推介論文活動無需作者自行申報，主要依托各學(xué)科權(quán)威專家學(xué)者、學(xué)術(shù)期刊主編、資深學(xué)術(shù)編輯等開展多輪評審?fù)扑]，最終產(chǎn)生不超過10篇的推介論文。

澎湃新聞智庫報告欄目摘編了上海市社聯(lián)2020年度十大推介論文之一：司法人工智能的重塑效應(yīng)及其限度，以饗讀者。 

人工智能技術(shù)融入司法是數(shù)字時代的必然趨勢，其發(fā)展前景無需質(zhì)疑，但“要想讓算法更好地服務(wù)于人類，我們必須承認算法不是全能的”。智慧司法建設(shè)并不是一項司法革新的完美規(guī)劃，它對司法機制及其運行的重塑效應(yīng)也是有限的。 

一、客觀性上的悖論

從全球范圍的實踐來看，算法決策和司法大數(shù)據(jù)的客觀性并不像人們想象的那樣易得，其也存在被主觀因素侵入的風(fēng)險。 

1、算法決策的復(fù)雜性

人工智能在商業(yè)交易、公共政策的制定、司法過程、交通出行等日常生活中深度應(yīng)用的場景越來越多，它們不僅僅進行預(yù)測和推薦，很多時候也在作定性判斷，如人臉識別、資格審查、屏蔽封號、自動執(zhí)法等。“這些自動化系統(tǒng)已經(jīng)由簡單的行政管理工具變成了主要的 ‘決策者’”，形成了一種替代人腦決策的裁斷權(quán)力，并在資源配置和行為控制上對相對人產(chǎn)生重要影響。就智能輔助辦案系統(tǒng)而言，它所進行的證據(jù)標準和規(guī)則指引、逮捕條件審查、證據(jù)鏈和全案證據(jù)審查判斷、社會危險性評估、言詞證據(jù)審查、減刑假釋案件辦理、裁判偏離度提示、辦案程序監(jiān)督等等，也都是在行使算法裁斷權(quán)力。這種算法決策，并非簡單的計算公式和無意識的程序運行，而是從一開始就被“教導(dǎo)”了法律知識與邏輯，輸入了主觀的定性判斷基準。盡管它需經(jīng)司法裁判者最終確認，才能產(chǎn)生實際的司法效力，但仍不可否認其權(quán)力屬性。

其次，算法權(quán)力也會受價值偏好影響。設(shè)計者“可以建造、構(gòu)筑、編制網(wǎng)絡(luò)空間，使之保護我們最基本的價值理念”，同樣地，設(shè)計者“也可以建造、構(gòu)筑、編制網(wǎng)絡(luò)空間，使這些價值理念喪失殆盡”。代碼是被制造而非發(fā)掘出來的?；谙嗤臄?shù)據(jù)信息、技術(shù)條件、求解方案，分別由兩組各自封閉的程序員來設(shè)計算法，最后的輸出結(jié)果很可能不一樣。

例如，上?！?06系統(tǒng)”工程龐大復(fù)雜，只能采取全國法院的“眾籌”模式來完成證據(jù)知識圖譜的繪制。這些法律適用規(guī)則的整理，其實就是對刑法知識的一次精加工，“編輯者的邏輯編排、要旨提煉、觀點選擇，體現(xiàn)了個人的價值取向、學(xué)術(shù)判斷、政策立場”。這些知識圖譜經(jīng)由程序員的代碼編寫和算法建模，自然又會或多或少地滲入一些人為因素。盡管代碼的執(zhí)行是無偏差的，但“偏差”會被編碼到系統(tǒng)中。

再次，算法背后隱藏著算法黑箱與“算法霸權(quán)”。“用戶們無法看清其中的規(guī)則，無法提出不同意見，也不能參與決策過程，只能接受最終的結(jié)果?！边@就形成了一個算法決策的閉合回路，除非自我更新和改善，否則它將持續(xù)運行，不受外界因素的干擾和影響。一旦算法決策出現(xiàn)偏見、不公乃至有意的“暗算”，就會誘發(fā)嚴重的社會危機。它不予公開、不接受質(zhì)詢、不提供解釋、不進行救濟，難免會有演化為“算法霸權(quán)” 的風(fēng)險。于是，中國的智慧司法建設(shè)也應(yīng)著力消除算法黑箱和算法霸權(quán)的隱患。

未來在程序設(shè)計環(huán)節(jié)實現(xiàn)立法者、專家學(xué)者、律師和社會人士的開放性參與，打造可公開、可解釋、可救濟的智能系統(tǒng)，對于防范算法黑箱和算法霸權(quán)之風(fēng)險，大有必要。 

2、司法大數(shù)據(jù)中的主觀性因素

首先，數(shù)據(jù)采集的“全樣本”是一種主觀界定。算法和算力仰賴于“數(shù)據(jù)喂養(yǎng)”，數(shù)據(jù)量越大、越全、越真，算法決策就越客觀精準，人工智能也才越“聰明”。司法是一項非常復(fù)雜的定 分止爭機制，涉及人財物、時間地點、主客觀狀態(tài)、行為方式、涉案工具等等，僅一個案件就會產(chǎn)生大量的司法數(shù)據(jù)。如果想就某一類型或某一類案由的案件進行算法建模，就需要采集海量的數(shù)據(jù)。若要做到“全樣本”則難上加難，僅在什么時間、空間、范圍上來界定這個“全樣本”，就是一個很大的問題。

從上海 “206系統(tǒng)”（編注：由科大訊飛與上海市公檢法機關(guān)共同研發(fā)的刑事案件智能輔助辦案系統(tǒng)，2018年3月，206系統(tǒng)在上海全面推廣應(yīng)用。）的研發(fā)過程來看，命案被劃分為現(xiàn)場目擊型、現(xiàn)場留痕型、認罪供述得到印證型和拒不認罪型四大類，這四類命案“證據(jù)標準指引”的建模算法，主要是基于上海市2012年至2016年間審結(jié)的591起命案數(shù)據(jù)。71個常涉刑事案件罪名的 “證據(jù)標準指引”，則是基于近三年全國102個常涉罪名刑事案件的數(shù)據(jù)制定的?？梢园l(fā)現(xiàn)，這些數(shù)據(jù)樣本都是三五年內(nèi)的。同樣，上海民事、行政案件智能輔助辦案系統(tǒng)從467個民商事案由、61個行政案由中首選了六大類8個案由，雖然標注電子卷宗達5800余份，標注點數(shù)量達12 萬個，但上海市2016年道路交通事故糾紛一個案由收案量就達51312件。

可見，研發(fā)智能輔助辦案系統(tǒng)所憑借的，暫時還只能是有限時間段內(nèi)、有限范圍內(nèi)的 “樣本”。 

其次，數(shù)據(jù)標注是一種主觀選擇。數(shù)據(jù)標注是司法知識圖譜構(gòu)建的重要基礎(chǔ)，上?！?06系統(tǒng)”的研發(fā)采取了人工標注和自動標注兩種形式，人工的數(shù)據(jù)清洗和標注自不待言，機器的自動標注也需要經(jīng)過程序設(shè)計人員的確認。同樣，圖像識別、手寫體識別、插圖簽章、涂抹塊檢測、插入檢測等準確率雖然可達92% —98%，但它仍需人工審查校正，這些無疑也都是主觀選擇的過程。

再次，司法數(shù)據(jù)的闡釋理解是一種主觀判斷。標定數(shù)據(jù)對機器學(xué)習(xí)和建模算法的效果具有很大影響。由于中文語詞具有多義性、模糊性和地方性，對于相同或者相似的文本知識和數(shù)據(jù)，不同的標注人員會形成不同的闡釋理解，導(dǎo)致數(shù)據(jù)標注結(jié)果可能因人而異。雖然可以通過構(gòu)建多層級數(shù)據(jù)標注體系來消除語義分歧和增進標注的可解釋性，但仍有一定的主觀作用空間。這也正是“投入多少人工，就有多少智能”的原因所在。

由上可見，在科學(xué)技術(shù)發(fā)展到一定程度或治理能力足以防范相關(guān)風(fēng)險之前，算法決策的客觀性與中立性都只能是有限的。更嚴重的是，算法決策往往以 “科學(xué)” 面目呈現(xiàn)，一旦算法決策變?yōu)橐环N被灌輸?shù)?、給定的 “客觀”，造成 “假為真時真亦假” 的反向替代，司法也就異化成為它的反面了。這是二者最深層的區(qū)別，也是我們必須警醒的地方。  

二、正義判斷上的困境

司法人工智能讓人們看到了 “可視正義” 和 “數(shù)字正義” 的希望，但進一步分析就會發(fā)現(xiàn)，“可視正義” 也好，“數(shù)字正義” 也罷，雖然近在咫尺，但也不會來得那么容易。

其一，難以對正義進行建模計算。

首先，正義價值是普遍的，卻沒有統(tǒng)一標準。對待正義問題，只能通過謀求最大公約數(shù)和重疊共識方式來獲得認同。我們很難針對正義進行共識性的要素抽取和建立通用的知識圖譜，“其價值難以用數(shù)字體現(xiàn)”，也就很難進行建模計算。

其次，正義沒有價值位階，裁判需要權(quán)宜平衡。因此，比例原則、法益衡量等一直在司法裁判中占據(jù)重要位置。力圖解決一切、無所不能的“終極算法”還不存在。司法裁判中法官的權(quán)宜平衡一時還難以用算法來替代。

再次，實現(xiàn)正義依靠的是實質(zhì)判斷，而不是體現(xiàn)相關(guān)性的概率計算。美國曾研究測試，人工智能在584個案件中有79%的案件審理結(jié)果與歐洲人權(quán)法院的審判專家組判決結(jié)果相同。英國 “機器律師”與倫敦100名律師在保險合同案件的法律判斷比賽中，“機器律師” 以86.6%的準確率領(lǐng)先于律師的66.3%。

這些事例似乎表明，算法決策比人腦決策更優(yōu)越。但實際情況是，“計算機并不是 ‘思考’，而是依據(jù)邏輯算法處理數(shù)據(jù)”。它主要是基于數(shù)據(jù)進行相關(guān)性分析，對于復(fù)雜的疑難案件來說，僅有數(shù)量、概率和相關(guān)性邏輯還遠遠不夠，正義的司法裁判需要通過綜合考量各種因素的實質(zhì)性判斷來實現(xiàn)。

其二，難以窮盡 “正義” 的樣本。擁有了司法正義的 “全樣本”，才可能實現(xiàn)精準的算法正義。理論上講，這個司法知識圖譜應(yīng)該是法律法規(guī)、司法文件、法院判例、證據(jù)規(guī)則和案件事實的動態(tài)集合，其數(shù)據(jù)采集是可以做到的。但實際上，大量的司法活動難以被完全數(shù)據(jù)化，且各機關(guān)或機構(gòu)的數(shù)據(jù)處理標準常常不一致，數(shù)據(jù)交換也有障礙。

其三，正義難以零和博弈。從根本上說，“算法就是把輸入轉(zhuǎn)換成輸出的計算步驟的一個序列”。算法的開發(fā)設(shè)計者需要把知識系統(tǒng)轉(zhuǎn)化為數(shù)字系統(tǒng)，把法律邏輯轉(zhuǎn)化為數(shù)理邏輯，進而把復(fù)雜的司法活動簡化為一種“無須滿足任何更多條件即可生成‘是’與‘否’的二元選項” 的代碼執(zhí)行和機器運算。這固然提高了司法效率和裁判一致性，但不容否認的是，“法律世界包羅萬象、復(fù)雜混沌，常常沒有明確的對錯之分”，尤其是司法正義，更不可能簡化為一個是與否的零和博弈。

其四，正義難以忽略人性。從古到今，司法活動都不是一個冰冷的、機械的規(guī)則適用過程，而是帶有鮮明的人文關(guān)懷。司法人工智能不會計算情感，不能與人進行心靈互動，自然也不可能有人文關(guān)懷，難以根據(jù)具體場景靈活地、創(chuàng)造性地維護正義價值。而越來越多的機器執(zhí)法和裁斷，越來越少的人際互動和交流，有把公民變成 “馴服的身體”的危險。

可見，司法人工智能只能帶來有條件的 “可視正義” 和 “數(shù)字正義”，即使法律人工智能已廣泛投入運用，在追求司法正義的過程中，法律人的“情懷” 和“匠心” 仍然無法被復(fù)制和替代。

三、政治因素的遮蔽

現(xiàn)代法治的核心特征之一是司法中立，然而，司法畢竟是一種制度體系中的構(gòu)架，它不可能做到隔絕政治。例如，美國聯(lián)邦最高法院可以通過重新定義某些規(guī)則條款和標準，“來滿足大法官不斷變化的政策偏好，從而在集權(quán)與分權(quán)、保守與自由之間做出最有利于大法官的選擇”，但 “布什訴戈爾案” 之類的司法裁決仍不是一種單純的司法行為，而是帶有明顯的政治考量?；谥袊闹贫葘傩院蜌v史傳統(tǒng)，政治性因素對司法的影響也比較明顯。比如，“民憤極大” 就曾是一種從政治上、道義上來考慮的從重處罰情節(jié), “領(lǐng)導(dǎo)批示” 也會對案件的定性和裁判具有重要 “指導(dǎo)”作用。這些影響因素很難進入算法決策的考量范圍。

四、精準性上的障礙

人工智能之所以被廣泛應(yīng)用于生活領(lǐng)域，原因之一就是它具備遠超人腦的精準計算和超強預(yù)測能力。但在實際運行中，算法決策未必能完全做到精準，甚至還有一些風(fēng)險需要加以防范。一是算法錯誤。人工智能雖然都有 “先發(fā)制人” 和 “完美預(yù)防” 的預(yù)設(shè)，但無缺點的自動化系統(tǒng)并不存在，需要容忍不可避免的系統(tǒng)錯誤和故障。

二是算法自主。隨著人工神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展，人工智能在分析、預(yù)測和判斷上的某些能力已經(jīng)超過了人類。有時還會出現(xiàn)算法超出設(shè)計預(yù)期的運算方式和輸出結(jié)果，令設(shè)計者難以理解的情況，即算法自主或者算法異化現(xiàn)象。

三是算法不能。其實從圖靈開始，人們就已經(jīng)意識到，雖然在很多情況下算法執(zhí)行的任務(wù)是人類無法完成的，但算法并不能解決所有問題，如不少刑事案件中犯罪者的動機和目的。

四是算法差異。在人工智能的實際應(yīng)用中，相同的任務(wù)或應(yīng)用可以采用不同的算法來完成，但這些不同算法的正確性、容錯性和效率性存在優(yōu)劣之別。從審級上說，從基層人民法院到最高人民法院，究竟是使用一套算法還是四套算法？如果使用一套算法，就會導(dǎo)致四個審級的智能裁判結(jié)果完全一致，不同審級之間的監(jiān)督功能就會喪失; 如果使用四套算法，那又如何保證它們的計算品質(zhì)相同? 從地域上說，全國如果使用一套算法，要如何解決經(jīng)濟、社會和文化上的地域差異問題? 如果使用多套算法，如何保證全國的司法統(tǒng)一性? 可見，盡管算法決策是基于客觀的數(shù)據(jù)分析和理性計算作出的，但面對重大疑難案件和大國的司法運行，有很多復(fù)雜因素難以用建模算法來回應(yīng)。

算法只能延續(xù)和提煉人類知識，但很難開拓和創(chuàng)造人類知識。算法決策能夠通過程序性、公式化計算來優(yōu)化訴訟程序和處理簡單案件，卻難以處理重大的復(fù)雜疑難案件; 它能夠促進形式正義，卻很難實現(xiàn)實質(zhì)正義。算法有可能勝任法庭上的多項工作，但無法勝任判決工作，包括證據(jù)標準指引、條件審查、校驗糾錯、裁判偏離度提示等，都只能是人腦決策的輔助工具。關(guān)鍵之時還需要人來做決定，由人來擔任最終決策者。

也許，隨著人工智能技術(shù)的突破升級，算法決策替代人腦決策的空間會更大、質(zhì)量也更高，但它依然是司法助手、工作伙伴，而不是獨立裁判的 “法官”。即便是 “強人工智能”時代的 “奇點”到來，人類也會重新規(guī)劃自身主體地位的發(fā)展藍圖。

（作者馬長山系華東政法大學(xué)教授、博士生導(dǎo)師，本文首發(fā)于《法學(xué)研究》2020年第4期）