- +1
人臉識別60年︱“黑箱”里有什么,紐約州家長們的社區(qū)行動
近年來,美國發(fā)生了多起校園槍擊事件,陰影之下,越來越多學校啟用了生物識別技術(shù),試圖防范風險。但這些匆忙上線的技術(shù)并沒有匹配相應的使用規(guī)范,從數(shù)據(jù)存儲、使用目的到訪問權(quán)限,一切細節(jié)似乎處于“黑箱”之中。
2020年7月,紐約州立法機關(guān)通過了一項法令,在2022年前,禁止學校使用人臉識別和其他生物特征識別技術(shù),成為全美首個對學校劃定“禁區(qū)”的法案。而最早,該法案源于洛克波特市(Lockport)家長們的一場社區(qū)行動。
洛克波特位于紐約州西部,2016年,當?shù)貙W區(qū)向州申請了一筆“智慧校園資金”,用于布設人臉識別系統(tǒng),第二年獲批。技術(shù)從申請、獲批到采購、啟用,一切都在悄然進行中,直到2018年,一位家長致信地方媒體,質(zhì)疑該技術(shù)缺少使用規(guī)范。
對于洛克波特市的家長、教師工會、居民團體等行動者而言,“黑箱”有著多重含義,一方面,他們需要跨越技術(shù)壁壘,弄清楚生物識別技術(shù)的原理和風險,另一面,他們需要通過各種渠道表達自己的質(zhì)疑聲。它像是一場“拉鋸戰(zhàn)”。
本文節(jié)選自紐約大學AI Now研究中心報告“Regulating Biometrics:Global Approaches and Urgent Questions”(生物識別技術(shù)監(jiān)管:全球舉措及關(guān)鍵問題)的第四章。為便于理解,我們對原文進行了必要的補充和修改。

人臉識別技術(shù)正在進入越來越多的校園。圖片來源:Getty
校園內(nèi)的人臉識別監(jiān)控
越來越多監(jiān)控技術(shù)正在走進公立學校。借助一些“免費”或(由公共財政)補貼的技術(shù),校園管理者可以監(jiān)控學生電子郵件中的敏感詞、廁所停留時間、監(jiān)考,或?qū)撛谖C提供實時警報。但通常,它們在啟用前沒有經(jīng)過充分考量或社區(qū)咨詢。
學校管理者對生物識別技術(shù)和其他電子門禁系統(tǒng)表現(xiàn)出了極大興趣,希望改善校園安全,而現(xiàn)有的法規(guī)卻很難阻止這些技術(shù)的應用。
這些技術(shù)可以作為“附加”功能啟用,很容易與現(xiàn)有的安全監(jiān)控系統(tǒng)(例如閉路電視)結(jié)合,校方經(jīng)常在沒有充分考慮其風險的情況下采用或測試這些技術(shù)。例如,生物識別數(shù)據(jù)的存儲和使用有可能違法,校方可能未設置相關(guān)的使用規(guī)范,難以處理數(shù)據(jù)泄露問題,也未留足預算用于系統(tǒng)維護。(編者注:除了一次性的技術(shù)采購經(jīng)費,校方還需要留足預算,用于之后的日常維護費用。)
表面上,生物識別技術(shù)有一定控制風險的作用,但它為學生群體帶來了一系列社會和法律層面的問題,尤其是在K-12教育體系中(編者注:即美國基礎教育的統(tǒng)稱,從幼兒園到12年級的教育)。盡管近年來,美國更關(guān)注學生的數(shù)據(jù)隱私問題,政府的監(jiān)督和執(zhí)法有所增強,但學生群體仍易受傷害,隱私和其他違法行為的后果可能不會立即顯現(xiàn)。
幾十年來,研究者和教育工作者一直在批評這種保守主義的教育政策,認為它們不是長久之計。保守政策有可能延續(xù)美國教育體系中既有的結(jié)構(gòu)性不平等,將其合理化,這妨礙了政策制定者帶來真正的結(jié)構(gòu)性改革。
國際上,一些國家已經(jīng)禁止校園啟用人臉識別和其他生物識別技術(shù)。美國的一些州和地方也已經(jīng)通過法案,或正考慮制定法律,禁止政府使用面部識別技術(shù),一些法案也適用于公立學校。
美國民間社會組織“為未來而戰(zhàn)”(Fight for the Future)及“敏感藥物政策學生組織”(Students for Sensible Drug Policy )發(fā)起了一場運動,禁止在大學校園使用面部識別技術(shù)。這場運動成功迫使加州大學洛杉磯分校撤銷了在校園內(nèi)使用人臉識別的計劃,并獲得了教師工會的支持。這些組織正將這項運動擴向更多的K-12學校。
2019年,紐約州成為第一個通過立法明確禁止學區(qū)采購生物識別監(jiān)控技術(shù)的州,并要求州教育專員對學校使用生物識別監(jiān)控技術(shù)開展研究,并在全州范圍內(nèi)發(fā)布建議。這項立法始于紐約洛克波特市(Lockport,位于紐約州西部)的一場社區(qū)行動。

2018年,美國得州圣菲市,一名女子在槍擊事件后哭泣。圖片來源;新華社
洛克波特:一場社區(qū)行動
2014年,紐約州通過了《智慧校園債券法案》(Smart Schools Bond Act,SSBA),為學區(qū)撥出20億美元,用于“改善整個紐約州學生的學習和機會”。SSBA法案中的一個條款很容易被忽略,它允許學區(qū)將資金用于“高科技安全”項目,卻并未提供任何使用規(guī)范。
SSBA要求學區(qū)向智慧校園審查委員會(Smart Schools Review Board)提交社區(qū)參與的提案和記錄,以供審查和批準。自2014年以來,許多學區(qū)通過SSBA獲得了資助,用以采購教學設備,如筆記本電腦、智能板和3D打印機,以及升級老化的互聯(lián)網(wǎng)和Wi-Fi系統(tǒng)。
申請程序要求,學區(qū)必須保證各個利益相關(guān)方的參與,特別強調(diào)需讓家長、學生、教師和社區(qū)了解項目。學區(qū)必須舉行公開聽證會,并在學區(qū)網(wǎng)站上張貼提案文件,時間至少30天。這些要求希望聽到來自社區(qū)的意見,促進公共資金的合理使用。
2016年,洛克波特市學區(qū)申請使用381萬美元的SSBA資金,用于“新攝像機和布線……以提供人臉識別及目標識別,進行實時監(jiān)控和視頻錄制”,以及增設“監(jiān)控服務器……用以增強數(shù)據(jù)的存儲和處理功能”。
洛克波特市學區(qū)表示,采購該系統(tǒng)是為了預防校園槍擊事件,并在暑假期間舉行了公眾意見征詢會——不出意料,(形式化的意見征詢)沒能收到任何來自社區(qū)的評論或質(zhì)疑。洛克波特聲稱,已與所有利益相關(guān)者接觸,其申請于2017年11月獲得了智能學校審查委員會批準。
對該項目的首次公開批評發(fā)生在2018年2月,洛克波特市學區(qū)的校董事會通過了兩項決議,允許學校使用“一種新的面部和形狀識別軟件”。本地報紙《洛克波特聯(lián)合報》(Lockport Union Sun & Journal)發(fā)表了一篇評論文章,作者是當?shù)鼐用馢im Shultz,他也是一位學生家長。Shultz質(zhì)疑啟用人臉識別技術(shù)的必要性,強調(diào)這筆資金有其他更好的用途,并警示學生和教師,應注意隱私風險。
Shultz發(fā)起請愿,要求學區(qū)暫停該項目,并重新舉辦一場公開聽證會,聽取社區(qū)的意見。 100多名當?shù)鼐用衤?lián)名,提出了各種問題,比如,如何保證利益相關(guān)者的“有效”參與,學區(qū)與推銷技術(shù)的供應商之間的利益沖突,以及系統(tǒng)的有效性等。
請愿書遞交后,《洛克波特雜志》(Lockport Journal )編輯委員會呼吁學區(qū)推遲安裝系統(tǒng)的決定,但抗議未果。隨后,Shultz呼吁居民投票,否決校方的預算,但仍未成功?!堵蹇瞬ㄌ厝請蟆防^續(xù)刊登文章,討論人臉識別技術(shù)的危險性,質(zhì)疑技術(shù)的準確性,尤其是系統(tǒng)識別有色人種的偏誤。Shultz仍在撰寫專欄,并通過Facebook小組獲得了社區(qū)支持。他還向另一個組織紐約公民自由聯(lián)盟(New York Civil Liberties Union)求助,后者根據(jù)紐約州信息自由法案向州教育部發(fā)出請求。
這些行動引起了Monica Wallace的注意,她是紐約第143選區(qū)的民主黨議員。該選區(qū)與洛克波特接壤,下轄迪普鎮(zhèn)(Depew)。鎮(zhèn)上的迪普聯(lián)合自由學區(qū)(Depew Union Free School District)也有意啟用同樣的系統(tǒng)。
Wallace聯(lián)系了洛克波特市的行動者,試圖弄清他們在擔憂什么。作為一名律師和家長,她理解安全與隱私之間可能存在的沖突,也擔心這項技術(shù)的應用可能弊大于利。
2019年3月,Wallance在紐約州議會上提出了一項法案(A6787),試圖叫停紐約州內(nèi)所有公立學校,暫時停止采購或啟用任何“生物識別技術(shù)”——除人臉識別,還包括指紋、手印、虹膜、視網(wǎng)膜,或DNA測序、聲音、步態(tài)或面部幾何學等識別技術(shù)。Wallance就法案草案征求了社區(qū)意見,確保它回應了人們的擔憂。
該法案還要求紐約州教育部(NYSED)就以下問題展開專門研究:敏感生物特征信息對隱私的影響;某些少數(shù)群體的識別偏誤及風險;收集到的信息有無可能與外部的個人或機構(gòu)共享,包括執(zhí)法部門;系統(tǒng)存儲信息的時間(編者注:即是否需要定期刪除或銷毀數(shù)據(jù));未經(jīng)授權(quán)的挪用風險;維護成本;對供應商的審查;以及該如何向公眾公開這項技術(shù)。
該法案要求,紐約州教育部需與州內(nèi)的多個利益相關(guān)方溝通,教育專員需要舉行公開聽證會,征求各方意見,包括教師、學校管理者、家長,以及學校安全專家、數(shù)據(jù)隱私專家、公民權(quán)利和公民自由團體等。
2019年4月,該法案以128票對19票的結(jié)果在參議院通過。但它沒能進入2019年的立法程序,2020年行動仍在繼續(xù)。
《洛克波特雜志》的記者Connor Hoffman參加了洛克波特學區(qū)每一次的學校董事會會議,并多次申請相關(guān)信息和數(shù)據(jù)公開,比如,一份未公開信息顯示了技術(shù)的準確率問題,黑人女性被系統(tǒng)誤識別的可能性是白人男性的16倍。
持續(xù)不斷的報道引發(fā)了全國性媒體的關(guān)注,比如《紐約時報》,以及一部MTV新聞紀錄片。
如果沒有社區(qū)居民的持續(xù)行動,沒有本地新聞和全國性新聞機構(gòu)的持續(xù)關(guān)注,一個學校采用人臉識別技術(shù)、教育部門未能進行有效監(jiān)管等問題都會被忽視。
然而,爭議聲中,洛克波特還是于2020年1月2日悄然啟用了人臉識別系統(tǒng),家長和學生未得到事先通知,也沒有機會表達反對意見。該區(qū)為何不顧反對匆忙上線該系統(tǒng),目前仍不清楚。
盡管遭遇挫折,但社區(qū)行動仍有所收獲。
2020年,立法會因新冠疫情而中斷,但兩院都對該法案進行了修訂,將“暫停令”延長至2022年7月,或直到教育專員在調(diào)查論證后對某些機構(gòu)進行明確授權(quán)(以兩者中較晚的時間為準),在此之前,禁止任何公立學校使用生物特征識別技術(shù)。
該法案得到了全州乃至全美的廣泛支持,包括美國教師聯(lián)合會(United Federation of Teachers)、美國教師聯(lián)盟(American Federation of Teachers)紐約市分會等。7月20日那一周,該法案在議會和參議院獲得通過,正等待州長簽署成為正式法律。
2020年2月,紐約公民自由聯(lián)盟在洛克波特市學區(qū)主持了一場會議,近50名家長和社區(qū)居民出席了會議。對許多人而言,這是兩年多以來,他們第一次和校方坐在同一個房間里面對面討論。
社區(qū)行動的價值
洛克波特的社區(qū)行動表明,持續(xù)的公眾監(jiān)督可以彌足官僚主義的失效,帶來必要的改革。
最初,校方采購并使用人臉識別系統(tǒng),通過常規(guī)形式獲得正當性(編者注:如“走過場式”的公眾意見征詢會),但它存在明顯缺陷。雖然校方對校園安全的考慮是合理的,但需要對技術(shù)的具體使用方式進行監(jiān)督。
家長們把話題從抽象地爭論“生物識別監(jiān)控系統(tǒng)是否有必要”,轉(zhuǎn)移到更具體的問題,它會對學生造成哪些具體傷害。
今年,在洛克波特的學校董事會換屆選舉中,許多家長受到了鼓舞,參與競選董事會的多個空缺席位。今年的選民投票率是該地區(qū)近五年平均投票率的四倍。
眼下,洛克波特和紐約州的爭論和行動仍在繼續(xù),但這場社區(qū)行動讓人們看到了那些受到負面影響的群體?對其賦權(quán),帶來真正的變革,這很重要。
(作者Stefanie Coyle來自“紐約公民自由聯(lián)盟”, Rashida Richardson為紐約大學AI Now研究中心研究員。本系列經(jīng)紐約大學AI Now研究中心授權(quán)翻譯發(fā)布,更多內(nèi)容可閱讀官網(wǎng)的報告全文。)

制圖:白浪





- 報料熱線: 021-962866
- 報料郵箱: news@thepaper.cn
互聯(lián)網(wǎng)新聞信息服務許可證:31120170006
增值電信業(yè)務經(jīng)營許可證:滬B2-2017116
? 2014-2025 上海東方報業(yè)有限公司




