大數(shù)據(jù)文摘出品

作者：Caleb

說(shuō)到作弊，可謂是道高一尺魔高一丈的典型了。

2017 年一部《天才槍手》就把作弊這一看似十分 " 普遍 " 的學(xué)生行為拍出了新花樣，甚至有網(wǎng)友表示，"作弊才是學(xué)生時(shí)代的主題"。

此前受到疫情等諸多因素影響，全球范圍內(nèi)的線上考試也被迫提上日程，而緊隨其后的便是各種防作弊措施。

但是過(guò)了這么久了，這些反作弊軟件真的發(fā)揮了它們應(yīng)有的作用嗎？

最近一項(xiàng)調(diào)查發(fā)現(xiàn)，被世界各地學(xué)校使用的反作弊軟件 Proctorio 并不能有效檢測(cè)出環(huán)境中的作弊者，盡管它們聲稱對(duì)此有著十分高的把握。

研究論文：

https://ris.utwente.nl/ws/portalfiles/portal/275927505/3e2a9e5b2fad237a3d35f36fa2c5f44552f2.pdf

荷蘭特文特大學(xué)的研究人員做了一個(gè)十分形象的比喻，他說(shuō)該軟件就像是在服用安慰劑：它有一些積極影響，不是因?yàn)樗行В且驗(yàn)槿藗兿嘈潘行В蛘咚赡苡行А?/p>

Proctorio 到底有多不靠譜？

在此之前，我們還是有必要了解一下 Proctorio。

作為一個(gè) AI 系統(tǒng)，必須承認(rèn)的一點(diǎn)是 Proctorio 解放了監(jiān)考人員的人力資源，相反它主要使用軟件來(lái)監(jiān)控學(xué)生，檢測(cè)和報(bào)告考試其阿金出現(xiàn)的任何可疑行為。

這就要求學(xué)生們?cè)谧约旱碾娔X上安裝一個(gè)瀏覽器擴(kuò)展程序或一個(gè)應(yīng)用程序，以更好地跟蹤學(xué)生的眼球運(yùn)動(dòng)與肢體語(yǔ)言。學(xué)生還必須上傳自己的學(xué)生照和身份證，以便系統(tǒng)更好地進(jìn)行面部識(shí)別。

另一方面，Proctorio 則主要通過(guò)記錄學(xué)生電腦的視頻和音頻片段，捕捉學(xué)生的按鍵，記錄電腦屏幕數(shù)據(jù)，在學(xué)生移動(dòng)頭部、眼睛或身體時(shí)進(jìn)行標(biāo)記，并對(duì)他們?cè)谶M(jìn)行考試時(shí)訪問(wèn)的網(wǎng)站進(jìn)行分類等來(lái)進(jìn)行監(jiān)考。

2021 年 4 月，這項(xiàng)研究首先在第 13 屆國(guó)際計(jì)算機(jī)輔助教育會(huì)議上提出，試圖證明該軟件是否有效。

為此研究人員從大學(xué)的計(jì)算機(jī)科學(xué)課程中找到了30名學(xué)生志愿者，并讓其中 6 人在 Proctorio 監(jiān)考的一次考試中作弊，另外有 5 人被告知不要作弊，但要表現(xiàn)得很可疑，其余人則誠(chéng)實(shí)地參加考試。

至于怎么作弊，研究人員把這項(xiàng)權(quán)利交還給了學(xué)生，讓他們自己來(lái)決定要以怎樣的形式進(jìn)行，以最好地欺騙系統(tǒng)。

從結(jié)果上看，Proctorio 并不擅長(zhǎng)發(fā)現(xiàn)作弊者，該系統(tǒng)沒(méi)有將任何作弊者標(biāo)記為作弊。

有人使用虛擬機(jī)，這是 Proctorio 系統(tǒng)的一個(gè)已知的漏洞。研究報(bào)告寫到，該軟件確實(shí)將這些學(xué)生標(biāo)記為 " 違規(guī) "，但也將其他誠(chéng)實(shí)的學(xué)生標(biāo)記為同樣的違規(guī)行為。與此同時(shí)，一些作弊者使用音頻通話，但 Proctorio 沒(méi)有將他們的音頻標(biāo)記為異常，但卻將學(xué)生在嘈雜環(huán)境中進(jìn)行測(cè)試的音頻標(biāo)記為異常。

一份獨(dú)立的人工審查數(shù)據(jù)和錄像只發(fā)現(xiàn)了六名作弊者中的一人，主要原因是由于攝像頭的角度和可選的 " 房間掃描 " 功能，他們無(wú)法知道學(xué)生胸部以下的東西具體是什么，以及學(xué)生們的行為。

Proctorio 的發(fā)言人 David Lux 介紹了另外三項(xiàng)關(guān)于 " 在線監(jiān)考的有效性 " 的研究，這些研究是 " 多學(xué)科的，并且有更強(qiáng)大的樣本量 "。作者承認(rèn)特文特大學(xué)的研究存在缺陷。然而，這三項(xiàng)研究都不是受控實(shí)驗(yàn)。相反，他們要么使用調(diào)查，要么使用回歸模型來(lái)估計(jì)作弊率和學(xué)生對(duì)在線監(jiān)考的態(tài)度。

這些研究不僅是不同的研究設(shè)計(jì)，而且針對(duì)的根本不同的問(wèn)題，畢竟它們都沒(méi)有試圖證明在線監(jiān)考軟件是否能有效地抓住作弊者。

清華推出 AI 鷹眼系統(tǒng)

除了 Proctorio 外，國(guó)內(nèi)的線上監(jiān)考技術(shù)也在穩(wěn)步跟進(jìn)中。

AI 鷹眼數(shù)位監(jiān)考系統(tǒng)的核心在于應(yīng)用人臉辯識(shí)及眼動(dòng)追蹤技術(shù)，讓一般家用電腦的視訊鏡頭或手機(jī)鏡頭，即具備掃描眼球視線軌跡的功能，并結(jié)合滑鼠軌跡、音訊等 AI 人工智能深度學(xué)習(xí)系統(tǒng)，精準(zhǔn)判斷考生是否舞弊。

對(duì)此，AI 鷹眼系統(tǒng)將作弊行為分為了 " 人臉偏移 "" 人臉離開(kāi) "" 視線離開(kāi) "" 開(kāi)啟分頁(yè) " 等 4 類異常現(xiàn)象，并統(tǒng)計(jì)異常次數(shù)，提醒考生和監(jiān)考者注意，監(jiān)考者也可要求考生開(kāi)啟通話功能，來(lái)確定現(xiàn)場(chǎng)狀況。

清華表示，AI 鷹眼系統(tǒng)將在今年小規(guī)模試行，搜集更多樣本和資料，持續(xù)精進(jìn)并提升系統(tǒng)的準(zhǔn)確率，目標(biāo)于明年正式使用。

線上監(jiān)考應(yīng)該怎么做？

其實(shí)在國(guó)內(nèi)，線上監(jiān)考這個(gè)事也已經(jīng)有過(guò)實(shí)踐了。

今年 5 月，北京市豐臺(tái)區(qū)初中學(xué)考 " 一模 " 考試就采用了線上線下相結(jié)合等多種方式進(jìn)行。

首先是對(duì)考試環(huán)境的要求。參與線上考試的同學(xué)們必須保證桌面清空，學(xué)生面前一部筆記本電腦，身后 45 度方向有一部手機(jī)，兩個(gè)設(shè)備的攝像頭從不同角度拍攝學(xué)生的作答狀態(tài)，保證監(jiān)考員視角完整清晰進(jìn)行全程監(jiān)控。

北京市趙登禹學(xué)校教務(wù)主任沈磊表示，除了每個(gè)考場(chǎng)配備了一名監(jiān)考員之外，學(xué)校教學(xué)干部、年級(jí)組長(zhǎng)、班主任都通過(guò)線上進(jìn)入考場(chǎng)進(jìn)行巡查，" 每一場(chǎng)次會(huì)有至少 5 遍到 6 遍巡查，查看學(xué)生的攝像頭角度方位是否規(guī)范，查看每一名學(xué)生的答題狀態(tài)是否認(rèn)真 "。

" 一模 " 考試首日結(jié)束后，學(xué)校還針對(duì)此次線上監(jiān)考提出了一些優(yōu)化方案。比如一屏無(wú)法完全顯示所有考生的實(shí)時(shí)狀態(tài)，需要翻頁(yè)。對(duì)此，豐臺(tái)二中提出了優(yōu)化：除了監(jiān)考員之外，班主任也進(jìn)入會(huì)場(chǎng)，兩臺(tái)設(shè)備同時(shí)監(jiān)考，就可以一目了然地看到所有同學(xué)的作答情況。

目前大部分的線上監(jiān)考系統(tǒng)都或多或少符合特文特大學(xué)研究的核心觀點(diǎn)，即軟件對(duì)一些過(guò)于明目張膽的作弊行為，比如學(xué)生在一起考試并實(shí)時(shí)討論，這類行為有著威懾作用。

但畢竟每場(chǎng)考試學(xué)校可能還會(huì)下血本在監(jiān)考系統(tǒng)上，還有危害學(xué)生隱私的風(fēng)險(xiǎn)，或者說(shuō)，是不是應(yīng)該讓一個(gè)監(jiān)考老師在所有人都開(kāi)著攝像頭的情況下來(lái)進(jìn)行考試，這似乎又增加了一些變量。

對(duì)此，你怎么看呢？歡迎在評(píng)論區(qū)留言討論 ~