隨著業務數字化變革的加速，銀行業面臨的內外部信息安全挑戰愈發嚴峻，其中內部挑戰主要源于銀行內控和各項管理要求的日益嚴格，尤其是近年來相關部門對于個人信息安全保護要求的不斷升級。相對而言，銀行對于內部人員違規行為的防范意識較為薄弱，對于拍照和抄寫內部信息等違規行為缺少有效的技術管理手段。雖然一些監控審計類的產品可用于智能監測員工行為，但欠缺對系統內部數據的審計能力，以及對于員工行為與系統操作的關聯分析，導致無法形成完整的證據鏈。因此，如何同步采集人員行為和終端的操作行為，并將這兩種行為進行有效結合以快速阻斷違規行為信息，是業界亟待解決的問題。

近期，上海浦東發展銀行信用卡中心(以下簡稱“浦發卡中心”)采用人工智能和計算機視覺技術研發了智能動作行為識別審計系統，實現了監控和分析人員行為以及終端敏感操作的聯合審計。這一系統整合了多模態數據檢索技術，能夠捕獲員工在工作過程中的異常行為，對員工可能訪問或處理的敏感數據也同步進行內容識別監測。該系統適用于根據監管要求和行內制度需要對PC終端行為和辦公人員動作行為進行整體監控的高安全級別工作場景，如容易造成企業信息或其他重要信息泄露的業務環境。尤其在《中華人民共和國個人信息保護法》頒布后，相關部門對于數據使用環節的要求更加嚴格，銀行在數據操作和系統維護等關鍵領域的安全要求更高。

智能動作行為識別審計系統采用SpringBoot、Kafka、Redis等主流技術，以確保高性能和高并發處理。其中SpringBoot應用于Web后端搭建，為用戶提供Java后端基礎功能的接口服務，提高程序的開發效率;Kafka作為消息中間件，負責日志、告警等消息的轉發，通過消息隊列、消息確認機制，保障高并發場景下海量日志、告警消息的高速轉發及數據的完整性;Redis作為緩存數據庫，主要負責對平臺用戶登錄信息、告警、圖片等數據進行緩存，通過Redis的內存緩存機制，可提高告警、圖片等數據在接口調用時的讀寫速度，縮短單個接口的調用時長，提升高并發的性能。智能動作行為識別審計系統技術架構如圖1所示。

圖1 智能動作行為識別審計系統技術架構

智能動作行為識別審計系統應用平臺由客戶端和后端服務組成，其中客戶端安裝在前端的終端側，根據后臺配置策略操控終端上安裝的攝像頭硬件;后端服務由管理服務器、AI服務器和流媒體服務器組成。客戶端負責人員行為視頻數據、終端錄屏數據以及文本日志數據的采集與發送;后端服務中的流媒體服務器負責客戶端多種數據的接收，AI服務器針對視頻數據進行智能識別，管理服務器對策略配置、監控數據、智能識別數據進行檢索與查看。智能動作行為識別審計系統應用架構如圖2所示。

圖2 智能動作行為識別審計系統應用架構

智能動作行為識別審計系統主要采集終端的桌面視頻、攝像頭視頻、終端行為文本日志(鼠標點擊、鍵盤、應用進程等，根據錄屏策略控制采集范圍)。以終端為Intel Xeon Gold 5218處理器、主頻率為2.30GHz，內存為32G，操作系統為Windows Server 2016為例，在對終端性能進行平衡考量時，在滿足動作識別要求的前提下，調整錄屏畫質為“低”，錄像攝像頭分辨率為640×480ppi，幀率為15fps，此時CPU占用約14%，內存占用約1%。在對數據傳輸進行考量時，將終端錄像分辨率調整為480ppi、錄屏分辨率調整為1080ppi，行為日志傳輸速率按照1條/秒，網絡帶寬總計需要約2Mbps。

智能動作行為識別審計系統應用組成模塊包括智能行為檢測模塊、智能終端違規識別模塊、智能聯合檢測模塊、數據處理模塊、智能告警與取證模塊等五個模塊，每個模塊具有不同的功能并相互關聯、協同處置。

(1)智能行為檢測模塊

智能行為檢測模塊主要用于快速、準確識別錄像、影像中辦公人員的異常行為，如拍照、伏案抄寫、人員離崗等。

智能動作行為識別審計系統采用計算耗時短、識別精度高以及便于平臺部署的YOLO5算法。在訓練數據集方面，采用“公開數據+自有采集數據”相結合的方式，公開數據使用COCO、Object 365等被行業認可的數據集的公開數據，保障了訓練樣本的有效性；自有采集數據結合實際的辦公場景及模擬的違規行為場景，以保障數據的適用性。在模型訓練方面，選取YOLO5n-v6的模型結構，采用“預訓練+微調”的方式，通過公開數據進行模型預訓練，將自有采集數據在預訓練的基礎上進行微調，在微調過程中不凍結任何學習層。基于YOLO5算法，系統構建了拍照行為、伏案抄寫、人員離崗三個異常行為識別模型并進行多輪模型調優，經實際應用檢測，三個模型的識別準確率均在95%以上。

(2)智能終端違規識別模塊

智能終端違規識別模塊主要記錄并識別人員在桌面終端的異常行為，基于OCR技術將人員桌面終端的錄屏記錄轉化為文本內容進行存儲，同時記錄人員的鍵盤、鼠標等操作行為日志。將錄屏數據以及操作日志數據相結合，利用自然語言處理、機器學習、深度學習技術，并結合浦發卡中心實際應用需求，覆蓋敏感數據訪問高危操作及異常操作兩類行為場景。在敏感數據訪問方面，采用命名實體識別(NER)技術和正則匹配法識別文本中的敏感數據及敏感數據類型;在異常操作行為方面，采用核密度估計算法(KDE)識別操作事件日志反映的異常操作行為和高危操作行為。終端違規識別邏輯如圖3所示。

圖3 終端違規識別邏輯

(3)智能聯合檢測模塊

智能聯合檢測模塊基于智能行為檢測模塊與智能終端違規識別模塊的識別過程及結果數據進行聯動識別檢測，主要解決智能終端違規識別模塊無法準確認定違規事件等問題。智能聯合檢測模型基于桌面終端以及員工行為數據，采用時間序列預測模型，對員工異常違規行為進行識別與判定，主要識別的敏感數據泄露核心場景包括“敏感數據訪問+高保密網站、高保密文檔”“拍照、伏案抄寫+離開未鎖屏”等。經實際驗證測試，智能聯合檢測模塊識別的綜合準確率達95%以上。此外，智能聯合檢測模塊建立了系統協同機制與功能擴展機制，未來可以快速地納入新的監測項目和監測場景，有助于銀行對合規要求的即時響應。

(4)AI數據處理模塊

AI數據處理模塊的數據處理速率可達到每秒800張圖片，能夠同時支持160臺終端進行數據采集、分析，即每個終端每秒可采集、分析5張圖像的數據，且不會產生數據堆積的風險，從而增強了智能動作行為識別審計系統整體的處理速度和準確率。

(5)智能告警與取證模塊

智能告警與取證模塊主要用于實現違規事件阻斷、告警信息觸達以及證據鏈留存與取證。該模塊通過彈屏等方式對操作人員進行告警并阻斷其違規行為，基于違規告警事件歸集、整理相關證據鏈并進行留存，且支持后續一鍵調閱。智能告警與取證模塊下的告警信息觸達功能模塊將在違規事件被識別后的第一時間將相關信息發送給相關負責人，便于其對違規事件進行及時處理。

智能動作行為識別審計系統可迅速識別潛在的敏感數據訪問或信息泄露行為，增強了銀行在人員違規行為方面的防護能力。一旦系統檢測到異常行為，會立即發出告警并采取必要措施，以屏幕錄像和人員錄像的形式記錄和定位違規操作，以便銀行進行后續的調查和取證。

智能動作行為識別審計系統為浦發卡中心提供了便捷的人員監控工具，并可根據監測需要對系統進行功能拓展，以適應不斷變化的監管環境，使浦發卡中心能夠快速響應合規要求，提升信息安全審計工作的智能化和便捷性，減少傳統管理模式中人工執行的工作量。

智能動作行為識別審計系統將YOLO5算法等成熟的先進技術應用在內控管理領域，不僅降低了數據泄露的風險，而且有效提升了銀行的信息安全防護水平和內部威脅防范能力。