轉載自《鋅財經》，作者 楊潔
昏暗的房間里，一個個年輕人面色凝重的對著電腦，他們一遍遍的看著網站上的內容、文字、圖片等，每八秒就要對問題帖子做出“生殺決斷”。
電腦屏幕里，不時出現血腥自殘、性虐待、恐怖暴亂等內容，這是紀錄片《The Cleaners》中出現的一幕。
在這部記錄片里，“數字清潔者”——鑒黃師的真實生活被推到了眾人的面前。
揭秘“鑒黃師”職業的紀錄片
鑒黃師，一份“最幸福”也“最痛苦”的工作，他們手握互聯網各類內容的“生殺大權”，藏匿在數字浪潮的海底，與網絡中的惡意內容為伴。
這些惡意內容包含文字、圖片、聲音、視頻等各種形式，“鑒黃”只是其中極小的一部分，除此之外，還有諸如血腥、暴力、變態等挑戰道德底線的內容。
隨著互聯網平臺各類直播、短視頻、圖文信息的增多，網絡安全治理問題亟待解決。如何快速鑒定出劣質信息并進行處理，成了擺在各大平臺面前的一道考題。
網絡惡意，“鑒黃”出擊
“為什么給我推薦的，全是霸道總裁文？”在公開的社交網站上，不時能看到這樣的用戶反潰
然而這樣的套路并不稀奇，在微博的信息流，以及部分網站的跳轉鏈接中，經常夾雜著“霸道總裁文”或者“情感漫畫”等低俗網文，利用爽文的套路，誘導大眾付費閱讀。
如此利用“色情+社交”來進行流量的轉化，有著成熟的信息生產鏈條。據公開報道，此類色情信息從業者月入甚至能高達數萬。
多年以來，無論政府，還是企業，對互聯網中涉及淫穢、暴力、血腥等劣質內容的整頓從未停歇，但內容亂象卻依然屢打不止。
于是，“內容鑒定員”這一工種應運而生。以Facebook為例，單在2018年就設有15,000名鑒定員來負責篩選和刪除攻擊性內容，并于18年底再增加了5,000人。
至于國內的企業，早在2014年，百度、騰訊等10多家互聯網公司組成的“安全聯盟”就曾對外宣布，公開招聘“首席鑒定官”，大幅增加人工鑒定的規模。
縱觀看來，“內容鑒定員”的出現能及時卻短暫地填補了劣質信息鑒定和查漏的需求空缺。在日趨復雜的網絡環境中，面對億級的信息量，且隱蔽性不斷升級的不良信息，人工作業精準度有限等弊端日漸凸顯。此外，企業在內容鑒定方面的成本、效果、技術上，遇到的挑戰維度也在不斷升級。
此時，AI技術的出現，為內容鑒定帶來了新的動能。
AI助力，“鑒黃”升級
AI鑒黃的邏輯看起來并不復雜：AI通過深度學習技術，再經過大規模的樣本訓練，便能基本形成監測識別夾雜的不規范信息的能力。但實際上，內容鑒定對算法精度、樣本量都有很高要求，需要大量的技術投入和持續的機器學習，在內容鑒定的專業度上也有較高門檻。
在市場的需求和技術的驅力下，利用AI來進行內容鑒定服務的產業鏈正逐漸成型。作為國內互聯網的領軍企業，騰訊也看到了趨勢，并推出其自研的智能鑒黃產品——騰訊云。
“很多企業會以AI能力為基礎，做相關產品的開發，首先它可以改變過去更多依靠人工鑒定的工作模式，對企業來說，也意味更少的成本，更高的效率去發現和處理劣質信息。”騰訊云產品團隊告訴鋅財經。
AI可以輔助內容鑒定
2017年，騰訊提出“AI in all”戰略，即讓AI無處不在。在消費互聯網領域，騰訊AI已在內容、社交、游戲等過百種產品中落地。同時，在產業互聯網領域，騰訊AI也已落地醫療、零售、金融、安防、教育、工業、出行等多個產業。
由于有著多領域、長時間的AI技術沉淀，騰訊自17年起，便開始嘗試利用自身強大的AI技術打造騰訊云產品，來解決鑒黃等內容安全問題。
據云團隊介紹，產品在19年年初已經趨向成熟。云憑借先進的深度學習模型算法，沉淀了騰訊多年的內容安全對抗經驗，現已具備全場景AI識別能力，可以瞬間解析音視圖文等各類媒介內容，識別其中的色情、低俗、謾罵、垃圾廣告等不良信息，全面保障產品內容的安全。
在內容安全的鑒黃領域，云獨創了許多新的技術。同時還能克服唱歌、哭泣聲甚至正常ASMR的干擾。圖片鑒黃能夠區分性感和色情的分界，并從多個維度進行判斷以及給出相應標簽，對于大尺度圖片還能夠判斷是否來自藝術名畫、動漫亦或是惡搞。即使面對正常圖像和文字結合的拼圖招嫖圖片，云也有一套成熟的算法和流程機制能夠快速判斷，同時也會結合OCR技術，識別圖文中的黑灰產行業黑話。
騰訊云產品
目前，云的AI技術已在多種業務場景中得以廣泛應用。云也通過騰訊安全天御和微信開放平臺面向客戶全面開放，致力于為游戲、社交、直播、短視頻等行業提供一站式內容安全解決方案。客戶可以通過騰訊安全天御，小程序開發者通過微信開放平臺，進行簡單的部署對接即可使用從而幫助企業升級自身防范規避內容風險，提高產品內容安全性。
隨著云內容安全產品的普及應用，能極大地提升企業整體內容鑒定的效率，可以做到24小時不限量識別，從而幫助企業大幅優化人力資源成本；同時能以極高的精確率和召回率，為客戶平臺產品全面提升健康度。目前已經有超過5萬的客戶接入云使用。
黑色福利，云進擊
“劣質信息的內容，最終是以文字，圖片、音頻、視頻的等各種形態做傳播，在內容上也有很多的變種，這些內容背后是一些跨平臺的黑色產業鏈在支撐。”云團隊說。
在不斷的實戰中，騰訊云已經建立起了一套應對劣質信息明確的鑒定體系和應急響應機制。并通過采用深度學習技術的智能識別技術，可以對文字、圖片、語音，直播視頻內容中的敏感成分實現精準覆蓋。
如對于二次元色情產業鏈“福利姬”的打擊，騰訊云便助力警方立下了赫赫戰功。
二次元色情產業鏈“福利姬”
“福利姬”曾是網絡上一種非常普遍的現象，最先從一些直播UP主開始，直播引流，賣圖創收。在線上，“福利姬”常通過售賣軟色情圖包、音視頻、好友位費用和會員費來牟利；在線下，則主要通過援交。
此類信息的存在，對未成年人的身心健康造成了極為惡劣的影響。但由于“福利姬”灰產鏈上的人群龐大且分散，難以圈定，加之隱秘性高，方式復雜。例如，“福利姬”常會把帶色情暗示的照片附著在一組正常的COS圖后面，再加上社交ID水印，就能逃過基礎的內容安全鑒定。這為平臺方的監管帶來了巨大的難度。
此時，騰訊云的出現，其毫秒級的識別能力及鑒定體系，便能適用于應對解決“福利姬”傳播中的關鍵環節和難點。其結合用戶端舉報和反饋的案例，經過系統和人工數重核實，最終聯動公安機關發力打擊，成功端掉其線下團伙以及背后的黑色產業鏈。
然而，隨著互聯網的高度普及，低齡網民群體日增，加之不良信息傳播手法層出不窮，網絡安全監管再升級刻不容緩。云團隊也表示，通過持續的識別打擊，可以不斷增強云的能力，從而加速產品迭代。
看到這里，用戶難免會產生一個新的疑問：既然AI鑒黃效率這么高，那會砸了人工鑒定員的飯碗嗎？
在采訪中，騰訊云團隊多次提到“配合”二字，來表達自己對AI和人工的態度。在他們看來，雖然在成本、時間、準確度等各個維度進上，AI有著人工不可比擬的優勢。但這并不代表能否認鑒黃師存在的必要性，對于某些特殊場景的判定，仍需要人工復核來彌補當前AI技術的短板。另一方面，現今的鑒黃師也跟隨著時代潮流，加入了人工智能團隊，協助AI進行陌生數據的標注，幫助機器學習，優化AI的性能 。
在2017年頒發的《網絡安全法》中，將借助網絡傳播、擴散淫穢色情等違法信息歸屬為嚴重危害國家安全和社會公共利益的違法行為，其要求企業需采用技術手段控制。可以說，劣質內容已經破壞了互聯網正常的環境，遏制惡劣內容已經成為產品應用的重要生命線。
隨著5G時代的到來，監管標準、違規內容也在發生著變化，對內容安全提出了新的要求，在激烈的市場角逐下，各個平臺也在更新迭代，借助AI內容鑒定實力，守住內容安全這條紅線。
