劉勁 段磊 鄢然/文

最近幾年，AI大模型的發展具有革命性，帶來了在眾多方面達到甚至超過人類智能水平的能力。其中，諸如ChatGPT或DeepSeek等大模型更是迅速積累了眾多個人用戶。

但最近美國麻省理工的一項研究發現，在企業管理和運營層面，真正能成功利用AI的企業少之又少，超過95%的企業在AI的試點運用中失敗了。在與中國企業的溝通中，我們發現情況也非常類似。

為什么企業運用AI大模型這么難？因為企業一方面要利用大模型帶來的能力和效率，另一方面要控制它的應用成本以及給企業帶來的風險。本文忽略成本問題，而專注于大模型的風險，因為這是主要矛盾。

AI風險的微觀面

AI的風險包含宏觀風險和微觀風險。前者涉及技術安全、社會倫理到人類未來生存等諸多維度，比如算法偏見帶來的社會不平等加劇，AGI將來取代人類工作造成的大范圍失業問題，甚至科幻電影熱衷描繪的超級智能AI“覺醒”后失控，視人類為威脅，引發末日浩劫。這種宏觀風險需要社會和國家通過制度和監管來解決，我們暫不討論。

本文主要聚焦微觀風險，即企業在部署和應用大模型過程中面臨的具體、迫切的問題：是否會帶來業務效果不佳、客戶體驗惡化、品牌聲譽受損、數據安全威脅、知識產權侵蝕、法律合規出問題等風險。這種微觀風險可以概括為四個方面。

首先是大模型的幻覺問題，即大模型生成看似邏輯通順，實則錯誤、虛構或不符合指令要求的內容。在訓練數據覆蓋不足、輸入信息模糊或需要最新知識等情境下，大模型尤其容易產生幻覺。但這些情境只是誘因，更根本的原因在于其核心工作機制的固有特性。

大模型本質上是統計模型而非知識庫，其核心機制是基于統計的模式匹配——一個復雜的“自動補全”過程。例如，當用戶輸入“下班回家路上，我去超市買了一瓶”時，模型會基于統計規律輸出“水”或“飲料”，因為這在數據中遠比“書”更常見。這種設計決定了它只追求統計意義上的“合理”，而無法自主追求或驗證內容的真實性。

正因為幻覺是大模型核心機制的直接產物，所以在現階段的技術范式下，無論如何嘗試改變模型的結構、優化輸入數據或調整提示詞，幻覺問題都無法被根除。因此，幻覺對于企業運營中精度要求高的場景是個巨大挑戰，也是大模型在企業級應用中最關鍵的風險之一。

其次是輸出安全與價值對齊的挑戰。大模型的海量預訓練數據主要來自互聯網，模型在學習海量知識的同時，也吸收了數據中可能存在的偏見、歧視性言論或有害信息。在與客戶或公眾的交互中，模型可能會生成不當、冒犯性或與企業價值觀相悖的內容。這種“言論失當”會直接損害企業的品牌聲譽和公眾信任。

另一方面，大模型可能被惡意用戶誘導或利用，生成虛假信息、仇恨言論、違法內容或其他有害文本，使企業平臺成為不良內容的滋生土壤，并可能引發監管問題。

三是隱私與數據合規的風險。當員工使用公開的第三方大模型服務時，輸入的任何信息，例如會議紀要、財務數據、技術代碼或公司戰略，都可能在用戶協議的默認條款下被服務商收集、存儲并用于其模型的后續訓練。這相當于將企業的內部敏感數據拱手相讓。

更進一步，大模型在訓練過程中有可能會“記住”訓練數據中的具體信息片段。在后續的交互中，模型可能在無意或被惡意提示詞引導的情況下，復現其“記住”的敏感信息（如個人身份信息、醫療記錄等），造成企業或客戶的隱私泄露。

最后是可解釋性的挑戰。大模型的決策過程很大程度上是一個“黑箱”，它無法提供一個人類可以理解的清晰歸因和解釋。其根源在于大模型的極端復雜性，輸入的信息首先被編碼為計算機能夠處理的高維向量，這些向量在萬億級參數構成的深層神經網絡中，經過大量的矩陣運算和非線性變換得到輸出，很難從中倒推出一條清晰、可供人類理解的決策路徑來回答“為什么是這個結果”。

這在高風險、高合規的領域構成了嚴峻挑戰。在金融風控、醫療診斷等需要嚴格審計和問責的場景中，一個無法解釋其背后邏輯的決策，無論結果多么精準，都可能因其合規性與可靠性存疑而成為一顆“定時炸彈”，無法被真正信任和部署。

應對風險的兩個方向

針對這些風險，企業可以通過兩個方向做出努力：一是大模型的開發者從技術源頭提高模型本身的性能，減少幻覺、做好價值對齊，保護隱私，提高可解釋性。二是大模型的使用企業開展應用層治理，通過提示詞工程、檢索增強生成（RAG）、內容過濾器、可解釋性AI（XAI）等工具和方法，以及嚴格的管理手段和流程，主動將風險控制在可接受范圍內。

目前，市場上的大模型都在快速迭代中。針對幻覺問題，模型推理能力的持續提升、通過強化學習訓練模型在面對不確定性時主動承認其知識邊界等做法，都有助于緩解這一問題。

OpenAI新發布的GPT-5的深度推理模型相比前代o3，幻覺率已大幅降低65%。

針對輸出安全問題，更精細的指令微調（InstructionTuning）和人類反饋強化學習（RLHF）等對齊技術，可以更好地引導模型遵循人類設定的規范與價值觀，減少有害內容的生成。

針對模型數據潛在的隱私泄露問題，開發者正結合差分隱私（DifferentialPrivacy）技術，在訓練數據中加入“噪聲”以保護個體信息。

在可解釋性領域，以DeepSeekR1為代表的引導模型以思維鏈展示其推理過程的做法，是提升決策透明度的重要進展。Anthropic等公司研究的“機制可解釋性”等方法，正在嘗試從底層“看透”AI的內部工作機理，理解其決策的根本原理。

需要注意的是，受限于大模型的底層技術原理——基于概率預測的統計特性、深度神經網絡的黑箱本質，以及海量非結構化數據訓練的復雜性——這些風險可能始終無法被徹底根除，需要大模型應用企業長期關注，在部署和應用時進行優化工作，進一步降低其風險。

在大模型應用的企業層面，企業的整體思路可以是將大模型或由其驅動的AI智能體（AIAgent），想象成一位新入職的數字化員工。這位特殊的AI員工可能像一個急于表現的實習生，在知識盲區時一本正經地編造信息（幻覺問題）；像一個缺乏經驗的新人，不經意說出冒犯性或不合規言論（輸出安全性問題）；像一個保密意識薄弱的助理，無意泄露公司機密（隱私合規問題）；甚至像一個有很好的商業直覺的高管，卻讓人無法理解其決策邏輯（可解釋性問題）。AI能犯的錯誤，人類都有前科。企業可以把管理員工的豐富經驗遷移到管理AI上來。

對于防范幻覺（虛假信息）問題，企業是如何減少員工犯此類錯誤的？無非是一方面選對人，聘任有真才實學、穩重謹慎的員工；另一方面通過組織和流程減小或中和個人犯錯的概率。

對于AI，我們可以選擇基礎能力更強的大模型。這一點很容易做到，大模型公司很多，但做得最好的就幾家。此外，像要求員工“用數據說話”一樣，我們可以為AI提供參考資料，并要求它引用來源。例如，使用檢索增強生成（RAG）技術，讓AI基于企業內部知識庫生成回答；通過提示詞工程（即精心設計指令），設定明確的任務邊界、工作范圍和行為準則；同時，借鑒“開評審會”的思路，進行交叉驗證：讓多個模型處理同一問題，用集體智慧識別和修正個體錯誤。

對于輸出安全（不當言論）風險，企業會對員工發放員工手冊，進行大量崗位培訓和企業文化教育，并且嚴格審核對外發布的內容。對于AI員工，企業也可以定制一份數字員工手冊：為模型設置系統提示詞，定義其角色和行為紅線，進行崗前培訓；通過專門設計的安全問答數據集進行微調來做持續的企業文化熏陶；在內容把關上，在輸入和輸出端部署過濾器，實時攔截不當內容，確保對外發布前嚴格檢查。

對于隱私合規、數據泄露風險，企業會要求關鍵員工簽署嚴格的保密協議（NDA），制定分層的數據訪問權限，以“最小權限原則”等來降低數據泄露的風險。對于AI可以用類似的邏輯來操作：選擇云服務商時，簽署數據處理協議（DPA），確保輸入數據不用于模型再訓練；遵循最小權限，非必要不提供敏感信息，必要時先脫敏處理（如替換姓名、金額）；在數據敏感行業（如金融、軍工），還可采用私有化部署（自有服務器）或可信執行環境（TEE）技術，后者像在云端租用加密“保險箱”，防止任何人窺探數據處理過程，兼顧安全與靈活性。

對于可解釋性風險，有些經驗豐富的員工基于優秀的業務直覺做出判斷，但要說服領導、同事支持該決策，還需要補全背后的思考，拆解清楚其中的邏輯。

對于AI員工，可以要求模型在給出最終答案前，先輸出一步步的推理過程，即“思維鏈”，這有助于理解模型的決策邏輯。這就好比讓諸葛亮把草船借箭的整個推演過程——從觀察天氣到揣摩人心——邊想邊寫下來以便我們理解。

此外，借助注意力可視化技術，能通過熱力圖中顏色的深淺，直觀看出LLM（大語言模型）在生成回應時對各輸入詞匯的關注程度，也有助于直觀理解決策依據。這就好比通過熱力圖，我們能看出諸葛亮定下空城計，其判斷依據正是高度集中于“司馬懿生性多疑”與“我方無兵”這兩條關鍵情報。

除了這些直觀的解釋方法外，企業還需要在管理上對AI員工有限授權、控制風險。在創意、文案初稿等主觀性強、風險低的領域，允許大模型相對自由發揮；但在金融風控、醫療診斷等事關企業命脈的高風險領域，它的“錦囊妙計”只能作為人類專家的參考。

需要注意的是，我們必須清醒地認識到上述解釋方法的局限性。例如，思維鏈本身也是模型生成的文本，是模型對人類推理過程的一種事后模擬或合理化的表達，并不能完全客觀地反映模型內在的真實推理邏輯。同樣，注意力可視化等技術也大多屬于局部解釋，只能讓我們管中窺豹，真正深入、全面的大模型可解釋性，還有待研究人員進一步探索。

企業問責需明確

以上是通過類比管理人類員工來借鑒性地理解和啟發應對大模型的風險。但AI員工和人類員工仍然有一個重要區別：大模型無法“背鍋”，責任永遠在人。

如果模型出錯導致客戶損失或公司聲譽受損，企業不能簡單“開除”它來解決問題，大模型目前還無法成為責任主體。責任只能追溯到人類，如批準使用的業務負責人、部署維護的技術團隊，或制定規則的管理層。因此，企業在引入大模型時，需設計清晰的問責框架，將部署、使用和效果等納入具體員工或團隊的KPI。

AI大模型的發明給企業帶來了前所未有的機會和風險。AI在很多方面趕上了甚至超過了人類，但也在其他方面給企業帶來了比人類更大的風險。

在現在這種狀態下，AI和人類各有優缺點。所以，企業管理的最優解是讓人和AI協同作戰，通過組織、流程發揮各自的長處，屏蔽各自的短處。

這是一個變化飛快的動態過程，隨著AI的進步，企業的組織和流程也需要隨之調整。企業需要加快步伐，跟上變化的節奏才不會被淘汰。

（劉勁系大灣區人工智能應用研究院理事、特聘專家，長江商學院會計與金融學教授，段磊系大灣區人工智能應用研究院研究總監，鄢然系大灣區人工智能應用研究院助理研究員。上海交通大學副教授張拳石和上海交通大學博士研究生樓思余，對本文大模型風險的技術理解亦有貢獻）