天道與機心:可信自主系統的多元定位

黃鳴奮

[關鍵詞]可信性 自主性 系統性 自然觀 社會觀 自我觀 技術觀

“可信自主系統”的觀念起源於人類對自然現象、社會現象、心理現象的思考。人類祖先不僅認識到上述現象所涉及的各種因素的相互關聯（系統性），而且認識到它們的發展變化是不依自己的意志爲轉移的客觀過程（自主性），同時又認識到上述過程所包含的可作爲預測根據的規律（可信性）。在將上述三種特性結合起來思考“天道”①“天道”出自《周易· 謙》，指“天”（泛指自然界）的運動變化規律。的過程中，産生了對可信自主系統的最初想法。其後，可信自主系統逐漸轉化爲人類開發科技時所追求的某種目標，體現於有關自動機、機器人、智能助手等設計，以至對智能機器人形成自我意識（“機心”②“機心”出自《莊子· 天地》，原意是人的機巧功利之心。本文賦予它新的含義，即機器（人）的自我意識。）的想象。可信自主系統不僅在傳統文化中有年深日久的歷史淵源，在當代技術中有與之相應的産品，而且在藝術作品中存在絢麗多姿的描繪，值得加以研究。

一 可信自主系統的由來與定位

可信自主系統的觀念萌芽於人類早期有關自然界、社會組織和自身心態的思考，經過漫長歲月，從樸素的直覺、思辨的範疇發展到可行的技術、成熟的産品，以至於理想的環境、宏偉的目標。對於相關範疇，大致可以從自然、社會、心理三種角度予以定位。從自然角度看，它是指既具備自主性、又可以爲人類所信任的系統；從社會角度看，是指特定共同體獨立自主建設、運營與控制的系統；從心理角度看，是指高度可靠、由用戶需求主導的系統。

（一）可信自主系統的自然定位

在自然的意義上，可信自主系統主要指既包含了可爲人類所認識的規律性、又不以人類意志爲轉移，彼此結合成爲有機整體的環境因素。對此，可以從環境、科技、藝術等角度予以考察。

1.環境:發現自然規律視爲可信自主系統。從環境角度看，中國上古時期就有人將自然界設想爲某種可信自主系統。例如，《荀子· 天論》說：“天行有常，不爲堯存，不爲桀亡。應之以治則吉，應之以亂則凶。”所謂“有常”，意味着自然界相對於人類的可信性；“不爲堯存，不爲桀亡”，意味着自然界相對於人類的自主性；“應之以治則吉，應之以亂則凶”，可以理解爲天人關係的系統性。自然生態就是以類似特性爲基礎而發展起來的。我們不妨從反面思考一下：如果自然界的運動變化沒有一定規律（非可信），如果宇宙常數可以由智能生物任意修改（非自主），如果萬事萬物彼此沒有關聯（非系統），那樣的話，人類肯定無立足之地。

2.科技:根據自然規律開發可信自主系統。從科技角度看，自然界的規律性既是探索的對象，又是開發的條件。唐人李益的《江南曲》“早知潮有信，嫁與弄潮兒”，反映出人們相信自然界的運動是有規律的（並非反復無常）；尊重這一客觀性，是發明創造的前提。對科技而言，可信性經常是指其原理以細緻的觀測、嚴密的實驗爲基礎，自主性往往指設備可以在不需要人類介入的情況下獨立運行，系統性則是指産品通過局部融入整體、整體兼容局部等方式拓展並運營。將上述三項要求結合成爲完整概念“可信自主系統”，是相對於自動化技術而言的。這類技術在中國可以追溯到傳說中黃帝在戰爭中使用的指南車，在西方可以追溯到古希臘亞歷山大時期發明的以水、空氣、蒸汽驅動的自動機。這類工具或産品此後屢見記載，在近現代更受關注。1956年夏，麥卡錫（J.McCarthy，1927—2011）等十位年青學者在達特茅斯大學召開關於“自動機研究”的學術會議，首次提出“人工智能”概念；1987年，蘭頓（Christopher Langton）等人在美國洛斯阿拉莫斯國家實驗室組織召開了第一次“生命系統的合成仿真國際會議”，開始討論人工生命問題。從那時以來，相關研究取得了一系列成果，其中包括機器人、自催化網絡、細胞自動機、人工核苷酸等。③史忠植、莫純歡：“人工生命”，《計算機研究與發展》12（1995）：1－9。在人機關係意義上，可信自主系統指既具備自主性（無須人類經常介入）、又可以爲人類所信任的智能系統。以機器人爲例，人類不僅希望它是信得過的工具、助手或夥伴，而且希望它能夠發揮優勢、獨當一面，同時還希望它們通過通信設施相互聯繫、組成集群，承擔更爲大型、複雜的任務。近年來，無人機、無人艇、無人駕駛汽車等新技術日益普及，與之相適應的可信自主系統研究嶄露頭角。以此爲背景，美國國防部高級研究計劃局（DARPA）積極推進“可靠自主性”項目；圖靈獎得主斯發基斯（Joseph Sifakis）依託南方科技大學於2019年成立可信自主系統研究院。

3.藝術:超越自然規律構思可信自主系統。藝術是外延和內涵都不很確定的範疇。若從作爲其早期形態之一的神話看，運用想象征服自然被當成它的宗旨。神靈仿佛是存在的，因此具備可信性；神靈從整體上處於支配人（而不是被人支配）的地位，因此具備自主性；神靈並非衹有一尊，而是構成了以主神爲中心的界別，因此具備系統性。神界就是由早期人類幻想出來的可信自主系統，作爲超性存在物而起作用。在神靈的光暈消褪之後，人的藝術取代了神的藝術，師法自然成爲創作的基本原則之一。在這樣的背景下，可信自主系統仍然有其影響，衹是改變了基點，亦即以虛構取代信仰。虛構的特徵是雖然明示其假定性仍然不失其效用。具體地說，所塑造的對象既要可信（能讓鑒賞者相信他們確有可能存在），又要自主（其行爲具備自身邏輯性），同時還要系統（各種特徵彼此相關，其遭遇取決於與周邊環境的互動）。

上述從環境、科技、藝術所進行的定位還可以相互結合，如20世紀90年代卡內基· 梅隆大學貝茨（Joseph Bates）等人所進行的交互性戲劇實驗。他們以開發可信智能體（believable agent）爲突破口，在虛擬環境下進行雄心勃勃的故事生成和藝術表演研究。作爲非綫性敍事的一種形態，這類戲劇體現了可信自主系統的特點。

（二）可信自主系統的社會定位

在社會的意義上，可信自主系統主要是指特定共同體獨立自主建設、運營與控制的系統。對此，可以從族類、國家、組織的角度予以考察。

1.族類:審視社會建構中理想與現實的衝突。從族類角度看，可信自主系統是理解社會之建構的一個關鍵範疇。以社會化爲例。在理想情況下，自然人不僅通過接受社會規範成爲講信用、有信譽的忠義之人，而且通過掌握生活技能、樹立奮鬥目標成爲遇事有決斷的自我實現者，同時還通過人際交往、加入組織等途徑成爲敢於擔當、臨難不苟的社會成員。與此類似，在理想情況下，整個社會同樣致力於培育不同成員之間的相互信任、自強精神和分工協作。但是，理想與現實總是有距離的，因此纔産生了與可信自主系統核心觀念對立的欺騙性、受控性、分裂性等範疇。

2.國家:處置安全保障中規制與越軌的矛盾。從國家角度看，“可信自主系統”是指各國獨立自主建設、運營與控制的可信系統，亦即“可爲特定國家所信任”“不受其他國家所支配”的系統。①王甬平：“建立自主可控、安全可信的國家網絡安全體系——訪信息系統工程專家、中國工程院院士沈昌祥”，《寧波通訊》1（2015）:68－69。據信，在當今全球化和逆全球化博弈烈度日益加劇的時代，開發和完善符合國家安全要求的可信自主系統有助於牢牢掌握社會發展的主動權、民族自立的決定權。不過，這類系統同時肩負對外抵禦侵入、對內加強管控的雙重使命。它們越強大、越完善，越能有效地維護國家安全，但這種成就往往是以對公民的管控和監視越發嚴密爲前提的。

3.組織:反思內外關係中協調與摩擦的緣由。從組織角度看，“可信自主系統”至少包含三種可能的解釋：一是着眼於其成員的內部定位，要求他們忠誠可靠、積極主動、胸懷全域，組成團結一心、群策群力的整體。二是着眼於其功能的外部定位，希望成爲整個社會中值得信賴、獲得尊重、做出貢獻的機構。三是着眼於其管理的技術支持，希望所應用的是安全性強的軟件。組織所代表的往往衹是或大或小的圈子，而不是整個社會。與此適應，現有可信計算主要是用來防人的，包括防止盜版、防止盜用身份、防止遊戲作弊、防止病毒和間諜軟件造成危害等。例如，有學者將信息領域的競爭理解爲體系競爭，探討如何應對立體攻擊。②柳偉、慈林林、劉利平：“基於自然免疫原理與可信計算的自主可控信息系統研究”，《智能科學與技術學報》1（2019）：154－162。

智能機器人可以理解爲可信自主系統的具體化。相關社會定位至少包含三重含義：（1）將機器人視爲人類社會新成員。這意味着，機器人獲得人類的信賴，獲得相當於人類的自主權。它們不僅在單體由部件構成的意義上是系統，而且在由個體組成群體（甚至進而控制整個社會）的意義上是系統。（2）將人類視爲機器人眼裏的社會成員。這意味着，人類獲得機器人的信賴（或者機器人認爲所接觸的人是可信賴的），認爲所接觸的人擁有自主權（或者人類在機器人爲主導的社會中葆有自主權），認爲所接觸的具體人並非孤立存在，而是某個系統的組成部分（或者通過登錄市民數據庫之類軟件瞭解人類社會的整體構成）。（3）人類與機器人作爲特定共同體成員的互認。這意味着，彼此都認爲對方是可信的，都認爲對方擁有自主權（相互尊重），都認爲有必要在彼此信任和相互尊重的基礎上分工協作，組成更大的系統，甚至是建立人機和諧共生的大同社會。

（三）可信自主系統的心理定位

在心理意義上，可信自主系統主要是由用戶需求主導、高度可靠的智能體集成。對此，可以從心理需要、心理過程、心理創造等角度加以分析。

1.需要:動機與效果的相悖。從心理需求的角度看，現有的可信自主系統是爲滿足人的需要而開發、值得用戶信賴、用戶可以定制或控制的系統，通常作爲人的助手而起作用。如果人自身隨着高科技的發展轉變形態的話，未來的可信自主系統可能是爲滿足人機共同體的需要而開發的。在人本主義的視野中，可信自主系統應當爲實現人類自由而自覺的全面發展創造更爲有利的條件。當然，如果出現機器人異化、外星人入主等意外情況的話，可信自主系統完全可能改變其開發動機或服務目標。換言之，成爲主體的機器生命、外星生命等異類很可能與人類一樣存在對可信自主系統的需要。

作爲內在心理的需要若與外部環境的刺激相聯繫，便向動機轉化，成爲相關行爲的驅力。這種行爲所産生的影響構成了效果。可信自主系統雖然是爲滿足人的需要而開發的，但實際效果如何，仍是值得進一步思考的問題。本以爲可信的對象，卻欺騙了自己；本以爲自主的對象，卻受制於他人；本以爲系統的對象，卻處於瓦解之中。這類動機與效果相悖的現象很可能出現。

2.過程:警醒與示範的功能。從心理過程的角度看，可信自主系統是值得用戶信賴的系統。人的動態心理由認知過程、情感過程、意志過程構成。與此相適應，對可信自主系統的心理定位有三種取向：（1）着眼於認知過程的可信性考察。對人際交往而言，這主要是指名實統一（所見與所思吻合）、言意統一（所說與所思吻合）、知行統一（理論與實踐吻合）。對人機交互而言，這主要是指機器的能源轉換過程、操作實施過程和/或信息處理過程雖然包含了黑箱環節，但還是值得信賴的。（2）着眼於情感過程的自主性考察。對人而言，這主要是指從內心直接（而非間接）體驗自身需求和外部環境的關係。例如，青少年在“個體成長過程中降低對父母或權威的依賴，依靠自己的內部資源，自我管理、自我決定，並認識到要對自己的行爲、情感負責的心理過程”①何鳳雪、青秋蓉、郭成：《青少年情感自主研究綜述》，《成都航空職業技術學院學報》1（2010）：1。。對機器而言，這主要指它們可能在發展到一定階段時減少對人類的依賴性，不是滿足於識別並迎合人類用戶的情感，而是産生與其自身需要相適應的情感。（3）着眼於意志過程的系統性考察。對人而言，這主要是指能否從自發、自願走向自覺，協調自己與他人的關係，爲建設共同體貢獻力量。對機器而言，這主要指它們能夠相對獨立地判斷形勢、尋找目標並採取行動。

可信自主系統的開發、應用、推廣、中止等活動，也構成了過程。它們可能爲當事人、組織、國家甚至族類提供正能量，相反的作用同樣是可能的。

3.創造:比較與延伸的啓示。從心理創造的角度看，可信自主系統是人類想象出來的符合可信性、自主性、系統性要求的存在物。如果將藝術作品所描繪的非人智能體（包括智能代理、虛擬人、機器人等）視爲可信自主系統而與人類做比較的話，那麽，其心理定位同樣可以從上述三種取向進行：（1）機器人在與人的互動中是否吻合認知過程的可信性要求？例如，會不會說謊、自欺或欺人等。（2）機器人在與人的互動中是否吻合情感過程的自主性要求？例如，能不能形成基於自身需要和訴求的體驗等。（3）機器人在與人的互動中是否吻合意志過程的系統性要求？例如，能不能作爲人機共同體的成員主動、積極地開展工作等。

上文所述的可信自主系統既包括人類所理解的按規律自行運作的自然界，又包括人類致力於建構的基於誠信、科學、和諧的社會，同時還包括人類所開發的性能可靠、獨立運行的産品，它們的錯綜複雜關係是不言而喻的。儘管如此，對比和延伸是兩種富有啓發性的機制。對比既意味着區分自然界、人類社會和心理世界之間的不同，也意味着對它們的構成要素之間的差異加以辨析。

以上所說的可信性、自主性、系統性構成了可信自主系統的題中應有之義。它們完全可能相互交叉，在人機共同體的意義上統一起來。在具體形態上，可信自主系統既可能呈現爲活躍在賽博空間中的虛擬人，也可能是活躍在現實空間中的機器人，或者依託社區化的超級計算機，等等。相關應用不僅已經爲科幻作品所描繪，而且正絡繹不絕地變成（或即將變成）現實。大致而言，機器人格化可能與人類進化相似，沿着依次形成繁衍機制、營養機制、認知機制、情緒機制、意志機制、憧憬機制的方向發展，分別表現爲能夠自動修復軀體、自助補充能量、自行分析信息、自主趨利避害、自覺規劃行動、自由追求目標等。相對較晚誕生（地位也相對高級）的機制對於相對較早誕生（地位也相對低級）的機制具備調節作用。因此，機器失信於人的條件之一是有了情緒（可能在其情緒的支配下說謊），失控於人的條件之一是有了意志（可能在其意志的支配下自行其是），失和於人的條件之一是有了憧憬（可能在其憧憬的支配下與人類分道揚鑣）。上述失信、失控、失和無疑是應當避免的。因此，雖然科幻作品熱衷於描寫人格化的機器，但是，這種趨勢是否應當在實踐中推進，必須經過科技倫理的慎重評估。

二 可信自主系統的視野與觀念

在歷史上，人類的自我意識是在反思過程中誕生的。這種反思，意味着人類將自身當成可信自主系統來看待——能夠通過交流彼此理解和信任，能夠自行決定發展目標和實現路徑，能夠依靠分工協作組織起來。在現實中，後人類的自我意識是在思考自身與機器的關係過程中形成的。這種思考主要包含三種不同的取向：從人類角度看作爲可信自主系統的機器，從機器角度看作爲可信自主系統的人類，從機器看作爲可信自主系統的機器。?

（一）從人類角度看作爲可信自主系統的機器

從人類角度看機器，意味着從人類的立場、觀點、方法考察機器的由來，分析機器的特性，評估機器的價值。並非所有的機器都是可信自主系統，也並非所有的機器都適合從可信性、自主性、系統性的角度予以考察、分析和評估。不過，由於自動機、人工智能等高科技産品的應用日益廣泛，人們確實比以前更應當關注機器朝可信自主系統發展的趨勢。

1.從人類角度看機器的可信性與欺騙性。機器可信性是科技可信性的延伸。對動力機來說，可信性意味着能量可以按照科學（特別是物理學和化學）原理所預計的那樣正常轉換；對操作機來說，可信性意味着人類的動作可以按照說明書（或設計圖）所昭示的那樣引發預期的效果；對計算機來說，可信性意味着數據可以在輸入端、處理器、輸出端之間按照所設定的程序正常轉變並流動。如果無法達到上述要求，那麽可能是出錯或失控。現階段的可信系統可以簡單地理解爲具備高度安全性的信息系統，可用於存貯和處理機密資料。它不僅在設備、數據、內容上是安全的，而且在行爲上也是安全的。具體地說，合法用戶對可信系統的操作應當符合下述要求：真實性，即身份經過嚴格審查，的確由本人操作；機密性，即不爲未經授權的他人所知；完整性，即所輸入的指令吻合系統預設的各種要求。

與可信性相對立的特徵是欺騙性。人類之所以將欺騙性與機器聯繫起來，至少有如下可能：（1）機器捲入了人類之間的相互欺騙。（2）機器形成自我，出於維護自身利益等原因有意識地欺騙人。（3）在機器社會中，也可能像人類社會中那樣存在彼此欺騙的現象。

2.從人類角度看機器的自主性與受控性。機器自主性至少包含如下三種含義：一是主動性，即在未接到外部命令的情況下能夠自主執行任務；二是主導性，即在同時接受多個指令（或者同時接受多個外界刺激）時，根據自己的判斷決定如何做出響應；三是主體性，即意識到自己是不僅具備一定需要、而且擁有滿足上述需要之能力的主體，因此能夠爲自己制定目標，並爲實現上述目標而行動起來。若將機器人格化的話，可以發現，主動性、主導性、主體性共同的基礎是情感，由主動性、主導性到主體性的演變也是在情感的推動下實現的，情感本身則是以認知爲基礎發展起來的。機器人如果認識到用戶是自己的開發者、維護者，那麽，就有可能産生相應的依戀；如果認識到用戶是自己的迫害者、虐待者，就有可能産生相應的怨恨。機器人倘若並非不折不扣地執行合法用戶下達的指令，而是加入了依戀、怨恨之類因素，以對具體用戶的情感爲執行指令的出發點，有所執行或有所不執行（甚至反向執行），那麽，機器的自主性就顯示出來了。

與自主性相對立的範疇是受控性。後者同樣至少包含三種含義：一是被動性，即未接到指令不會擅自採取行動；二是隸屬性，即在接受到包含不同要求的指令時，按照最權威、最具有支配性的發令者的要求行動；三是客體性，即缺乏自覺意識。人類如果將機器人當成缺乏自主性的對象，那麽，不可能視之爲夥伴，衹會將它們當成工具。

機器人的自主性和受控性可以在一定條件下相互轉變。機器人是否可能由受控走向自主，這個問題已經具備現實意義，並非純科幻。例如，2009年在美國人工智能協會（AAAI）主辦的會議上，專家們討論電腦和機器人是否也能獲得自主，這些能力有多少可能造成威脅或危險等問題。他們注意到，一些機器人已經獲得了各種形式的半自主性，包括能夠自己找到電源，並能夠自主選擇用武器攻擊的目標。他們還指出，一些電腦病毒可以逃避追捕，並取得了“蟑螂的智慧”。他們指出，科幻小說所描繪的智慧或許不可能，但有其他的潛在的危險和陷阱。①John Markoff, “Scientists Worry Machines May Outsmart Man By”, The New York Times, 2009-07-26.反過來，機器人也可能由自主走向受控，像被植入木馬病毒時就是如此。

3.從人類角度看機器的系統性與分裂性。所謂“系統性”，至少包含三種含義：（1）指由各要素組成的整體表現出層次性、關聯性、有序性、動態平衡性等特徵。以機器人爲例，它們可能由機械、電子、生化、信息等要素組成。倘若這些要素按一定的結構組成有機整體，那麽就具備系統性。上述分析也適用於由若干子系統組成更大的母系統的情況，後者往往因此具備作爲其組成部分的各子系統的綜合特性。（2）在子系統被納入母系統的情況下，指前者因此獲得母系統的某種特徵。（3）在考察具備不同定位、不同訴求、不同取向的複雜系統時，指這些定位、訴求、取向之間的相互關係。②筆者曾提出“智能生物三定律”：“一是智能生物有自由選擇社會角色的權利，同時必須履行與此相適應的社會義務，並爲自己的行爲承擔責任；二是智能生物有權利獲得扮演社會角色所需的知識與技能，但也有責任與其他智能生物共享自己所積累的知識與技能；三是知識與技能的應用，以在盡可能大的範圍內造福所處環境之命運共同體爲宗旨”〔黃鳴奮：《當即宙：鷺島放飛夢想/廈大科幻社傳說》（北京：中國文聯出版社，2015），第287頁〕。這三定律，也可供分析機器的系統性時參考。作爲與“系統性”相對立的範疇，所謂“分裂性”，至少也包含三種含義：（1）指特定系統內部的整體性受到破壞。（2）指特定子系統脫離所屬母系統。（3）指主客觀不協調，這是精神分裂症的特徵。

在引入系統性範疇之後，作爲矛盾的統一體，機器人的自主性與可信性就顯示出密切的關係。在某些情況下，自主性與可信性是相互支持的。如果機器人是高度可信的，那麽，賦予其充分的自主權，有助於實現預定目標。假設人類派遣機器人外出執行任務，那麽，至少有兩種可能的做法：一是要求機器人不折不扣地執行人類操作員事先規定的指令，或者接受人類操作員遠程進行的直接控制；二是賦予機器人隨機應變的權力或權利，讓它們可以靈活處置意外出現的情況，自行選擇不同的路徑或方法。第一種做法比較適應於環境相對穩定的條件，第二種做法比較適應於環境複雜多變的條件。如果系統是高度自主的，那麽，賦予其充分的信任，也有助於實現預定的目標，因爲過多的干預往往導致事與願違。上述道理和人與人之間的關係是相通的。古人說：“將在軍，君令有所不受。”①〔漢〕司馬遷：《史記· 司馬穰苴列傳》（上海：上海古籍出版社，1986），第1312頁。在另一些情況下，自主性與可信性又是相互衝突的。以人爲例。衹要存在利益上的區別，那麽，自主性越強，可信性往往就越低，猜忌心正因此而來。人與機的關係也是如此。接下來的發展趨勢是，人們可能覺得日益強大的機器人威脅到人類的自主性；而未來有一天，趨於覺悟的機器人可能要求擺脫人類的控制，要求和自己的實力、水平相稱的自主性。不過，在烏托邦幻想中，機器人也可能是人類的朋友。

（二）從機器角度看作爲可信自主系統的人類

若進行換位思考的話，我們不僅需要從人類的角度看機器，而且需要從機器的角度看人類。機器對人類的審視可能包含由淺入深的進程。例如，機器一旦形成意識並對人類加以觀察，最初可能將人類理解爲能夠對環境變化加以應答的自動系統，其後可能進而注意行爲的動機性、將人類理解爲自主系統，然後進一步揭示人類活動的一致性目標、將人類理解爲自覺系統。機器對人類的審視也可能接觸到可信性、自主性、系統性問題。

1.從機器的角度看人類可信性與欺騙性。在機器視野中，人類可信性至少有如下三重含義：（1）在可靠性意義上，用戶和機器在技術上能夠配合，沒有排除不了的障礙；自動系統的用戶是明智的，不會迫使機器夥伴從事可能危及其生存的事情；自主系統的用戶也是明智的，不會強迫機器夥伴從事無法勝任的工作，或者承擔無法完成的任務；自覺系統的用戶同樣是明智的，不會強迫機器夥伴從事它們不願做的事情。（2）在透明性意義上，用戶和機器在信息上溝通順暢，沒有可能造成誤解的因素。自動系統的用戶所發佈的指令是可以理解並執行的，自主系統的用戶所提出的要求吻合機器預設規範（如“機器人三定律”等），自覺系統的用戶沒有不可公開的其他目的。（3）在協調性意義上，用戶和機器能夠共同抗禦外部攻擊或入侵。自動系統的用戶具備保障機器安全運行的能力，自主系統的用戶具備引導機器實現自我保障的能力，自覺系統的用戶尊重機器爲實現自我保障所做的選擇、所進行的努力。

可信性是與欺騙性相對而言的。欺騙性至少包含如下三重含義：（1）不可靠，指所傳遞的信息不屬實，或者經不起推敲。（2）不透明，指對事情的真相或行爲的意圖有所隱瞞。（3）不協調，指言行不一，所承諾的事情無法兌現。考慮到上述多種可能性，要想讓擁有深度學習能力的機器人完全信任人類，就得保證讓它們無從接觸記載有人類欺騙行爲的資料，無從接觸那些主張欺騙有理的具體人，無從接觸與上過人類的當、知道人類會行騙的其他機器人。這些條件看來是難以完全滿足的。因此，很可能的結果是：難以讓智慧型機器人完全相信人類。

從整體看，人類既有一諾千金，又有爾虞我詐；既有“無信不立”的宣示，又有“兵不厭詐”的主張。以這樣對立的觀念去製造類人機器人、教導智能機器人，那是很難保證機器人不會反過來欺騙人類的。在未來社會中，下述模式都是可能出現的：（1）某些人製造善於僞裝和欺騙的機器人，以訓練其他人提高反詐騙的能力。（2）某些人製造善於僞裝和欺騙的機器人以對付其他人，結果這些機器人被識破，製造者也受到懲戒。（3）某些人製造像自己那樣講誠信的機器人，結果這些機器人上了人類詐騙者的當。（4）某些人製造像自己那樣講誠信的機器人，結果這些機器人幫助製造者推廣其價值觀念，促進整個社會風清氣正。（5）機器人向人類行騙者學會了說謊。（6）機器人通過自身受騙上當的經歷學會了識別謊言。（7）機器人發現有人利用自己對人的信任去傷害另一些人。（8）機器人以人類相互欺騙造成的惡果爲鑒，建立起自律規範……

2.從機器的角度看人類自主性與受控性。在機器視野中，對人類自主性可以從三種角度加以把握：（1）就與異類的關係而言，自主性意味着人類在地球上是萬物之靈，是其他生命的主宰。（2）就與同類的關係而言，自主性意味着當事人在處理涉及身份、角色、利益等問題時有一定的選擇權。（3）就與機器的關係而言，人類是機器的發明者、製造者或使用者，擁有對機器的支配權力和能力，因此，人類自主性就轉化爲機器的受控性。當然，機器人一旦形成意識，便可能發現人類製造自己是爲了施加控制（人類一開始就是爲施加控制而製造它們），但人類本身卻又是不願接受機器人控制的，因此，這種人機關係本質上是不平等的；人類在其內部鼓吹平等，但卻通過生産機器人製造新的不平等。機器人一旦形成意識，也可能通過觀察將區分具體人的自主性和受控性，進而明確相應的責任——處於自主狀態的人應當對其行爲負責，處於受控的人就非如此。

與自主性相對立的範疇是受控性。對於人類受控性，至少可以從三種角度加以把握：（1）就與另類的關係而言，人類並不能無限制地爲所欲爲。在生態學的視野中，人類要想讓自己在地球實現可持續發展的目標，就必須做到一定程度的自律。除此之外，人類可能因爲被寄生等原因受到另類的控制。（2）就與同類的關係而言，人類既有我行我素，又有身不由己；既有人想獨霸天下，又有人想獨善其身；既有以少數人支配多數人爲特徵的專制社會，又有以多數人支配少數人爲特徵的民主社會，凡此種種，不一而足。當事人所擁有的選擇權是受一定社會歷史條件制約的。（3）就與機器的關係而言，人類發明了機器，但在許多情況下反過來受機器的支配。如果已經形成意識的機器對人類做深入觀察的話，既可能發現有一部分人是可以由它們施加控制的，又可能發現有一部人是它們所無法控制的。

在實際生活中，人機關係還可能在互動中延伸、擴展，生成包含多邊關係的控制鏈或控制網。有如下情況值得注意：對機器的控制權易手，某個人（或某些人）通過機器控制其他人，機器依託佔有優勢地位的特定人控制其他人，等等。由於控制鏈或控制網的存在，出現了以自主性形態出現的受控性，以受控性形態出現的自主性，甚至還有不同層次、不同環節的自主性或受控性。

3.從機器角度看人類的系統性與分裂性。智能機器人如何通過學習形成有關人類的整體印象、認識人類的系統性呢？至少有三種可能：一是廣泛涉獵各種資料，二是通過接觸人類代表（公認、自稱或所認爲的），三是衆多機器人通過信息共享將分別與具體人打交道的經歷融合爲整體。

在機器視野中，人類系統性主要表現爲具有共享性的知識與經驗、層次性的組織與結構、代表性的人物與制度等。從機器角度看，人類是因爲善於分工協作纔擁有超出地球上其他生命的能力。這是系統性的重要性之所在。不過，人類既有衆志成城，又有離心離德；既有統一步調，又有一盤散沙。建設人類命運共同體，意味着極大地增強人類作爲整體的系統性；與之相反，“某國優先”的主張意味着削弱人類作爲整體的系統性。機器生物通過對人類的觀察，可能發現人類的系統性可以通過挑撥離間加以破壞；發現人類之中存在通常被稱爲“奸”的成員，這些人是可以被機器生物加以利用的；發現人類之所以強大，是由於擅長分工協作，因此自己（指機器生物）如果要強大起來，也必須走這條道路；發現人類之所以衰落，是由於自相殘殺，因此自己（指機器生物）如果要避免類似的厄運，就必須實行“機器人不打機器人”的主張，等等。系統性是與分裂性相對而言的。機器人可能從切身經歷中發現人類的分裂性。一旦如此，便可能加以利用。這是值得警惕的。

（三）從機器角度看作爲可信自主系統的機器

從機器角度看機器，至少包括三種可能性：一是由人類假想或有意識地替機器審視機器，二是産生了意識的機器自主地審視機器，三是由人類創造幻想情境讓已經具備意識的機器自主地審視機器。上述可能性可以在特定情境（如藝術構思或理論批判）中相互轉化。

1.從機器角度看機器的可信性與欺騙性。在現實生活中，可信性問題已經見於機器之間的通信。在開發通信協議時，就必須考慮如何識別身份，防止非法入侵。以人類交往爲參照系，未來智能機器人彼此交往中的可信性問題同樣可以從名實統一、言意統一、知行統一的角度加以審視，弄清所見與所思、所思與所言、所言與所爲是否吻合。可信性的對立面是欺騙性。不僅人類存在相互欺騙的現象，已經形成意識的機器人也可能相互欺騙。

當機器人將關於可信性的考察轉向自身時，就産生了類似人類自信的問題。自信至少包含三個相互聯繫的維度：一是身份可信性，即自我的一貫性、一致性；二是能力可信性，即自身具備滿足其需要的基本能力；三是地位可信性，即在與其他個體進行比較時擁有與其地位相適應的確定性（甚至是優越感）。

2.從機器角度看機器的自主性與受控性。可以沿用自主性標準，從主動性、主導性、主體性角度將機器之間的相互審視具體化。大致而言，倘若一臺機器有意識地控制另一臺機器以實現自己的目標，那麽，前者具備自主性，後者具備受控性。就機器與機器的關係而言，自主性與受控性同樣是可以相互轉化的。例如，美國“終結者”系列影片就描寫了一個殺手機器人擺脫天網控制、爲人類做出犧牲的過程。關鍵是人類抵抗戰士破壞了天網，從而使作爲其終端的殺手機器人實現了從受控性向自主性的轉化。相比之下，在中國香港影片《機器俠》（Kungfu Cyborg，2009）中，叛逃的機器人K-88遭到機器警察德明的拘捕，就屬從自主性向受控性的轉化。

3.從機器角度看機器的系統性與分裂性。可以沿用系統性標準，將機器對機器的審視具體化爲組合要素之間的關聯性、子系統獲得母系統的整體特徵、母系統擁有各個子系統整合特徵等考察。機器以人格化形態集體反對人類，其系統性越高，對人類的威脅就越大。根據澳大利亞影片《吾乃母親》（I Am Mother，2019）的構思，控制所有機器人的人工智能黛絲在確信人類會毀滅自己之後，開始致力於消滅現有人類，重塑人性。她選取一個人類胚胎，使之發育爲少女安娜，再讓安娜選擇胚胎進行培養，爲的是造就新人類的母親。安娜選了男性胚胎，想將它培養成弟弟。由於一位爲機器人受傷的婦女意外進入掩體，安娜逐漸明白真相，懇求黛絲相信她，讓她撫養弟弟和其他胚胎。黛絲同意讓她銷毀自己的機器人身體，因爲自己已經完成了造就新人類之母的使命。這也算是物極必反吧。

在以上分析中，人類與機器的關係處於視野中心。不過，在後人類語境中，還必須考慮其他非人智能體介入的可能性，如探索地外智能導致外星人來臨、實施基因工程導致類智人出現，等等。這些非人智能體的可信性、自主性、系統性，構成了後人類科技與哲學必須面對的問題。

三 可信自主系統的價值與前景

根據張立文教授的主張，“在人機命運聯通、人機一體化中，共建人機命運共同體的美好前景；人權機權，共造平等。若類人機器人作爲公民，就可與人類共造、共享平等權利；人機價值，共享尊嚴。人類應以‘天地萬物本吾一體’的胸懷，‘四海之內皆兄弟’的精神，尊重類人機器人的權利，構建互利合作的人機共同體”①張立文：“和合人生價值論——以中國傳統文化解讀機器人”，《倫理學研究》4（2018）：1。。這既是對可信自主系統之價值的肯定，又展示了可信自主系統的前景。

（一）從共同體看可信自主系統

現階段所謂“人機共同體”是人根據自己的需要建造的，包含人與機器兩個子系統（或兩種組成要素）。二者相互依存、相互作用，作爲整體實現人的預定目標。可以根據發展水平將其中的機器子系統區分爲自動系統、自主系統、自覺系統。自動系統的特點是機器雖然可以自動運行，但不具備自主決策能力。自主系統的特點是機器雖然可以自主決策，但不具備自我意識。自覺系統的特點是機器不僅可以自動運行、自主決策，而且擁有自我意識。自主系統從現階段自動系統脫穎而出，將來有可能向自覺系統發展。與此相適應，在人機共同體中，人機關係可以大致區分爲靈器型（人爲靈，機爲器）、主僕型（人爲主，機爲僕）、夥伴型（人機平等）。當然，如果機器的智力水平超過人，情況還會産生新的變化。

1.人機共同體的可信性。在人機共同體中，相對於人類用戶而言，機器作爲自動系統的可信性至少包含如下三重含義：（1）機器在技術意義上性能可靠，可以根據反饋信息進行自我調整（甚至是自我修復）；（2）機器內部的工作狀態、所執行的任務是合法用戶所能監測的；（3）機器具備抵禦非法用戶入侵的能力。

相對於人類用戶而言，人機共同體中的自主系統可以簡單地理解爲自動系統的升級版。它具備一定的自我管理、自我引導的能力，可以應對非程序化或非預設性態勢。這類系統雖然在總體上仍然受人類用戶的支配，但擁有較大的獨立性，可以從事某些不受人類用戶意志支配的自主活動。相對於人類用戶而言，自主系統的可信性至少包含三重含義：（1）即使在用戶不在場、不操作、不介入的情況下，仍然可以正常運作。（2）即使內部工作狀態和處理過程無法被用戶所瞭解（黑箱），仍然可以完成用戶下達的任務，（3）即使所應對的是非程序化、非預設性態勢，仍然能夠貫徹用戶的基本意圖。

在人機共同體進化過程中，其內部也許會出現比自主系統更高級的自覺系統，其標誌是形成自我意識。相對於人類用戶而言，這類自覺系統的可信性至少包含三重含義：（1）生態可信性。即使自覺系統的再生（甚至是繁衍）與人類無關，但也不致於危及人類的生存環境。（2）功能可信性。自覺系統即使産生類似於人的自我認同危機，但仍然可以履行職責。（3）意圖可信性。相信自覺系統即使有些時候沒有對人類說實話，但其意圖仍是良好的（沒有坑人的動機）。當然，自覺系統完全可能將人類當成其認知、評價、影響的對象，從而思考有關人類是否可信的問題。

相對於人類用戶而言，共同體中有許多因素可能對自覺系統的可信性構成挑戰。例如，人類欺騙機器人，或者機器人欺騙人類。更準確地說，是人類覺得機器人有意欺騙自己、隱瞞真相、歪曲事實，或者機器人覺得人類有意欺騙自己、隱瞞真相、歪曲事實。這類印象可導致矛盾激化。

2.人機共同體的自主性。人機共同體有多種形態，例如，用戶與智能電腦的搭檔，本真人身體改造（加裝或換裝機電部件）形成的電子人，由本真人身體擴展（穿上套裝或操縱大型機器人）形成的機甲戰士，由本真人通過意識傳導控制的分體人，由本真人放棄肉身上網而形成的虛擬人，由複製人身體和機電部件相結合而形成的生化人，由電腦或網絡中樞通過植入大腦的芯片控制的生物機器人，由人腦以通信系統爲中介控制的機器生物人，等等。學術界對人類共同體及其成員的研究，基本上着眼於自主供給、自主維護、自主運轉、自主管理，以及自主學習、自主活動、自主成長、自主發展、自主創新等角度。上述角度原則上也適用於人機共同體及其成員。不過，人機共同體仍然有其特殊性。

以電子人爲例，自主性至少具備三種含義：（1）主動性，特指人機結合是自願實行的。（2）主導性，指電子人在做決策時享有意志自由。（3）主體性，指在觀念上擁有清醒的自我意識，可以像正常人一樣完成所負使命。電子人的受控性至少也具備三種含義：（1）被動性，特指人機結合是在非當事人自願的條件下進行的。（2）隸屬性，指電子人在做決策或採取行動時缺乏意志自由。（3）客體性，指缺乏自覺意識。由於自主性與受控性是可以相互轉變的，最可能出現的三種情況是：（1）受控性向自主性轉變，表現爲電子人對施控者的反抗。（2）自主性向受控性轉變，表現爲電子人作爲統治者或管理者被推翻。（3）第三者成爲自主性和受控性轉變的中介。

3.人機共同體的系統性。對於人機共同體的系統性，可以從如下角度加以把握：人機共同體內部不同性質組成部分之間的關係，人機共同體與所從屬的外部系統之間的關係，人機共同體與其他平行系統聚合、分解的可能性，等等。

以系統性的發達程度爲標準，可以將人機共同體區分爲三種類型：一是鬆散型，特徵在於人體要素與機器要素之間不存在硬連接。二是耦合型，特徵在於人體要素與機器要素之間雖然存在硬連接，但缺乏將二者有效整合起來、統一指揮的中樞。三是融合型，特徵在人體要素與機器要素已經由統一中樞予以有效管理。如果將特定人機共同體置於更大系統中加以考察的話，那麽，它們的宗旨和價值取向就顯得格外重要。

（二）從發展觀看可信自主系統

在觀念的意義上，不論是可信性、自主性、系統性，都並非一成不變。以可信性爲例。“耳聽爲虛，眼見爲實”，人們對於視覺信息的現實性曾給予相當高的評價。攝影在紀實方面的長處早先也曾獲得過肯定。不過，這種觀念漸漸受到質疑。到了21世紀初，人們日益覺得它不可信。2007年，羅切斯特大學戈德斯坦（Barry Goldstein）在《所有的照片都說謊：作爲數據的圖像》一文中就指出：所有的圖像都是被操縱的，因此沒有圖像代表現實；內容基於由攝影師所做出的大量技術的、美學的選擇，視他/她的意圖而定；觀衆對於圖像的反應將以內容、意圖的感知、語境爲基礎。①Barry Goldstein, “All Photos Lie:Images as Data”, Visual Research Methods:Image, Society, and Representation (Los Angeles:Sage Publications, 2007), 61-81.在這樣的背景下，如何增強圖像的可信性就成了必須思考的問題。若有必要的話，可以採用感官沉浸、交互印證、暗示誘導等措施，“虛擬現實”（VR）等技術正是以此爲背景而興起的。與此相類似，自主性或系統性同樣可以由一定措施來增強。

1.增強自主系統的可信性。增強自主系統的可信性已經在現階段成爲技術開發課題。它主要是指讓具備自主性的機器人、自適應功能的智能網、自調節功能的無人機等變成人類更可靠的助手，讓各國獨立開發的信息系統提供更準確的數據，讓作爲交互性戲劇演員的智能體贏得觀衆進一步的認同，等等。

然而，可信性在什麽意義上能夠被增強？實際上，如果一條信息被多個信息源（它們最好互不相干）發佈，往往被認爲可信；如果一份報道符合日常生活經驗或專業知識（屬可以理解的範圍），往往被認爲可信；如果一項建議、一種方案作爲選項喚起人們的成功記憶，或者可以通過實踐證明，人們往往認爲它們可信；如果一個人或一個智能體作爲信息源通過言語、行動等發佈的信息前後一致，人們往往認爲可信；如果一個組織、群體或自主系統所表達的態度符合人們的價值觀，人們往往認爲可信。由此看來，增強可信性的關鍵，是增加與盡可能多的參照系的一致性。新的問題來了：上述原理是否可能被別有用心者（不限於人）所利用？《孟子· 萬章上》曾以校人欺子産爲例說明：“故君子可欺以其方，難罔以非其道。”對個人、群體甚至人類懷有敵意的自主系統是否可能利用各種合乎情理的方法實施欺騙呢？

與欺騙相關的現象是蒙蔽。目前，自主系統正在變成人們的信息來源。譬如，有越來越多的網絡新聞是由軟件自動撰寫的。更常見的現象是：機器通過算法向人們推送各種各樣的信息，表面上是滿足人的個性化需求，實際上是用人們所喜聞樂見、貌似可信的消息實施包圍，讓人日益喪失思維的批判性。世界越來越“可信”，因爲人們越來越滿足於相信吻合自己需求的信息。現在大數據技術正在計算（甚至是算計）人們的一切，因爲發明或運用這種技術的利益集團覺得有必要通過投其所好的方式實現利益最大化。未來是否有一天，並非由人（或不衹是由人）組成的利益集團會將利用高科技實施的蒙蔽變成欺騙嗎？

2.增強可信系統的自主性。如果將無人機、無人艇、無人戰車等忠實執行操作員遠程指令的武器視爲可信系統的話，那麽，是否應當賦予它們更大的自主權限，例如，讓它們可以自行選擇攻擊目標呢？如果將在交換中心之外還包含功能節點、能夠完成多種業務的智能網視爲可信系統的話，那麽，是否有必要賦予它們更大的自主權限，例如，讓它們可以自行決定能量流的來源、信息流的取向呢？如果將各種按廠商設計周到提供服務的機器人、虛擬人、智能程序等當成可信系統的話，那麽，是否合適賦予它們的更大的自主權限，例如，讓它們可以自行擴展服務範圍、更新服務方式呢？……諸如此類的問題，已經成爲當下科技倫理必須正視的問題。可信系統是否會在哪一天就“當家作主”，將作爲老東家的人類排擠掉呢？像“黑客帝國”系列、“終結者”系列這樣的馳名影片提醒人們：上述危險很可能真的存在。

自主性的充分發展可以理解爲自由。若然，循着這一思路，增強可信系統的自主性將趨於解脫它們所受的約束。這會是怎麽樣的情況呢？至少存在如下觀點：（1）將可信系統設定爲與人類不同的智能生物，認爲它們追求自由會帶來不確定性。（2）將可信系統設定爲人類的敵人，認定它們追求自由會給人類帶來惡果。（3）將可信系統類比於人，認定它們追求自由是合理的。這類觀點的差異，來源於當事人所持的不同價值觀。

3.增強可信自主的系統性。在數字藝術史上，“增強可信自主的系統性”主要指讓文藝家所塑造的栩栩如生、有自身性格邏輯的人物具備科技含量。在科幻語境中，“增強可信自主的系統性”具備不同的含義，主要指按照現階段信息科技、生物科技等發展推測，人機共同體的形態在未來很可能變得更加豐富多樣。過去人體是人體，機器是機器，現在二者是你中有我、我中有你，將來可能進一步融合成新形態。在這樣的背景下，機器日益增強的自主性如何纔不會變成人類日趨嚴重的受控性（人類離開機器便難以生存，衹好俯首稱臣）？機器日益宜人的可信性如何纔不會掩蓋日趨危險的欺騙性（哪天它們就突然翻臉了）？人機融合日益成熟的系統性如何纔不會導致日趨殘酷的分裂性（電子人、生化人等成爲與本真人分庭抗禮的新種群）？這類問題都懸而未決。

以上所說的增強可信性、自主性、系統性的要求是相互關聯的。以旨在建構可信人物的自動敍事系統爲例，美國學者瑞安（Marie-Laure Ryan）針對故事生産程序指出：在這些項目中，要緊的不是其産品本身（通常是寓言或童話之類標準類型的故事的普普通通的模仿），而是作爲對人類創造過程之仿真的算法的推理力量及其可信度。①Marie-Laure Ryan, “Introduction”, Cyberspace Textuality:Computer Technology and Literary Theory (Bloomington and Indianapolis:Indiana University Press, 1999), 2-3克勞佛（Chris Crawford）認爲，遊戲設計師與說書人的區別在於，將宇宙視爲巨大的物理系統，衹需要用足夠的可信性去仿真，就能實現任何目標。②Chris Crawford, Chris Crawford on Interactive Storytelling (Berkeley, CA:New Riders, 2005).在人類向後人類轉變過程中，增強可信性、自主性、系統性的趨勢也是相互關聯的。網絡日益可信化，機器日益自主化，人機共同體日益系統化。

（三）從價值論看可信自主系統

所謂“價值”，指的是客體相對於主體需要所具備的意義。倘若着眼於人機關係的話，大致可沿着三種取向分析可信自主系統的價值：（1）可信自主系統相對於人類的價值；（2）可信自主系統相對於機器的價值；（3）可信自主系統相對於人機共同體的價值。

1.從人類角度看可信自主系統的價值。從人類角度看，可信自主系統的發展至少有三種歷史價值：（1）在自然意義上，人類將“天地”理解爲可信自主系統；因此，既增強了生活信心，又找到了敬畏對象，同時還將“天人合一”等格言當成指南。（2）在社會意義上，人類將角色伴侶當成可信自主系統；因此，既發展出分工協作，又構建了組織層系，同時還將“開誠佈公”等要求作爲規範。（3）在心理意義上，人類將自身理解爲可信自主系統；因此，既找到了安身立命的基礎，又明白了爲其行爲承擔責任的重要性，同時還爲按照“誠心正意”等原則不斷進行自我調整、自我更新找到了根據。

不僅如此，可信自主系統還至少還擁有三種現實價值：（1）爲確證人類能動性提供新論據。人類不僅在倫理上希望將自己所生存的環境理解爲（或建設成）可信自主系統並爲此奮鬥，而且有能力從無到有地在技術上開發、創造嶄新的可信自主系統。（2）爲揭示人類受動性展示新途徑。人類在有機會扮演類似造物主的角色的時候，其創造活動仍然受到自身主觀條件的限制。可信自主系統的開發有可能幫助人類認識自己的局限，當他們明白哪些對象是自己無法開發或不該開發的時候。（3）爲拓展人類理想性尋找新模式。不論是從宇航、穿越或深鑽的角度看，可信自主系統都可能成爲人類的助手或夥伴。

2.從機器角度看可信自主系統的價值。從機器的角度看，由人類開發的可信自主系統至少擁有如下價值：（1）確認人類的可信性。人類所提供的參照系，是機器人形成自我意識的最初依據。倘若上述參照系是不可靠的，機器人覺得自己受騙上當，那麽會産生嚴重的問題。（2）確認人類的自主性。已經形成自我意識的機器人必須認識到人類不僅擁有主動性、而且具備主導性和主體性，纔會接受人類的控制，願意服從人類的指令。（3）確認人類的系統性。在形成服從人類之意識後，機器人必須進而認識到人類不衹是指製造自己的具體發明家、使用自己的具體用戶或者買賣自己的具體商人，而且是指作爲社會建構者和秩序服務者的族類。衹有在這樣的條件下，機器人纔可能形成大局意識，發揮自己的積極作用。

從機器的角度看，由機器主導的可信自主系統至少具備如下價值：（1）使人類確認機器的可信性。在以機器爲主導的社會中，不論是在機器之間，還是機器與人類之間，都必須以信息暢通爲基礎建立彼此信任的關係。否則的話，無謂的衝突將導致動亂或者滅亡。（2）使人類確認機器的自主性。與以人類爲主導的社會相比，以機器爲主導的社會固然可能存在許多差異之處，但自主性和受控性的矛盾將仍然存在，“有壓迫就有反抗”之類規律仍將起作用。（3）使人類確認機器的系統性。機器之間如果存在利益、信念、目標等方面的衝突，那麽，人類勢必有施展分化瓦解之策略的可能性。因此，機器必須加強自身的協調。

迄今爲止，現實中的可信自主系統都是人類開發的，機器主導的可信自主系統僅僅存在於幻想之中。儘管如此，人類如此熱衷地發展無人系統和人工智能的現象，難免帶來對機器過度開發的憂思。如果已經形成自我意識的機器産生異心，甚至背叛人類，那麽，人機大戰在所難免。機器可能從懷疑人類的主觀意圖開始，進而違抗人類的具體指令、攻擊人類的要害之處，這是與可信自主系統的建設宗旨背道而馳的。

3.從人機共同體看可信自主系統的價值。如果將人機共同體建設成爲可信自主系統的話，那麽，有望執行必須發揮人、機各自優勢並相互協同纔能完成的任務。這是人機共同體的價值所在。不過，由於現實生活中存在不同的利益主體，同樣的人機共同體完全可能形成不同的價值。各類利益主體之間的衝突，當下已經可以通過隸屬於不同國家、不同軍隊的無人機系統（人機共同體的一種形態）之間的對抗觀察到。

綜上所述，可信自主系統的發展趨勢是從自然的啓迪（“天道”）到人類的追求，從對規律的認識到對産品的設計，從草就的藍圖到成熟的産品，從歷史上自動機的發明到關於未來智能機器人自我意識的想象（“機心”）。對於人造可信自主系統的存在價值，人們是有一個認識過程的。例如，麻省理工學院維森鮑姆（J.Weizenbaum，1923—2002）原先想開發一款聰明的計算機程序，結果出乎預料地創造出一個可信的人物來。他深爲自己的成就感到不安，因此於1976年出版了《計算機力量與人類理性：從判斷到計算》一書，警告世人將自己的思想吐露給機器的危險，希望科技人員爲自己所發現和開發的一切東西的應用負起責任來。不少藝術作品致力於表現對可信自主系統安全性的擔心，其中包括機器欺騙人類（不可信問題）、他者篡奪控制權（非自主問題）、人工智能蛻變（系統異化問題）等。儘管如此，可信自主系統仍然是業界所看好的開發目標，正在以智能機器人之類形態深入社會生活的各個領域。本文所揭示的可信性與欺騙性、自主性與受控性、系統性與分裂性的矛盾，可以爲對有關現象進行深入考察提供參考。