從「Hello World」開始：人與機器的權力關係原點
在 Hannah Fry 的著作《Hello World》中，這個看似簡單的標題不僅是程式設計師的入門密語，更是一個深刻的隱喻，標示著人類與機器權力關係的原點。它象徵著一個對話的開始，一段夥伴關係的萌芽。本書的探討便回溯至這個原點，檢視演算法作為人類意圖延伸的本質，並揭示我們與這些日益強大的「夥伴」之間，最初的權力設定。
作者以其個人學習程式設計的經歷為開端。如同無數的程式設計新手，她寫下的第一個程式，便是在螢幕上顯示「HELLO WORLD」。這個傳統可追溯至 1970 年代，由電腦科學家 Brian Kernighan 在其廣受歡迎的程式教科書中確立。這個時刻標誌著電腦歷史上的一個重要轉捩點：電腦從由專業人士操作、以打孔卡和紙帶為介質的龐大機器，轉變為我們今日所熟悉的、擁有螢幕與鍵盤的個人電腦。「Hello world」正是在人機之間得以進行即時「閒聊」的黎明時刻誕生的。
「Hello World」這句問候蘊含著雙重意涵。它既是人類向程式設計世界宣告自己的到來，也象徵著電腦本身從純粹的計算工具中「覺醒」，準備好與現實世界連結，並執行其新主人的指令。這不僅僅是一種單向的控制，而是一種相互依存的夥伴關係——一個共享的旅程，一方不能沒有另一方而存在。
本書的核心論點由此展開：演算法並非自主、神秘的存在，而是人類意圖的延伸。它們是我們設計、建構並賦予其目標的工具。因此，關鍵問題從來不在於「機器是否聰明」，而在於「我們如何運用它們」。當演算法日益深入我們的生活，控制著我們的未來時，記住這個人機對話的初始設定顯得格外重要。
從這句象徵夥伴關係的問候語開始，我們踏上了一段人機協作的旅程。然而，當棋王 Garry Kasparov 坐到棋盤的另一端時，他很快就發現，這位新「夥伴」的力量，遠不止於冰冷的運算，更能巧妙地鑽入人類心靈最深處的縫隙。
演算法的真正力量，不只來自運算能力
演算法的影響力遠不止於其技術上的運算優勢，其更深層的力量，根植於它對人類心理的洞察與利用。本章將透過棋王 Garry Kasparov 對戰 IBM「深藍」（Deep Blue）的經典案例，說明演算法的權力，往往來自於它如何巧妙地利用人類的認知偏誤與情感弱點。
1997 年，深藍的勝利不僅僅是依賴其強大的運算能力，更是一場精心策劃的心理戰。
- 心理戰術：IBM 的工程師們做了一個極其高明的決定——他們讓深藍表現得比實際更「不確定」。在比賽中，深藍有時會在完成計算後故意延遲數分鐘才出招。這在Garry Kasparov 看來，是機器正在「掙扎」的跡象，讓他誤以為自己已「成功地將棋局拖入了電腦無法應對的、可能性多到令人難以置信的複雜領域」。事實上，深藍早已胸有成竹，只是靜待時鐘流逝。這個小小的伎倆，成功地擾亂了棋王的心態。
- 關鍵一擊：在第二局比賽中，Garry Kasparov 試圖引誘深藍步入陷阱，但深藍不僅識破了計謀，更做出了一個出乎意料的防守。這個舉動徹底震懾了Garry Kasparov ，他在賽後描述，深藍在那一刻「突然像上帝一樣下棋」。這一擊不僅摧毀了 Garry Kasparov 的戰術部署，更粉碎了他的信心。
Garry Kasparov 事後的反思揭示了他失敗的真正根源。他承認自己「犯了一個錯誤，以為電腦下出令人驚訝的棋步，就代表那一步在客觀上也是強大的棋步」。他高估了機器的能力，同時低估了自己因被震懾而導致的表現失常。換言之，是他的恐懼與誤判擊敗了自己。
本章的核心論點於此浮現：演算法的權力，有相當一部分是人類對其能力的「投射」與「預期」所賦予的。我們的期望、恐懼與認知弱點，如同放大器一般，將演算法的影響力提升到了新的層次。
Garry Kasparov 的敗戰揭示了演算法的力量如何被我們的想像所放大。然而，當這種投射從棋盤上的敬畏轉為日常生活的輕信，其潛在的危險便不再是輸掉一場比賽，而是徹底放棄我們自己的判斷力。
盲目信任的代價：當人類放棄自己的判斷
從棋局到日常生活，我們對演算法的依賴與日俱增。當這種依賴轉變為不加思索的盲從時，往往會產生危險的後果。本章將透過真實案例，探討人類在面對「通常正確」的演算法時，如何輕易地放棄了自己的獨立判斷力。
書中引用了一個極端的例子：駕駛員 Robert Jones 因完全聽從其 TomTom GPS 導航的指示，最終將自己的 BMW 開向了懸崖邊緣，僅靠一道脆弱的木籬笆才免於墜落。他在事後表示，他「沒有理由不相信 TomTom」。這種心態恰恰凸顯了盲目信任的潛在危害——我們忽略了眼前真實的資訊（例如一條明顯不適合行車的土路），而將高於現實的權威性賦予了演算法。
這種現象在心理學實驗中得到了更精確的驗證。在一項名為「Kadoodle」的搜尋引擎實驗中，研究人員透過操縱搜尋結果的排序，成功地將受試者支持特定候選人的比例提高了 12%。研究者羅伯特・艾普斯坦（Robert Epstein）指出，人們傾向於相信搜尋引擎做出了「明智的選擇」，並在不知不覺中被其排序所操控。更令人擔憂的是，當人們沒有意識到自己被操縱時，他們會認為自己是自願地形成了新的觀點。
這揭示了人類在面對演算法時普遍存在的認知偏誤：我們容易將一個「通常正確」的系統，誤解為一個「永遠正確」的權威。在這種心態下，我們逐漸放棄了批判性思考與獨立判斷的能力，將決策權拱手讓出。
當我們將GPS的指示奉為圭臬，將搜尋引擎的排序視為真理，我們便已在不自覺中讓渡了決策權。更令人不安的是，我們往往是在假設這些系統本身是精密且可靠的前提下做出這種讓渡。但弗萊接著便要揭示一個殘酷的真相：許多被賦予巨大權力的演算法，其內部可能空無一物。
演算法不一定高明，但我們常以為它們是
在本書最具警示意義的章節之一，弗萊揭示了一個令人不安的真相：許多影響我們生活的演算法，其權威性並非源於複雜的數學，而是源於我們的集體想像。美國愛達荷州的案例便是對這種「演算法皇帝新衣」現象的無情解剖。
愛達荷州削減殘疾人士醫療補助的「預算工具」是一個發人深省的案例。
- 問題背景：2012 年，愛達荷州數千名殘疾人士突然發現，他們的醫療補助在沒有任何明確解釋的情況下被大幅削減。這些決策看似由一個自動化的「預算工具」做出，但其結果卻顯得極其武斷，導致許多人無法支付必要的照護費用，引發了集體訴訟。
- 真相揭露：在美國公民自由聯盟（ACLU）的法律挑戰下，這個所謂的「演算法」的真面目被揭開。它並非什麼複雜的 AI 模型，而只是一個充滿錯誤和統計缺陷的 Excel 試算表。其數據充滿漏洞，公式結構存在根本性的統計瑕疵，導致其決策基本上是隨機的。最終，法院裁定該工具違憲。
- 制度盲點：此案的法律總監理查・艾賓克（Richard Eppink）一針見血地指出：「我們都對電腦化的結果存在偏見——我們不會去質疑它。」人們普遍輕信電腦產生的結果，而不會主動探究其運作方式。更嚴重的是，州政府最初以「商業機密」為由，拒絕公開這個試算表的內部邏輯，這顯示了制度本身對演算法的盲目保護，使其免於必要的審查。
這個案例的核心教訓在於：真正的問題不只在於演算法的技術瑕疵，更在於人類使用者和相關制度對其不加審查的輕信與捍衛。我們將一個粗劣的人類決策包裝在程式碼的外衣下，並賦予其不應有的權威。
愛達荷州的案例證明，演算法的權威外衣下可能藏著的只是粗劣的人類決策。這似乎指向一個簡單的解方：在系統中保留人類的最終否決權。然而，當警報響起，壓力驟升，人類的判斷是否真能成為可靠的保險？弗萊透過兩個極端的案例，揭示了這道看似簡單的防線，實則充滿了人性的矛盾與風險。
誰該擁有否決權？人類介入的兩難
在自動化系統中，賦予人類最終決定權，既是防止災難的必要保險，也可能成為引發災難的新風險。本章將透過兩個極端的真實案例，探討「人機協作」中最棘手的權力分配問題——究竟誰該擁有最後的否決權？
- 一次力挽狂瀾的否決 1983 年，蘇聯軍官斯坦尼斯拉夫・彼卓夫（Stanislav Petrov）正負責監控核武預警系統。一天午夜，警報大作，系統顯示美國發射了五枚飛彈。按照規定，他應立即上報，這幾乎肯定會引發一場全球核戰。然而，彼卓夫基於直覺，對演算法產生了懷疑——他認為，如果是真正的攻擊，規模絕不可能如此之小。他選擇了違反規定，按兵不動。事實證明，他是對的，系統出現了錯誤。他憑藉一己之力，阻止了一場潛在的末日浩劫。
- 一次釀成悲劇的否決 2015 年，英國奧爾頓塔主題公園的「微笑者」雲霄飛車發生了慘烈的碰撞事故。當時，自動安全系統偵測到軌道上有障礙物（一節空車廂），並自動煞停了載滿遊客的車廂，同時發出警報。然而，兩名工程師因為過度自信，認為自己剛剛修復了故障，便斷定是系統出錯。他們共同否決了演算法的警告，手動重啟了設施，導致滿載遊客的車廂直接撞上空車廂，造成多人重傷，兩名少女因此失去雙腿。
這兩個案例揭示了一個深層問題：關鍵不在於「人類和機器誰更準確」，而在於當錯誤發生時，「責任由誰承擔」。演算法冰冷無情，無法感受決策的後果與重量，但人類必須。彼卓夫事後回憶：「我很清楚，如果我犯了錯，沒有人能糾正我的錯誤。」正是這種沉重的責任感，讓他做出了正確的判斷。
彼卓夫的沉著與奧爾頓塔工程師的魯莽，描繪出人機協作中權力分配的極端兩難。這揭示了我們對演算法的態度並非穩定不變，而是在盲目信任與極度厭惡之間劇烈擺盪。這種矛盾的心理，正是阻礙我們與技術建立理性關係的根源。
演算法通常比人類準，但我們更寬容自己的錯
我們時而迷信其全知全能，時而又無法容忍其犯下任何微小的錯誤。這種在迷信與厭惡之間的大幅搖擺，背後的根源究竟是什麼？
早在 1954 年，心理學家 Paul Meehl 的研究就為我們提供了一個重要的基準點。他系統性地比較了人類專家與統計模型在各種預測性任務（如醫療診斷、學業表現預測）中的表現，結論是：即使是簡單的數學演算法，其準確性也普遍勝過人類專家的判斷。後續數十年的無數研究也證實了這一點。然而，弗萊在書中也提及一個耐人尋味的例外：在 1950 和 60 年代，關於同性戀的「診斷」，人類的判斷力卻遠勝於演算法，這似乎暗示著，「有些事物是如此內在地屬於人性，以至於數據和數學公式將永遠難以描述它們。」
儘管有大量證據支持演算法的優越性，人類卻表現出一種被稱為「演算法厭惡」（algorithm aversion）的心理現象。研究顯示，人們對機器犯錯的容忍度，遠遠低於對人類犯錯的容忍度——即使人類犯的錯更大、更頻繁。當我們知道一個演算法可能犯錯時，我們傾向於完全拋棄它，轉而依賴自己那更加不可靠的直覺。
綜合上述觀點，我們可以得出本章的核心論點：我們對演算法的評價並非完全基於客觀的表現，而是受到強烈的情感偏見所影響。我們時而將其奉若神明，過度信任；時而又因其一次失誤而將其貶得一文不值。這種在迷信與厭惡之間的搖擺，阻礙了我們與這項強大的新技術建立一種理性的、富有成效的合作關係。
我們在迷信與厭惡間的搖擺，證明了我們對演算法的評價遠非客觀。然而，這場人機之間的拉鋸戰，其核心爭議並非技術的優劣，而是一個更根本的社會議題：當一種新權威崛起時，我們究竟選擇如何讓渡權力、劃分責任？這正是本書所有案例最終指向的核心。
真正的問題不是演算法，而是權力的移轉
本書的核心論點並非關於技術失控的科幻式恐懼，而是關於人類社會如何一步步、主動地將決策權讓渡給演算法，使其成為新的權威來源。這是一場深刻的權力移轉，而非單純的技術革命。
演算法之所以能迅速崛起，是因為它成為了一個「方便的權威來源」。在面對複雜的社會問題時，我們傾向於用一個看似客觀、中立的系統，來取代充滿爭議的人類思考。正如愛達荷州政府試圖用一個充滿缺陷的 Excel 試算表來決定公民的福祉，並以「商業機密」為擋箭牌，來迴避艱難的責任歸屬問題。當決策導致負面後果時，將責任推給一個冰冷的「黑盒子」遠比承認人類與制度的錯誤來得容易。
因此，這場變革的本質是「權力移轉」。演算法從未單獨掌權，是人類的選擇使其掌權。是我們將一個個試算表、一套套程式碼奉上神壇，並捍衛其不受質疑的地位。我們正面臨的危機，不是機器即將失控，而是人類選擇主動退出決策迴圈。
既然權力是由人類賦予的，那麼最終的判斷權與隨之而來的責任，也理應由人類承擔。這是我們在演算法時代不可推卸的使命。
最後的判斷權，仍然屬於人類
演算法的興起，以前所未有的方式迫使我們重新審視何為人類的判斷、責任與理性。它像一面鏡子，映照出我們自身的偏見、弱點，以及我們獨有的、不可替代的價值。
棋王 Garry Kasparov 在輸給深藍後，並未沉溺於失敗，反而倡導了一種名為「人馬棋」（Centaur Chess）的新模式。在這種模式中，人類棋手與電腦演算法組成團隊，共同對抗另一支人機組合。這提供了一個近乎完美的理想模型：它將人類的戰略直覺、大局觀與創造力，與機器無與倫比的戰術計算能力和精準度相結合，最終達到了超越任何單一方的更高境界。
這正是本書的最終觀點：演算法是強大的輔助工具，能放大我們的能力、糾正我們的錯誤，但不應免除人類承擔後果的最終責任。因為在所有參與者中，只有人類能夠真正「感受」到決策的重量，理解其對他人生活的深遠影響。
真正的理性，不是盲目追求全面的自動化，而是為我們的信任劃定清晰的邊界，智慧地設計人機協作的流程。未來不是一道「人類 vs. 演算法」的單選題，而是一項關於我們如何智慧地進行「共同治理」的巨大挑戰。最後的判斷權，永遠且必須屬於人類。
發佈留言