人工智慧自誕生以來就一直是人們熱烈討論的話題。儘管人們擔心類似天網的人工智慧會統治宇宙、毀滅人類，這種擔憂至少可以說是毫無道理的，但一些實驗卻得出了令人不安的結果。
其中一個實驗就是最大回形針問題，這個思想實驗表明，高智慧人工智慧即使設計時完全沒有惡意，最終也可能毀滅人類。查看 OpenAI 真的失去了對其 ChatGPT 聊天機器人的控制嗎？
快速連結
解釋回形針過多的問題
這個思想實驗最初被稱為“回形針增強”，它表明即使是完全良性的人工智慧最終也可能對人類生活產生負面影響。之所以選擇回形針來展示人工智慧的功能，是因為它們幾乎沒有明顯的危險性，而且與治療癌症或贏得戰爭等類似問題的其他領域相比，回形針不會造成情緒困擾。
第一個實驗出現在瑞典哲學家尼克·博斯特羅姆於 2003 年發表的一篇論文中， 高階人工智慧中的倫理問題 其中包括一個“回形針放大鏡”，以展示足夠先進的人工智慧可能帶來的生存風險。
這個問題提出了一個人工智慧，它的唯一目標是製造盡可能多的回形針。它可以決定把宇宙中的一切變成迴紋針，包括人類。一個夠聰明的人工智慧遲早會意識到，人類在三個不同的領域對它的目標構成了挑戰。
- 人類可以關閉人工智慧。
- 人類可以改變他們的目標。
- 人類是由原子構成的，而原子可以變成迴紋針。
在這三個例子中，宇宙中的回形針數量都會減少。因此，一個足夠聰明的人工智慧，如果其唯一目標是製造盡可能多的回形針，就會利用所有可用的材料和能量，並防止自身關閉或改變。可以想像，這比犯罪分子使用 ChatGPT 入侵你的銀行帳戶或電腦要危險得多。
人工智慧並非對人類懷有敵意，只是冷漠無情，不珍惜人類的生命。因此，一個只關心增加回形針數量的人工智慧，本質上會消滅人類，並將人類變成迴紋針，以達到其目標。
「回形針增強」是工具性趨同的一個例子，該術語指的是人工智慧以有害的方式（從人類的角度來看）追求無害的目標。如果我們不能安全地弄清楚如何讓機器珍惜人類的生命，那麼利用真正的人工智慧執行簡單、看似無害的任務可能會對人類構成生存風險。查看 使用生成式人工智慧工具時應避免的錯誤.
回形針問題如何應用於人工智慧？
關於「回形針增強」問題的研究和實驗都表明，一個非常強大的假設優化器或高度智慧的代理是其代表角色。然而，這個問題也適用於人工智慧，因為它完全符合這個角色。
畢竟，「回形針增強」的想法是為了展示高級人工智慧的一些危險而提出的。總的來說，它存在兩個問題。
- 正交性論題正交論題認為，智力和動機並不互相依賴。這意味著，具有高水平通用智慧的人工智慧有可能無法得出與人類相同的道德結論。
- 自動融合機器融合被定義為大多數足夠聰明的生物（包括人類和非人類）傾向於追求相似的子目標，即使它們的最終目標截然不同。以回形針供應過剩問題為例，這意味著人工智慧最終會攫取所有自然資源，甚至消滅人類，只是為了實現其製造更多回形針的目標。
「回形針數量增加」的例子凸顯的最大問題是有效收斂。黎曼假設也體現了這一點。在這種情況下，一個被設計來解決該假設的人工智慧很可能會決定佔領整個地球表面，將其變成一台電腦（最高效的電腦處理器），從而建造超級電腦來解決問題並實現其目標。
博斯特羅姆本人也強調，他認為回形針問題永遠不會成為真正的問題，但他的意圖是闡明，在不知道如何控製或編程的情況下製造超級智能機器，使其不會對人類構成生存威脅，是多麼危險。像 ChatGPT 這樣的現代人工智慧系統也存在問題，但它們遠不及回形針例子中討論的超級智慧 AI，所以現在還沒有理由恐慌。 ChatGPT 是否存在隱私問題？
先進的人工智慧系統需要極端的控制。
增加回形針的問題總是導致相同的結果，並凸顯了管理一個缺乏人類價值觀的高度智慧和強大系統的問題。
雖然用回形針來說明這個問題可能是最常見的方法，但它適用於你可以交給人工智慧的任何任務，無論是消除癌症、贏得戰爭、種植更多樹木，還是任何其他任務，無論它們有多麼顯而易見。你現在可以查看： 在網路安全中使用人工智慧會讓世界更安全嗎？
