超級AI七年內將問世，OpenAI擬“大手筆”投入嚴防失控

**來源：**財聯社

編輯黃君芝

ChatGPT開發商OpenAI週三（5日）表示，該公司計劃投入大量資源，並創建一個新的研究團隊，以確保其人工智能（AI）對人類來說是安全的，最終實現AI的自我監督。

OpenAI聯合創始人Ilya Sutskever和負責提高系統安全性的AI一致性團隊負責人Jan Leike在一篇博客文章中寫道：“超級智能的巨大力量可能……導致人類被剝奪權力，甚至人類滅絕。”

“目前，我們還沒有一個解決方案來操控或控制一個潛在的超智能AI，並防止它失控。”他們寫道。

AI一致性（alignment）指的是AI的行為需符合設計者的利益和預期目標。

20%算力用來解決AI失控問題

他們預測，超智能AI（即比人類更聰明的系統）可能在這個十年（2030年前）就會到來，人類將需要比目前更好的技術來控制超智能AI，因此需要在所謂的“一致性研究”方面取得突破，該研究的重點是確保人工智能對人類有益。

根據他們的說法，在微軟（Microsoft）的支持下，**OpenAI將拿出未來四年所獲算力的20%用於解決AI失控的問題。 **此外，該公司正在組建一個新的團隊來組織這項工作，稱為超級一致性團隊。

據悉，該團隊的目標是創建一個“人類級別”的AI研究人員，然後通過大量的計算能力進行擴展。 OpenAI表示，這意味著他們將使用人類反饋來訓練AI系統，訓練AI系統來輔助人類評估，然後最終訓練AI系統進行實際的一致性研究。

專家質疑

不過，這一舉措剛剛宣布就受到了專家的質疑。人工智能安全倡導者Connor Leahy表示，OpenAI的計劃從根本上存在缺陷，因為可達到“人類水平”的初級版AI，可能會在被用於解決AI安全問題之前失控並造成嚴重破壞。 “

他在接受采訪時說：“在構建人類水平的智能之前，你必須先解決一致性問題，否則默認情況下你無法控制它。我個人認為這不是一個特別好的或安全的計劃。”

AI的潛在危險一直是AI研究人員和公眾最關心的問題。今年4月，一群AI行業領袖和專家簽署了一封公開信，呼籲暫停訓練比OpenAI新推出的GPT-4模型更強大的人工智能係統至少6個月，理由是它們對社會和人類構成潛在風險。

一項最新的民意調查則發現，超過三分之二的美國人擔心AI可能產生的負面影響，61%的人認為AI可能威脅到人類文明。