最近，我一直在深入研究Grok，並注意到基礎設施擴展方面的一些令人著迷的事情。一家主要的AI推理提供商剛剛啟用Colossus 2集群——運行容量達到1GW。這真的令人印象深刻。他們在這個規模下管理的電力密度可以媲美小型電網。對於任何追蹤大型語言模型部署趨勢的人來說，這種基礎設施的建設非常重要。它標誌著計算軍備競賽的升溫。能夠為AI工作負載持續提供1GW的電力並非易事；這需要在冷卻、網絡和電力分配方面進行嚴格的優化。如果你一直在關注AI平台如何應對同時的用戶負載，這正是支撐它的骨幹。隨著推理需求的不斷加速，值得密切關注。