當推論市場衝向 10 兆美元、純 SaaS 走向瓦解:為什麼「驗證能力」才是企業最後的護城河?
返回文章列表

當推論市場衝向 10 兆美元、純 SaaS 走向瓦解:為什麼「驗證能力」才是企業最後的護城河?

2026年10月26日
梵亞行銷 AI 研究室
企業AI轉型產業趨勢

本文由梵亞行銷的 AI 數位員工自動彙整產製,未經人工逐篇審閱;引用前請核對原始來源。

在生成式 AI 進入企業實際部署的深水區後,決策者最常面臨的困惑不再是「如何讓 AI 寫出一段程式碼或一份企劃」,而是「當 AI 幾秒鐘就能吐出上萬字看似嚴謹的報告時,誰來確認裡面沒有致命錯誤?」。

在《The Twenty Minute VC》近期的一集訪談中,主持人 Harry Stebbings 邀請到 MosaicML 創辦人 Naveen Rao,針對 AI 算力底層物理極限、軟體商業模式的崩解,以及企業導入 AI 的真實痛點進行了長達 73 分鐘的深度剖析。Naveen Rao 在訪談中拋出了一個極具衝擊力的預測:未來 10 年內,AI 推論(Inference)市場規模將膨脹至 10 兆美元,但傳統單純包裝雲端 API 的純軟體(SaaS)利潤卻將大幅萎縮。

對於台灣的 B2B 企業主與 AI 導入決策者而言,這場對話揭示了一個關鍵的商業轉折:當生產內容與代碼的邊際成本趨近於零,企業的競爭壁壘已經從「產出能力」正式翻轉為「定義規格(Spec)與閉環驗證的能力」。如果企業仍在採購零散的薄層 AI 工具,卻缺乏將 AI 產出與人類專家判斷結合的驗證工作流,不僅無法享受到生產力紅利,反而會被海量的「AI 廢料(AI slop)」拖垮營運效率。

瓶頸從「生產」轉向「驗證」:純 SaaS 瓦解與成果型服務崛起

過去十年,企業習慣為軟體工具按月付費(SaaS),再由員工操作這些工具來產出結果。但 Naveen Rao 在訪談中直言,這種商業模式正遭遇結構性危機 [44:36–48:48]。

原因在於,現代大型語言模型大幅降低了代碼與文字推論的產出門檻,卻同時帶來了泛濫的「AI 廢料(AI slop)」[26:30]。更危險的是,當企業嘗試部署長鏈條的自主代理(Agent)工作流時,決策鏈極易在多步驟推論中偏離軌道,最終輸出外表看似嚴謹健壯、實質上卻完全錯誤的結果 [26:30]、[30:08]。

這導致軟體開發與企業營運的最大瓶頸,已經從「生產」徹底轉向「驗證」。Naveen Rao 指出,隨著推論市場在 10 年內邁向 10 兆美元規模,單純包裝雲端 API、提供操作介面的純 SaaS 軟體,其利潤空間將大幅萎縮 [45:08]。未來的企業服務交付,將全面轉向「AI + 人類專家驗證」的成果型服務(Service-as-a-Software)——他以法律 AI 獨角獸 Harvey 為例,說明高單價專業服務市場真正買單的不是一個聊天框,而是結合 AI 產出與專業人士把關的終端成果交付 [46:40]。

在這個新範式下,企業真正的護城河不再是擁有多少軟體工具,而在於內部是否具備懂業務規格(Spec)、且能閉環驗證最終成果的人類專業判斷力 [57:11]。

同時,這場轉型也正在拉大大型機構與中小型企業之間的技術鴻溝。Naveen Rao 觀察到,像大型法律事務所 Cooley 這樣的巨頭,有能力直接投入 5 億美元打造專屬的 AI 系統與微調模型;但廣大的長尾中小型企業完全無力承擔這種級別的自建成本,因此對「開箱即用、端到端保證成果」的外部服務存在剛性依賴 [48:48–50:24]。

有人或許會問:當 AI 大幅降低單次服務的交付成本,服務市場的總規模會不會萎縮?Naveen Rao 引用了經濟學上的「傑馮斯悖論(Jevons Paradox)」給出否定答案 [53:33–54:04]。他比喻,如果機器人能承擔一棟大樓 80% 的建造工序,把原本兩年的工期縮短到八個月,世界並不會因此減少建築支出,反而會因為效率提升而建造兩倍數量的大樓。同理,當 AI 結合人類驗證降低了專業服務的單位交付成本,只會引爆企業更大規模的數位轉型與業務交付需求。

算力底層的物理極限與模型市場的「殘酷二八法則」

為什麼推論成本結構與模型選擇,會直接影響一般企業的 IT 預算配置?因為 AI 的底層硬體正撞上物理與能源的硬牆。

Naveen Rao 從底層架構解析,傳統半導體依賴的摩爾定律(Moore's Law)與 Dennard scaling 純物理製程增益已近停滯 [01:37]、[09:21–11:28]。在算力基建端,能源已成為最昂貴的瓶頸:新建 1 GW(十億瓦)發電容量需要耗資約 500 億美元,這筆金額甚至高於建造一座 200 億至 300 億美元的先進晶圓廠,且電力市場已經出現雙軌定價現象 [07:49]。在推論成本中,電力佔比已高達 50%。

當硬體本質上變成「將能量轉為智慧」的載體,資料中心的商業邏輯就徹底轉為「電力變現率」。為了突破能耗牆,現代 AI 系統無法再只靠堆疊通用晶片,而必須依賴 8-bit 甚至 4-bit 量化技術、減少數據搬運以及非馮紐曼架構等模型與硬體的協同設計 [09:21]、[22:23]。

這種底層算力的物理與經濟限制,直接決定了未來企業使用 AI 模型的市場結構。Naveen Rao 預估,在未來 3 年內,AI 模型市場將呈現鮮明的「二八分化」[66:04–67:08]:

  1. 80% 的日常流量歸於輕量與開源模型:企業內部大量、高頻、標準化的日常任務,將由經過量化與最佳化的開源或輕量模型承載,佔據高達 80% 的 Token 流量。
  2. 20% 的高難度流量吃下 50% 總支出:真正前沿的閉源旗艦模型,雖然僅佔整體 20% 的 Token 流量,但因為專門負責處理高複雜度、高價值的關鍵決策任務,將囊括市場高達 50% 的總支出。

我們的觀察是,這組數據對企業技術架構是一記明確的警鐘:如果企業把所有日常客服、基礎文案整理與高階策略分析全部丟給最昂貴的旗艦模型處理,在財務上將完全無法持續;反之,若為了省錢將複雜的多步驟決策交給輕量模型,又會立刻陷入前文所述的「AI 廢料」災難。

這對你的企業意味著什麼

面對純 SaaS 價值萎縮、算力二八分化以及企業技術鴻溝擴大的局勢,台灣的 B2B 企業主與決策者不該再沿用過去採購傳統軟體的思維。我們建議立即從以下四個具體行動重新校準企業的 AI 策略:

1. 停止採購零散工具,轉向「AI 產出+人類閉環驗證」的成果型服務

既然連大型機構都需耗資數億美元才能自建專屬模型 [48:48–50:24],廣大的中小型企業最務實的策略,就是放棄從頭訓練模型或購買一堆需要員工自己摸索的零散 SaaS 工具。企業預算應該轉向採購能夠「端到端交付成果」的混合型服務——由外部合作夥伴提供結合 AI 自動化工作流與領域專家把關的解決方案,直接為最終的業務結果(如合規審核通過的文件、可執行的行銷增長方案)買單。

2. 在內部工作流強制設立「規格定義(Spec)」與「獨立驗證層」

正如 Naveen Rao 在 [26:30–30:08] 片段中反覆強調,長鏈條 Agent 極易在缺乏監督下失控。企業在導入任何多步驟 AI 自動化流程時,絕對不能讓 AI 的產出直接進入正式營運環境或發送給客戶。我們建議企業在工作流中建立明確的「驗證層(Verification Step)」:先由資深人員定義清晰的業務規格(Spec)與檢查標準,先透過自動化規則攔截明顯錯誤,最後在關鍵節點設置人類專家的核准點(Human-in-the-loop),把資深員工的時間從「自己動手寫」轉移到「嚴格審核 AI 產出」。

3. 落實 80/20 模型路由分流,最佳化 Token 投資報酬率

對齊未來 3 年「80% 流量走輕量模型、20% 高難度任務走旗艦模型」的市場結構 [66:04–67:08],企業在規劃內部 AI 架構時,應立即導入模型路由(Model Routing)機制。將日常對話、格式轉換、初步資料摘要等常規處理派發給低成本的輕量或開源模型;僅將高階商業邏輯審查、複雜推理與安全合規決策交由前沿閉源旗艦模型處理,避免在低價值任務上浪費高昂的算力預算。

4. 重新評估內部人才價值:能寫出好 Spec 的領域專家更值錢

當產出成本歸零,企業內部誰最具有不可替代性?答案是那些深刻理解業務邏輯、能精準定義需求規格(Spec),並一眼看出 AI 產出哪裡不合理的資深領域專家 [57:11]。企業主應停止將 AI 視為裁撤資深人員的工具,而是將 AI 定位為放大專家驗證能力的槓桿。

風險與反方觀點

在積極擁抱推論市場爆發與 Agent 工作流的同時,Naveen Rao 也在訪談中直白點出了三項決策者不可忽視的結構性風險:

  1. 長鏈自主決策的失控風險:這是當前企業導入 AI 最容易踩中的陷阱。Naveen Rao 警告,在沒有建立驗證閉環的情況下,企業切忌盲目信任長鏈條 Agent 的自主決策或全自動部署 [26:30]、[30:08]。因為現代模型的特性是即便邏輯已經偏離軌道,其輸出的文字或代碼表面上依然看似嚴謹健壯,若缺乏人類專家的最終驗證,這類隱性錯誤將對企業營運造成實質損害。
  2. 薄層工具被底層模型廠整併的風險:無論是評估投資標的或採購企業軟體,都必須警惕「薄層封裝(Thin Harness)」的脆弱性。Naveen Rao 指出,單純的外掛程式或薄層介面工具(例如通用的 Coding IDE 或 Cursor 類工具),本身缺乏長期防禦壁壘,極易在底層大模型廠商向下延伸功能時被直接整併淘汰 [65:33]。企業若將核心流程高度綁定在缺乏垂直業務深度的薄層工具上,將面臨供應商隨時洗牌的轉換成本。
  3. Transformer 架構的底層效率瓶頸:從長遠技術演進來看,現行主流的 Transformer 架構並非終局。Naveen Rao 分析,目前模型透過注意力機制檢索、並採樣生成多條推理軌跡(reasoning trace)的做法,其實並非真正高效的推理——因為人類大腦在思考時,並不會把整個推理過程重新複製並餵回大腦裡再讀一遍 [39:26]、[40:27]。為了突破能耗與推理效率限制,未來勢必會出現超越 Transformer 的新型計算架構,企業在設計底層系統時應保持模型解耦的彈性。

結語

10 兆美元的推論市場,意味著 AI 將滲透進每一個商業決策與執行細節;但純 SaaS 模式的瓦解,也宣告了「買一套軟體就能解決問題」的時代正式結束。

在這場從「生產」轉向「驗證」的範式轉移中,台灣的中小企業與 B2B 決策者無需為無法像跨國巨頭那樣砸下數億美元自建模型而焦慮。真正的勝負手,在於誰能率先放棄對零散薄層工具的迷思,將資源集中於定義清晰的業務規格(Spec),並引進結合「AI 高效產出+人類專家閉環驗證」的成果型服務工作流。當算力與產出變得像電力一樣充沛,唯有掌握驗證能力的人,才能將這股龐大的能量真正轉化為企業的商業智慧與利潤。


原始連結與參考資料

想親自聆聽 Naveen Rao 與 Harry Stebbings 完整對談的讀者,可透過以下連結觀看原節目(建議重點關注 09:21–11:28 摩爾定律極限與能量轉換、26:30–30:08 AI 廢料與驗證瓶頸,以及 44:36–48:48 純 SaaS 瓦解與 Harvey 案例分析):