技術趨勢

地端AI與開源模型的真實算式:token便宜了60倍,企業為何還是擴展不出去?

地端AI與開源模型的真實算式:token便宜了60倍,企業為何還是擴展不出去?

Mozilla在九月發布的《The State of Open Source AI》更新版裡,有一張圖把兩條曲線放在一起。一條是AI推論的單位價格,四年間降了大約60倍。另一條是記憶體現貨價,過去一年漲了大約700%。

這兩條線剛好說明了今年企業在想的那件事。模型越來越便宜,用量越來越大,資料又不想放在別人家,那要不要把AI搬回自己的機房?可是當你真的開始估價,會發現要買的伺服器比去年貴了一截。

把AI搬回地端,從來不是一句「資料不出門」就能決定的事。它是一道算式,而且算式裡最大的那一項,通常不在硬體報價單上。

## 開源模型已經不是備胎

先看開源模型走到哪裡了。

根據Mozilla的統計,在AI模型路由平台OpenRouter上,八月依token用量排名的前十個模型中,有八個是開放權重模型,其中七個出自中國的團隊。DeepSeek在八月初成為第一個登上該平台每週請求數第一名的開放模型,結束了Google連續51週的領先。

企業端的數字也在往同一個方向走。美國研究機構ETR九月發布的企業調查指出,開放權重模型已占受訪企業AI token用量的34%,一年前是23%,受訪者預期一年內會升到41%。在部署方式上,自行管理的雲端環境占46%,自有機房占42%,兩者已經相當接近。

換句話說,開源模型不再是「預算不夠才用」的替代品,而是企業認真評估的主要選項之一。

## 上線率落後12個百分點,而且公司越大差越多

但同一份Mozilla報告也給了一個很誠實的數字:開源模型真正進到正式環境的比率,比閉源模型低12個百分點。

更值得注意的是這個落差怎麼分布。依企業規模拆開來看,公司越大,開源與閉源的上線率差距就越大,員工千人以上的企業差到約16個百分點。報告的解讀很直接:規模能補上閉源模型的落差,卻補不了開源模型的落差,所以問題出在工具鏈,不在預算。

這句話值得多想一下。大企業有錢、有人、有機房,照理說最有條件自架模型,結果反而卡得最深。原因是規模越大,要接的系統越多,資料越分散,權限越複雜,稽核要求越嚴。模型本身下載下來就能跑,但要讓它安全地讀到正確的資料、接進既有流程、出錯時有人負責,這些才是真正的工作量。

ETR的調查也呼應了這一點。企業列出開放權重模型上線的最大障礙,第一名是資安與法遵審查尚未完成,占62%,比七月又多了9個百分點。第二名是自架成本,從40%升到50%。

## 台灣的情況:用了很多,擴展得很少

台灣這邊的數字描繪出很相似的輪廓。

資策會產業情報研究所(MIC)在九月的MIC FORUM Fall上發布調查,53%的企業看好生成式AI三年內普及,39%的組織已經開始使用AI代理,但真正在內部各環節擴展應用的只有23%。

MIC副所長楊中傑指出,企業正在結合開源模型、內部資料庫與檢索增強生成(RAG),在地端打造專屬的AI系統,並舉了金融業把模型調校成授信專家、醫療業用地端架構處理敏感病歷、石化業建立工安與原物料預測模型等例子。他同時提到,未來企業選型會更看重五件事:推論成本、部署自主性、資料治理、可靠度,以及應用整合。

這五項裡,只有推論成本主要取決於模型本身。其餘四項,部署自主性、資料治理、可靠度與應用整合,全部是系統架構與整合的問題。39%和23%之間那16個百分點,卡住的多半就是這四件事。

中小企業的處境又更早一步。經濟部中小企業白皮書的調查顯示,台灣中小企業的AI導入率為7.4%,而OECD國家中小企業的平均是39%。九成以上的中小企業已有基本的數位化環境,但只有15.3%能真正把營運資料做視覺化、預測或加值運用。

鄧白氏與人工智慧科技基金會在九月十九日發布的台灣千大中小企業調查則顯示,63.1%的中小企業仍停在AI導入的前兩個階段,86.7%的AI投資決策尚未正式落地執行。與此同時,約有八成員工已經在工作中私下使用AI工具。公司還在開會評估,員工早就自己用上了,只是用在沒有人管的地方。

## 卡住的那一段,是資料

把這些數字串起來,會得到一個很一致的答案。

Cloudera與《哈佛商業評論》分析服務今年三月的調查指出,只有7%的企業認為自己的資料已經完全準備好供AI使用。受訪者列出的首要障礙,是資料孤島與跨系統整合困難,占56%。

這也是為什麼「把AI搬回地端」常常變成一個比預期大很多的專案。模型可以一個下午就裝好,但要讓它回答「這張訂單的交期為什麼延誤」,它得同時讀到ERP的出貨紀錄、MES的生產排程、採購系統的到料狀態,以及客服系統裡那封客戶來信。這些資料分散在不同系統、不同格式、不同權限底下,很多甚至從來沒有被整理成可以查詢的樣子。

地端AI真正要花錢的地方,不是機器,是把資料整理成模型讀得懂、又只讓該看的人看得到的狀態。

## 決定要不要搬回地端之前,先回答四個問題

如果你正在評估自建或地端部署,我們建議先把下面四題答清楚。

  • 你要AI處理的資料,現在是不是已經可以被程式查詢?還是散在Excel、紙本與各部門自己的系統裡?
  • 這些資料的權限誰定義?模型回答問題時,會不會讓業務看到財務才能看的數字?
  • 地端模型出錯或變慢的時候,誰負責排查?你的團隊裡有人會做模型版本管理與效能監控嗎?
  • 算過總持有成本嗎?除了伺服器與GPU,還有電力、機房、備援、授權,以及至少一個人的維運工時。

這四題裡,前兩題是資料治理,後兩題是維運能力。如果前兩題還答不出來,現在最值得投資的通常不是伺服器,而是資料整合。先把資料接通、權限理清,無論最後選擇雲端、地端還是混合架構,這一步的投資都不會白費。

## 模型會越來越便宜,整合不會

推論價格還會繼續下降,開源模型的能力也會繼續逼近閉源模型,選擇只會越來越多。但不管選哪一個模型,把它接進企業的資料與流程、讓它安全穩定地跑下去,這段工作不會因為模型變便宜而消失。

這正是我們作為系統整合與數位轉型夥伴的工作重心。我們協助企業做的,不是挑一個最強的模型,而是先盤點資料在哪裡、系統怎麼串、權限怎麼切、出事時誰負責,再依循ISO 27001等治理標準,把AI放進一個可以長期維運的架構裡。

因為決定AI能走多遠的,從來不是模型的排名,而是它背後那套系統能不能撐得住。