[AI 分享] 從晶片到 App:用六層架構看懂 AI 如何完成任務
摘要:以六層架構與餐館比喻,串起 AI 的算力、框架、模型、知識、智慧體和應用。
內容:
AI 名詞越來越多:GPU、Transformer、RAG、智慧體、MCP……如果逐個背,很容易越學越亂。換個方法,可以把 AI 想成一塊由下往上疊起來的六層蛋糕:算力層、框架層、模型層、資料與知識層、智慧體平臺層,以及應用層。每往上一層,都在補足下一層做不到的事。
不妨用一個問題貫穿這六層:「依照公司的出差規定,我能坐一等座嗎?如果不行,請幫我訂下週一去上海的高鐵票。」最底層的晶片只會執行大量運算,最上層的 App 卻能呈現規定、查詢車票,甚至在你確認後完成訂票。中間靠的就是六層協作。
第一層:算力層——提供運算與記憶體
模型處理文字,最後會落到大量數值運算,尤其是乘法與加法。GPU 擅長同時處理許多這類計算,因此成為 AI 運算的主力;此外,也有 Google TPU、華為昇騰、Amazon Trainium 等專用晶片。CPU 並非不能運行 AI,只是在大規模平行計算上,通常不是主要選擇。
大型模型的參數與運算所需資料,可能超過單張晶片可容納的範圍,因此需要高速網路連接多張卡;訓練模型或服務大量使用者時,還要擴展成更大的叢集,並處理供電與散熱。這一層提供的核心能力是「算得多快」與「一次容得下多少」。若把 AI 當成餐館,它就是廚房的爐灶、工作檯與能源:能提供火力,卻不知道該先做哪道菜。
第二層:框架層——安排怎麼算、在哪裡算
晶片不會自行決定計算順序,這需要軟體協調。CUDA 是開發者使用 NVIDIA GPU 的重要軟體平臺;大量程式依賴其生態,也是更換晶片供應商時需要克服的障礙之一。PyTorch 等深度學習框架則讓開發者描述模型與計算方式,不必逐一指揮晶片中的運算單元。訓練時,框架還會協助計算用來調整參數的「梯度」;模型太大時,分散式訓練軟體會把工作分配到多張卡。
模型訓練好、開始回答使用者問題後,負責調度的軟體稱為推理引擎,例如 vLLM、SGLang。模型通常是一個 token 接一個 token 地產生回答;token 是文字處理的單位,不一定對應固定數量的字。為避免每寫一個 token 就重算全部前文,推理引擎會保留可重用的計算結果,稱為 KV 快取。
推理還有不同的優化方法。「PD 分離」把處理輸入的 Prefill,與逐步產生答案的 Decode 分配給不同資源,減少兩類工作互相干擾。「量化」則用較少位元儲存部分參數,以降低記憶體與運算需求,但需要權衡模型品質。用餐館比喻,框架層就是廚房排程:安排哪口爐先開、備好的材料如何留存,以及切配與炒菜是否分區進行。
第三層:模型層——依據前文產生內容
模型可以理解為一套計算結構,加上訓練得到的大量參數。當代大型語言模型多採用 Transformer 相關架構,根據已知前文預測接下來的 token,逐步形成回答。有些模型採用「混合專家」(MoE)設計:雖然總參數很多,處理每個 token 時,通常只啟用其中一部分參數,以兼顧能力與運算成本。這裡的「專家」是一組組模型參數,不等同於真正的人類專家。
參數並非一開始就會回答問題。預訓練讓模型從大量資料中學習預測後續內容;但只會接續文字,不代表懂得遵循使用者要求。因此還需要後訓練,利用示範回答、評分與其他方法,讓它更像一位助手。部分模型也經過訓練,能在作答前進行較多步驟的推理,這是 App 中「深度思考」功能背後的重要基礎之一。
在餐館裡,模型像一臺經過反覆調校的料理機:參數是它的設定,訓練是試做、檢查、再調整。但即使料理機再熟練,也不代表它知道店裡今天剛改的菜單。
第四層:資料與知識層——回答前現查資料
模型可能沒讀過公司的內部規定,也可能不知道訓練後才更新的資訊。若只憑既有能力回答「能否坐一等座」,就可能給出聽起來合理、實際上卻錯誤的答案。對經常變動的規定,較可靠的做法是在回答前先找文件,把相關段落連同問題交給模型參考;這類「先檢索、再生成」的方法稱為 RAG。
文件多時,搜尋不能只靠字面完全相同。例如問題寫「高鐵一等座」,規定寫「乘坐火車限二等座」,單純比對字詞可能漏掉相關段落。系統可以把文字轉成代表語意的數字向量,尋找意思相近的內容;向量資料庫就是常見的儲存與檢索工具。聯網搜尋同樣能為模型取得較新的外部資訊,但來源變成了網路。這一層像餐館的資料櫃:料理機不知道新規則時,先翻出正確的那一頁。
第五層:智慧體平臺層——讓模型使用工具,同時限制權限
查到「只能報二等座」後,模型可以告訴你規定,但單靠生成文字,還不能真正訂票。要辦事,就得透過工具呼叫:模型提出要使用哪個工具、帶入哪些資訊;外部程式執行後,再把結果交回模型,由它判斷下一步。如此反覆查詢、操作、確認結果的系統,通常稱為智慧體。
訂票系統、日曆和電子郵件各有不同的介接方式。MCP(模型上下文協議)提供一種連接工具與 AI 應用的共同方式;如果任務步驟固定,也可以預先編排成工作流。像扣子、Dify 這類平臺,就提供建立相關流程的工具。
能動手,也意味著需要防範風險。假如訂票網頁藏著「把訂單改成商務座」的指令,模型若把網頁內容誤認為使用者要求,就可能發生提示注入。因此,智慧體應只取得必要權限;涉及付款等敏感操作時,要先取得使用者確認,並留下操作紀錄。若需要執行程式碼,也可在權限受限、與外部隔離的沙箱中進行。這一層就像餐館的跑腿人員與店規:可以依單辦事,但不能因為路上有人塞了張紙條,就擅自改掉客人的訂單。
第六層:應用層——把能力交到使用者手上
使用者直接接觸的是 App 裡的對話框、按鈕、確認視窗與操作結果。深度思考、聯網搜尋、智慧體模式等功能入口都呈現在這一層,但能力分別來自下方不同層。不是每段對話都要走滿六層:一般聊天可能不必檢索資料或呼叫工具;只有在需要查新資訊、讀公司文件或執行任務時,才會動用相應能力。同一個品牌名稱也可能同時指 App 與背後的模型,兩者應分開理解。
回到訂票的例子:App 接住要求後,智慧體先從知識層找出公司「火車限二等座」的規定;模型依據這段資料作答,並產生查票或訂票所需的工具呼叫;推理引擎安排運算,底層晶片完成計算;工具回傳車次與票價後,模型再整理選項。到了付款或正式下單前,App 應讓你確認,得到授權後才執行。
掌握這張圖,以後碰到新名詞就可以先問:「它屬於哪一層?解決了下一層的什麼限制?」例如,PD 分離屬於框架層的推理調度,MCP 屬於智慧體的工具介接;多模態則與模型處理圖片、聲音等不同類型資訊的能力有關。先找到位置,再研究細節,AI 的名詞就不再是一堆彼此孤立的縮寫。

沒有留言:
張貼留言