2026年6月30日 星期二

[AI 分享] 大模型 Skill 載入機制

 [AI 分享] 大模型 Skill 載入機制

摘要 : 大模型技能不該一次全塞進提示詞,而應以三層按需載入機制,兼顧上下文、成本與效果。




內容:

在大模型系統中,很多新手一開始會直覺地認為,既然要讓模型具備多種能力,那就把所有技能說明、程式碼檔案與參考資料一次性全部放進提示詞裡。這種做法看似直接,實際上風險很高。


首先,大模型的上下文視窗非常寶貴。如果同時塞入大量技能內容,不只容易讓上下文迅速膨脹,導致模型無法抓住重點,也會明顯提高推理成本,進而帶來高昂的使用費用。


較好的做法是採用「漸進式披露」的思路,也就是一種三層式的技能載入機制。它的核心精神是:只在真正需要時,才載入對應的資訊,避免無效佔用上下文空間。


第一層是「原資料」。可以把它理解為一張簡潔的工具清單,放在模型隨時可見的位置。這份清單只包含每個工具的名稱,以及一句簡短介紹,讓模型知道自己有哪些能力可用。因為內容非常精簡,所以可以長期保留在上下文中,而不造成太大負擔。


第二層是「技能正文」。當模型根據第一層的清單,判斷當前任務需要某個特定技能時,系統才會進一步載入該技能的詳細說明。這部分通常包含具體步驟、操作規則與注意事項。也就是說,只有在技能真正被觸發時,這些較長的核心內容才會被臨時加入上下文。


第三層是「捆綁資源」。有些任務除了技能說明外,還需要更大型的參考資料、字典,甚至可直接執行的程式碼腳本。這時系統不會一次把所有內容完整展開,而是依照任務進度,精準調用當下需要的那一小部分資源。像是腳本可以直接執行,不必把全文讀進上下文;查資料時,也只取出必要片段即可。


整體來看,這種三層載入機制的本質就是按需載入。用不到的資訊不提前加入,需要時再精準調用。這樣不僅能有效保護上下文空間、降低成本,也能讓大模型把注意力集中在眼前任務上,提升整體執行效率與品質。

沒有留言:

張貼留言