AID03-Token 是什麼，AI 又為什麼會忘記-5分鐘學AI
跟 AI 講話是照 Token 算的，它的記性也是。
搞懂上下文，你就知道它為什麼突然忘記前面說過的事。
#一起搞懂AI #AI名詞 #AI入門 #白話AI #企業AI
Token 是什麼，AI 又為什麼會忘記。
阿哲，我昨天跟 AI 聊了很久，聊到後來，它突然忘記我一開始交代的事。它是不是壞了？沒壞。而且這件事，跟它怎麼讀你打的字，其實是同一個問題。咦？讀字跟忘記有什麼關係？這一集講完你就會知道，它其實沒有記性，它只有一張桌子。桌上攤得開的它看得到，攤不下的就掉下去了。
那我們從最小的單位開始。我常聽到這個要花多少 Token，它到底是什麼？它是 AI 讀字的單位。它不是一個字一個字讀，也不是一整句一整句讀，是切成一小塊一小塊。
喔，所以它算的不是幾個字，是幾塊？就像菜市場算的是幾斤，不是幾顆。就是這樣。而且要注意，你打的字要算，它回你的每一個字也要算，兩邊加起來才是這一次的用量。那中文跟英文，切出來的塊數一樣嗎？不一樣。中文大概一到兩個字一塊，英文常常半個單字就一塊。所以同一段意思，用不同語言寫，用量會差滿多的。所以叫它講短一點，真的會比較便宜？真的會。很多人以為只有自己打的那一段在算錢，結果讓它寫了一大篇，那一篇才是貴的地方。
那 Prompt 呢？大家都說要會下 Prompt，講得很神秘。它就是你交代給它的那一段話。不只是你的問題，還包括你要它用什麼身分、給你什麼格式、寫多長。
喔，就像請同事幫忙買飲料？講幫我買飲料，跟講幫我買一杯大杯無糖去冰的紅茶，拿回來的東西差很多。這個比喻很準。你少講的每一件事，它都會自己幫你決定，而它決定的不一定是你要的。那我要交代到多細？講到換一個人來做也做得出同一個東西，就夠了。太細反而綁死它，它就只會照著你的框框走。那是不是有什麼特別厲害的句子，講了就會變準？沒有。它不是咒語，沒有哪一句話講了就升級。真正有效的是把你要什麼講清楚，跟交代一個新同事完全一樣。
接下來這個更常聽到，Context，中文叫上下文。上下文是它這一次回答的時候，眼前看得到的全部東西。你前面講過的話、它自己回過的話、你貼進去的文件，通通算在裡面。
喔，就像開會的時候攤在桌上的那些資料？沒攤上去的，它就當作不存在。非常準。所以它不是記得你，是那些字還攤在桌上。你開一個新的對話，桌子就被收乾淨了。那我可以自己決定桌上放什麼嗎？可以，而且這是最有用的一招。真正相關的那一份貼上去，不相關的別貼。桌上東西越少，它越不會被別的東西帶走。那我上個禮拜跟它講過的事呢？除非那一段被放回桌上，不然它不記得。有些產品會幫你偷偷放回去，所以看起來像記得，那是產品幫的忙，不是模型的記性。
那這一張桌子有多大？這就是下一個名詞，上下文視窗。它是一次最多能攤多少東西的上限，而且是用剛剛說的那個單位在算。
那攤滿了會怎麼樣？最前面的會被擠出去。它不是挑一個不重要的丟掉，是照順序，最早進來的先掉。喔，就像記事本寫滿了，只好從最前面撕頁？對。所以長對話講到後來它開始答非所問，通常不是它變笨，是你一開始交代的規則已經掉出去了。那我怎麼知道快滿了？多數產品不會明講。實際一點的做法是，聊到一半覺得它開始跑掉，就把最重要的那幾條再貼一次，或乾脆開一個新的對話重來。
那有沒有辦法讓桌子大一點？桌子的大小是固定的，但可以讓攤上去的東西變薄。做法是先把前面那一大段整理成重點，再把重點放回桌上，原文就不佔位置了。
喔，就像會議記錄？不用把每個人講的每一句都留著，留結論就好。對，而且很多產品已經在背後自動幫你做這件事了，你根本不會看到。那聽起來很棒啊，有什麼代價嗎？整理過的東西一定會掉細節。數字、日期、合約上的條款這種不能錯的，不要指望它整理完還記得，自己再貼一次最保險。那我可以叫它先整理給我看嗎？可以，而且很值得。你讓它先寫一份重點，你看過確認沒漏，再往下講。這樣掉的是你同意掉的東西。
那我把這一集重新排一次好不好？好，你來。Token 是它讀字的單位，你講的跟它回的都要算。Prompt 是你交代給它的那段話，講清楚比講神奇有用。上下文是它眼前看得到的全部，不是記憶。上下文視窗是這張桌子有多大，滿了就擠掉最前面。上下文壓縮是把前面整理成重點，省了位置，但會掉細節。完全正確。以後它突然變笨，先別急著怪它。問一句：我要它記得的東西，現在還在桌上嗎？
企業級智庫引擎。讓公司的知識，答得出來、查得到、帶不走。
