自 2017 年〈Attention Is All You Need〉發表以來，Query-Key-Value（QKV）三投影機制成為 Transformer 架構的標準配備，八年來幾乎沒人質疑過：為什麼非要把輸入向量投影三次？6 月 1 日投稿到 arXiv 的論文《Do Transformers Need Three Projections? Systematic Study of QKV Variants》直接挑戰這個基本假設，結果顯示：在語言模型場景下，QKV 並非不可分割的三位一體，把 K 與 V 共用同一個投影，KV 快取直接減半，perplexity 只退化 3.1%；若再搭配 MQA，砍到 96.9% 也辦得到。
研究做了什麼
來自 Ali Kayyam、Anusha Madan Gopal 與 M Anthony Lewis 的研究團隊，系統化評估了三種投影共享約束：
- Q-K=V：共享 key-value（K 和 V 用同一個矩陣投影出來）
- Q=K-V：共享 query-key（Q 和 K 用同一個矩陣）
- Q=K=V：單一投影（三個全部共用同一個矩陣）
其中後兩種變體會產生對稱的注意力圖，為了解決這個問題，研究團隊額外探索了透過 2D 位置編碼（2D positional encodings）實現的非對稱注意力機制。
實驗範圍
實驗橫跨合成任務、電腦視覺（MNIST、CIFAR、TinyImageNet、異常偵測）以及語言模型（300M 與 1.2B 參數模型，訓練量 10B tokens）。結果顯示，這些變體 Transformer 在多數任務上表現相當，偶爾還更好。
語言模型的關鍵數字
這才是對業界最有參考價值的部分：
- Q-K=V（共享 K 與 V）+ 標準 MHA：50% KV 快取縮減，perplexity 僅退化 3.1%
- Q-K=V + GQA-4：87.5% 快取縮減
- Q-K=V + MQA：96.9% 快取縮減
這對邊緣部署（on-device inference）意義重大——現行的 Apple Intelligence、Pixel AI、Qualcomm Hexagon NPU 等場景，最大瓶頸往往不是算力，而是記憶體頻寬與快取容量。把 KV 快取砍到原本的 1/32，等於讓同等硬體能跑的 context 變長 32 倍。
為什麼有效？
論文提出的解釋相當直觀：
- K 和 V 可以佔據相似的表示空間——它們本質上都是「用來描述某個 token 該如何被讀取」的資訊
- 注意力運作在低秩（low-rank）狀態下——所以減少獨立參數並不會劇烈影響表達能力
- 反觀 Q=K-V 會破壞注意力的方向性——query 決定「我要找什麼」、key 決定「我是什麼」，兩者若共用投影，等於把問題的兩端強行綁在一起，數學上不對勁
工程師的質疑
論文 6 月 4 日衝上 Hacker News 後，社群反應兩極。最高讚數的批評來自三個方向：
1. 訓練量不足（in-silico 與 jephs 都點出）：論文的 1.2B 模型只訓練 10B tokens，比 Chinchilla 計算最優值的一半還少。現代過訓練的 1B 模型訓練量動輒 10T tokens。簡化方案在欠訓練階段看起來都還不錯，但過度訓練後是否還能維持，沒人知道。
2. 符號不標準（amluto）：Q-K=V 這個寫法讓人誤以為是矩陣相減。論文作者應該用更明確的符號（例如 Q, K=V 或 KV-shared）來表達。
3. 缺乏 scaling curve（jephs）：scaling curve 不拿出來就免談；小尺度下能跑的東西，在大尺度下 99% 推不動 Pareto 前沿。
也有樂觀派。Lerc 從幾何角度比喻：注意力就像在高維空間裡旋轉、擠壓一堆向量直到找到一條可以「看穿」的裂縫；如果這個比喻接近事實，那 QKV 也許本來就過度工程化了。
對 Siami 讀者的意義
這篇論文的實務價值不取決於它是否能顛覆學術圈，而取決於邊緣 AI 廠商會不會真的把 KV 共用寫進 inference engine。如果 Q-K=V 確實在 1B 等級的生產模型上仍能維持品質，那手機、筆電、汽車的 on-device LLM 將迎來一波記憶體壓力大幅緩解的紅利；反之，若過度訓練後品質顯著下降，這篇論文就只是學術界的一次漂亮實驗，業界很難直接採用。
無論如何，這是 2026 年少數直接挑戰 Transformer 基礎假設的研究，值得記上一筆。
論文連結：https://arxiv.org/abs/2606.04032（v1 為 2026-06-01，v2 為 2026-06-04）。
網友熱門留言 (5)