← 返回 Siami 首頁

GigaToken 開源:比 HuggingFace Tokenizers 快 500-1000 倍,LLM 預訓練瓶頸被打破

▲ 275 💬 50
GigaToken 開源:比 HuggingFace Tokenizers 快 500-1000 倍,LLM 預訓練瓶頸被打破

Stanford 博士生 Marcel Rød 開源了 GigaToken,一個號稱比 HuggingFace Tokenizers 快 500-1000 倍、比 OpenAI tiktoken 快約 100 倍的 BPE tokenization 函式庫,於 2026 年 7 月 21 日在 Hacker News 掀起熱議,貼文衝上 275 分。整個函式庫用 Rust 寫成,透過 SIMD 預 token 化、快取優化、減少 Python 互動等手段,把常見模型家族(GPT-2、Llama 3、Qwen 3、DeepSeek V3、Kimi K2 等)的編碼速度推到 GB/s 等級。


核心突破:把「regex 預切分」這條老路改掉大部分 tokenization 函式庫的 pretokenization 步驟都外包給 regex 引擎,這正是長期以來的效能瓶頸。GigaToken 的核心改動是:自寫 SIMD 化 pretokenizer,替代 regex,並把常見字串的編碼結果做大量快取。

在 AMD EPYC 9565 144 核平台上,GPT-2 編碼衝到 24.53 GB/s,相較 HuggingFace Tokenizers 的 24.8 MB/s,提速 989×;相較 tiktoken 的 36 MB/s,提速 681×(來源:GigaToken GitHub)。除了預切分重新實作,還把 Python 端的資料傳遞降到最低,盡量讓 Rust 端直接讀檔、平行處理。Apple M4 Max 16 核單機也有 8.79 GB/s(GPT-2),比 HuggingFace 的 6.9 MB/s 快 1,268×。


跨硬體、跨 tokenizer 都吃得到從 README 公布的 benchmark 看,速度提升在多個 CPU 平台與多個 tokenizer 家族之間都保持一致:

  • AMD EPYC 9565(144 核):GPT-2 24.53 GB/s、Phi-4 24.00 GB/s、Qwen 3 22.16 GB/s
  • Apple M4 Max(16 核):GPT-2 8.79 GB/s、Phi-4 7.76 GB/s、OLMo 2/3 7.56 GB/s
  • AMD Ryzen 7 9800X3D(16 核消費級):GPT-2 6.27 GB/s、Phi-4 6.09 GB/s

支援範圍涵蓋目前主流開源模型家族:

  • Llama 3 / 3.1 / 3.2 / 3.3 / 4(含 Hermes 3、Saiga、DeepSeek-R1-Distill-Llama 等)
  • Qwen 2 / 2.5 / 3 / 3.5 / 3.6(含 Qwen3-Coder、Qwen3-VL、DeepSeek-R1 Qwen distills)
  • DeepSeek V3 / R1 / V4(含 Flash 與 Pro 版本)
  • GLM 4 / 5(含 4.5、4.7、5.2、GLM-4.7-Flash)
  • Kimi K2 / K2.5 / K2.6 / K2.7(含 Kimi-Linear、Kimi-VL、Moonlight)
  • Phi-4 / Phi-4-mini / Phi-4-multimodal
  • GPT-2、GPT-OSS、OLMo 2/3、Nemotron 3、ModernBERT

唯一明顯落下的是 SentencePiece-based tokenizers(Gemma 系列、Mistral 7B v0.3、CodeLlama、TinyLlama、Phi-3 等),這部分目前還沒特別優化,作者列為低優先順序。


使用方式:原生 API vs 兼容模式

GigaToken 提供兩種使用方式:

  1. 原生 API(最快):直接吃 HuggingFace 模型名稱,Rust 端讀檔、平行處理

    import gigatoken as gt
    tokenizer = gt.Tokenizer("Qwen/Qwen3-8B")
    file_source = gt.TextFileSource(["owt_train.txt"], separator=b"<|endoftext|>")
    tokens = tokenizer.encode_files(file_source)
  2. 兼容模式(無痛替換):包裝 HuggingFace 或 tiktoken 的 tokenizer,介面保持一致

    hf_tokenizer = ...
    tokenizer = gt.Tokenizer(hf_tokenizer).as_hf()
    tokens = tokenizer.encode_batch(["This is a test", "And here is another"])

兼容模式會為了「輸出與 HuggingFace 完全一致」付出效能代價,提速幅度會從 1000× 降一些,但仍然比原版快很多。如果是要跑大量預訓練資料、用原生 API 才能拿到完整 1000× 紅利。


🚨 為什麼這件事重要

Tokenization 是 LLM 預訓練流水線的第一關,每個訓練循環、每次推論前處理都會跑一遍。對於要從 Common Crawl 這類超大語料訓練模型的團隊來說,tokenization 速度直接決定了資料準備階段的總時長。作者在 README 用一個具體數字說明衝擊:

在 EPYC 9565 平台上,整個 Common Crawl 的 130 兆 tokens 量級資料,能在 6.5 小時內完成 tokenization(來源:GigaToken GitHub)。這對開源預訓練、生態系的影響是:

  • 個人 / 小團隊預訓練成本下降:原本需要昂貴雲端 Compute 才能在合理時間內做完的 pretokenize,現在用一台消費級 Ryzen 7 9800X3D 也能跑到 5+ GB/s
  • vLLM 等推論框架的整合可能:GitHub 上已有 vllm-project/vllm#49411 的 RFC 提案,要把 GigaToken 當加速引擎引入
  • HuggingFace Tokenizers 的生態可能被擠壓:HF tokenizers 是目前大多數訓練框架的預設選擇,GigaToken 透過兼容模式提供「無痛 drop-in」,門檻極低

🚨 數據解讀 / 質疑雖然 1000× 這個數字很嚇人,但基準對比的基準條件要先看清楚:

  • HuggingFace 的 encode_batch_fast 在這份 benchmark 裡只跑了前 100 MB,而 GigaToken 跑完整 11.9 GB 的 owt_train.txt。後者實際上做了「找 split boundary + 自動平行化」更多的工作,並且有 caching;HF 與 tiktoken 都沒做 caching
  • 預切分快取是這個專案最關鍵的紅利之一——但 cache 在真實訓練流水線上是否會被完全利用,取決於資料是否有高重複(OWT 這種從 CommonCrawl 萃取的文本確實有,但合成的乾淨資料不一定)
  • SentencePiece 路線落後:Gemma、Mistral、CodeLlama 等熱門模型只拿到 10-20× 提速,離「換掉」HF tokenizers 還有距離
  • 相容性的精確度:作者自己也承認在「與 HF 輸出完全一致」這件事上花了心力,相容模式犧牲了一部分效能換取 rounding 完全相同。如果在意的是「一致到 bit」而非「大約一致」,要先驗證
  • 平台綁定:Windows 還沒充分測試,作者建議用 WSL;早期實驗顯示把 Python ABI3 換成特定版本的 CPython API 還能再榨出 2× 速度,但這條路還沒走完

業界與 KOL 反應發布後在 X 上得到不少專業人士迴響:

  • Daniel Lemire(@lemire,知名 SIMD/database 領域研究者):「When processing text for large language models, you must first tokenize it. The performance of tokenization is now less of a bottleneck.」
  • Stanford AI Lab(@StanfordAILab):「@marcelroed casually just dropped the world’s fastest tokenizer implementation.」
  • Michael Guo(@Michaelzsguo):「Who doesn’t like FREE tokenizer. Gigatoken is a new MIT-licensed tokenizer.」

Hacker News 貼文 19 分鐘內衝到首頁,顯示這個改動在 AI infra 社群引起了實質興趣——tokenization 這種「底層但無聊」的元件,幾乎從未拿到過這種關注度。

安裝與快速驗證

pip install gigatoken

不用安裝就能先用 uvx 驗證:

uvx --with tokenizers gigatoken bench 'openai-community/gpt2' owt_train.txt \
    --validate --doc-separator "<|endoftext|>"

驗證會自動輸出 gigatoken 與 HF 的吞吐量對比,並比對編碼結果是否一致。


已知限制(作者自承)

  • Python 端迭代用 ABI3,比直接用 CPython 內部 API 慢;未來會按版本專門化
  • File sinks 在原生 API 還沒實作
  • WordPiece 還沒支援
  • SentencePiece-based tokenizers 還沒充分優化
  • Windows 測試不足,WSL 為主

編按:本文綜合整理自 GigaToken GitHub、Hacker News 討論串、Marcel Rød 個人 X 帳號,並加入 Siami 編輯部觀點與技術拆解。