編按:本文綜合整理自 TryAI 部落格原文 與 Hacker News 討論串(304 分、343 則留言),並加入 Siami 編輯部觀點與分析。
實驗設定:給兩個頂級 AI 同一首歌、一筆預算、一個 shell
TryAI 團隊這次做了一件很少人敢做的實驗:把 Claude Fable 5(Anthropic 前線模型)與 GPT-5.6 Sol(OpenAI 前線模型的代理導向變體)放進同一個 agentic harness,讓每個模型自己當 MV 導演。
兩個模型各跑兩次預算($25 與 $100),總共四輪,每輪都拿到同一份輸入:
- 一首 Bruno Mars 與 Mark Ronson 的《Uptown Funk》
- 一段簡短的文字描述
- 一份帶時間戳的歌詞逐字稿
每個模型可用工具只有六個:plan(純思考、零成本)、web_search(查影片模型)、get_budget(查剩餘額度)、generate_image 與 generate_video(唯一花錢的)、run_command(本地 ffmpeg/ffprobe)。預算歸零後,模型仍可繼續剪輯、但不能再生成新素材。
全部 tool call、token 用量、生成失敗紀錄都公開:完整 transcripts 在 GitHub hershalb/music-video-arena。
四輪實驗的關鍵數字
四輪全部跑完,沒有一輪因為步數或時間上限被中斷,四支成品都是有效長度的完整 MV,原曲也正確 mux 進去。
| 模型 | 預算 | 總耗時 | 步數 | 圖片 | 影片 | 失敗次數 | 生成花費 | 輸出解析度 |
|---|---|---|---|---|---|---|---|---|
| Claude Fable 5 | $25 | 39m10s | 25 | 0 | 54 | 1 | $24.30 | 1280×720 |
| GPT-5.6 Sol | $25 | 42m52s | 38 | 61 | 46 | 10 | $23.18 | 1280×720 |
| GPT-5.6 Sol | $100 | 49m39s | 34 | 0 | 70 | 2 | $36.57 | 1280×720 |
| Claude Fable 5 | $100 | 38m56s | 28 | 0 | 80 | 0 | $48.60 | 1920×1080 |
「生成花費」是 FAL 計量收費(也就是預算上限本身),不含 LLM token 成本。
第一個值得停下來看的點:Fable 5 在 $100 預算下決定升級到 1080p,而且步數最少、沒有失敗 call;Sol 在 $100 預算反而失敗率上升。這跟一般直覺「錢給得多、模型就用得更兇」不同——Claude 在高預算下表現得更節制、更精準。
兩個模型選了完全不同的導演策略
如果只看「四個模型都拿到一樣的素材庫」,你會以為結果會很相似。事實上四輪走出了四條不一樣的路:
| Run | 圖片模型 | 影片模型 | 切入策略 |
|---|---|---|---|
| Fable 5 · $25 | 無 | Wan 2.5 t2v($0.05/s) | 純文字生影片 |
| Sol · $25 | FLUX schnell($0.003/張) | Wan 2.2-5b i2v($0.10/s) | 先產關鍵幀、再圖生影片 |
| Sol · $100 | 無 | Wan 2.5 + Veo 3.1 Lite + Hailuo 2.3 Standard | 純文字生影片、混搭三個模型 |
| Fable 5 · $100 | 無 | Seedance 1.0 Pro t2v(1080p,~$0.12/s) | 純文字生影片、單一高階模型 |
Sol 的策略明顯更「多樣」:同一個 $100 預算裡混用了三個不同影片模型,這代表它願意嘗試不同美學風格。Fable 5 走的是相反路線——單押一個高階模型,然後衝解析度。
兩種策略都成功跑完,但成品差異不小。TryAI 原文也誠實寫:「None of the music videos were great, but watching how the models got there was pretty interesting」。
數據解讀:錢不是越多越好,模型的「導演直覺」才是天花板
這份報告最有參考價值的不是「誰花得多」,而是為什麼 Fable 5 的 $100 run 反而是四輪裡最便宜的 LLM token 開銷之一,但卻做出唯一的 1080p 成品:
- Fable 5 的 token 開銷佔總成本 30–40%($16.99 / $25.05),Sol 整輪跑完 token 只要 $3–4。這代表 Claude 在「思考」上花的錢遠多於 GPT。
- Sol 在低預算下失敗率高達 10 次,主要都是 transient network 錯誤,但每一次 retry 都消耗步數;Fable 5 只有一次失敗、且沒有 retry storm。
- 單價 vs. 品質:Hailuo 2.3 Standard 每支 6 秒影片收 $0.28、Seedance 1.0 Pro 1080p 5 秒收約 $0.62。Sol 顯然偏好「多拍幾支不同模型組合」,Fable 5 偏好「少拍、單支高畫質」。
這對實際做 AI 影片的人來說,是非常具體的成本曲線參考:
- 若你想衝畫質、FHD 素材庫 → Fable 5 路線(單一高階模型 + 多步驟 prompt 迭代)
- 若你想衝變化、ab test 多模型 → Sol 路線(混合便宜模型、接受高失敗率)
🚨 為什麼這件事重要:AI 影片還沒跨過「導演直覺」那道坎
這場實驗最值得產業注意的是:兩個前線模型都無法做出「有故事感的 MV」。TryAI 原文點出三個一致缺陷:
- 角色與劇情一致性崩壞——四輪成品的「主角」每個鏡頭都長不一樣,沒有一支撐得起完整的敘事線。
- 歌詞被字面化詮釋——「Make a dragon wanna retire, man」就真的畫一條龍在畫面上,前幾秒還有趣,幾分鐘後就變尷尬。
- 節奏對位失敗——剪輯點都對到拍子(每個模型都跑了 ffmpeg 的 beat detection),但鏡頭內的動作(舞蹈、運鏡)幾乎跟不上歌曲 tempo。
這意味著 2026 年中的 frontier AI 在「短 prompt → 短素材」已經很強,但在「長時序藝術決策」這層仍然是人類導演的天下。TryAI 的結論也很克制:「None of the music videos were great」——他們沒有為了行銷而美化結論,這也是這份報告在 HN 拿到 304 分的真實原因。
對 Siami 編輯部來說,這份實驗的延伸訊號是:現在 AI 影片適合當素材、不適合當成片。如果你要做一支正式的 MV,AI 目前只能貢獻片段(背景、過場、風格鏡頭),結構性決策還是要人類。
數據質疑:原文還沒回答的三個問題
這份報告很扎實,但 Siami 編輯部讀完之後覺得有幾個關鍵變因沒控制到,可能影響結論:
- 沒有 baseline:沒有「人類導演用同一組素材」或「傳統剪輯流程」的對照組,所以「兩支 MV 都不好看」很難歸因到 AI 還是 prompt 設計。
- prompt 工程差距:四個 run 拿到的
plan工具是「純思考、無成本」,但沒說明是否有 system prompt 引導「先規劃再生成」。如果是 raw 模型自主規劃,那這個失敗率其實很漂亮。 - 成本基準不對等:原報告把 token 成本另外列,但在 $25 預算組,Fable 5 的 $16.99 token 成本已經逼近 $25 生成成本,這代表「預算壓力測試」其實沒真正壓到 Claude,反而壓到 Sol。
如果 TryAI 出下一輪,Siami 編輯部會建議他們補上:同一模型、不同 prompt engineering 程度的對照組,以及**「AI + 人類 post-editing」**的混合流程對照。
你也可以自己跑這個實驗
TryAI 把整套 harness 開源在 github.com/hershalb/music-video-arena,換自己的歌、預算、模型就能重現。任何人都能拿 frontier model 來跑自己的 arena 測試,作者也歡迎 PR 與 issue。
如果你想看四支成品的差異,原文嵌了完整影片連結(Fable 5 $25 / Sol $25 / Fable 5 $100 / Sol $100 各一支),可以直接到 TryAI 原文 看成品。
社群反應:HN 上吵什麼?
這篇文章在 Hacker News 上 16 小時衝到 304 分、343 則留言,是近期 AI agent 類文章的前段班。五則被推最多的留言大致落在三個立場:
- 「技術驚人但沒有藝術價值」派:@hbn 直接說這是「grey goo of the average」,AI 影片還取代不了導演。
- 「AI 正在摧毀藝術家經濟」派:@qbit42 點出更深層的社會問題——買單的是美學、不是藝術價值,AI 會壓垮中產藝術家。
- 「工具選擇與提示詞才是瓶頸」派:@michelb 與 @maerF0x0 都認為,成品差是因為「沒用對的影片模型」與「prompt 沒有導演判斷」,跟模型本身強弱無關。
完整留言翻譯見上方 topComments 區塊。
網友熱門留言 (5)