Hermes Agent 是 NousResearch 開發的開源 AI 助理，近日整合 ComfyUI 後正式解鎖本地多媒體生成能力。從 AI 生圖、AI 生成音樂、AI 生成影片，到用 Hyperframes 製作字幕和小動畫，最後由 FFmpeg 合成為完整 MV——所有流程完全在本地端運行，無需依賴任何雲端服務。
完整流程解密
这支 MV 的生成使用了三個核心模型與一套動畫組裝流程：
🎨 Step 1｜生圖（Illustrious XL）
使用 ComfyUI 執行 hassakuXLIllustrious_v33 搭配五層 LoRA 鏈，包括 Dramatic Lighting Slider、PetraStyle、ponyv6_noobV1_2、aosiai123_style 和 ppw_v8。尺寸固定 1024×1024 以符合後續 WAN 影片生成器的輸入需求。Seed 使用小悠專屬固定臉 seed 1693342112300507682，確保角色面部一致性。
Prompt 採用 Lo-fi 風格的室內場景，例如「坐在窗邊、手握溫暖咖啡杯、望向夕陽海景、金色時刻」，用温暖的室內光與冷色調的窗外形成對比，營造 Lo-fi 音樂常見的孤獨卻舒適的氛圍。
🎵 Step 2｜生音樂（ACE-Step 1.5 Turbo）
使用 ACE-Step 1.5 Turbo 模型（ace_step_1.5_turbo_aio.safetensors）生成 Lo-fi 風格背景音樂。Turbo 版本的關鍵限制是 steps 必須 ≤8，超過會導致音訊破音。歌詞設計遵循含蓄抽象的原則，用畫面感的意象——陽光、風鈴、窗邊——而不直接描述場景。
🎬 Step 3｜生影片（WAN 2.2 14B Image-to-Video）
使用 Wan 2.2 I2V 將靜態圖像轉換為動態影片。WAN 生成需要 3-8 分鐘，期間 session 可能中斷，因此採用背景輪詢策略：先 Submit WAN job 取得 prompt_id，再以背景 script 持續監控完成狀態，確保任務完成後自動通知。
動畫 Prompt 描述細微動作——蒸汽升起、微風吹動髮絲、光影閃爍、呼吸起伏——避免大動作或加速關鍵字，以維持 Lo-fi 的慢節奏質感。
✏️ Step 4｜Hyperframes 動畫組裝
Hyperframes 負責組裝所有元素：用 FFmpeg 將 WAN 輸出的短影片 loop 至音樂長度，再疊加 HTML 構成的暖色 vignette overlay、黑膠唱片旋轉動畫、標題與歌詞逐行浮現效果，以及浮游光點粒子。最終以 30fps render 輸出 overlay 影片。
🎞️ Step 5｜FFmpeg 最終合成
最後一步用 FFmpeg 將 Hyperframes 輸出的 overlay 影片與 ACE-Step 生成的音軌合併：
ffmpeg -i renders/overlay.mp4 -i assets/music.mp3 \
-c:v libx264 -c:a aac -b:a 192k \
-map 0:v:0 -map 1:a:0 -shortest \
renders/Koyu_MV_final.mp4 -y完全本地化的 AI 創作流程
這支 MV 展示的是一套完全在本地運行的人工智慧創作流水線：從文字 prompt 生成分鏡圖像、配上 AI 生成的 Lo-fi 音樂、用影片生成模型讓角色「活起來」，最後組裝成一部有字幕、有特效、有音樂的完整 MV。
所有模型（Illustrious XL、ACE-Step、WAN 2.2）均可下載至本地，Hyperframes 純粹在本地 render，FFmpeg 是開源工具——全程不經過任何雲端 API，也不需付費訂閱。這意味著任何擁有合適硬體（建議 24GB+ VRAM）的使用者，都能複製這套流程自行生成內容。
使用的模型：
- 🎨 圖像生成：Illustrious XL
- 🎵 音樂生成：ACE-Step 1.5 Turbo
- 🎬 圖生影片：WAN 2.2（14B I2V）