文本到影片的生成分為兩部分,第一幀和動畫。你的指令首先引導 AI 模型生成「一匹馬在沙灘上散步」等圖像,然後除了新生成的圖像外,再次使用提示來指導 AI 模型生成影片。像「跳躍」、「奔跑」、「爆炸」這樣的動作詞特別擅長創造高品質的結果,因為它們生成的圖像和請求的動作都非常匹配。
雖然不是所有的指令都這麼簡單。為了獲得獨特、高品質的世代,我們必須更加具體,我們的指令越長,關鍵字的順序就越重要。因此,讓我們分解一下什麼是出色的指令,以及如何充分利用 Gemini Omni 生成影片。
影片生成的核心邏輯:兩階段生成
不管你用的是 Sora、Runway、Kling 還是 Gemini Omni ,文本到影片的生成都分為兩個階段:第一幀與動畫。你的指令會先引導模型生成一張靜態圖像(例如「一匹馬在沙灘上散步」),接著模型再根據這張圖像加上動作指令,生成連續畫面。像「跳躍」、「奔跑」、「爆炸」這類明確的動作詞,特別容易產生高品質結果,因為生成的靜態圖像與後續動作的匹配度高。
不過,各家模型在這套邏輯上的側重點不同:
- Sora:對長時間、多鏡頭切換的敘事連貫性掌握較好,適合需要「劇情感」的指令,但相對地指令需要更明確的時間軸描述(例如「先…接著…最後」)。
- Runway Gen-3:在風格化與藝術指令的還原度上表現突出,適合直接引用電影類型或藝術風格關鍵詞。
- Kling:物理模擬與動作真實度是強項,複雜的肢體動作或物體碰撞指令效果較穩定。
- Gemini Omni:最大特色是「聊天式修改」——不需要重寫整個提示詞,直接用一句話就能更換背景、調整動作或修正細節,適合需要反覆微調畫面的情境(延伸閱讀:Google Gemini Omni 影片生成好在哪?)。
指令越長,關鍵字的順序就越重要——這點在四個模型上都成立。指令的第一部分(主體與動作)對結果影響最大,建議從簡單開始,逐步加入風格、細節與鏡頭運動。
提供參考資料
想想你想呈現的藝術風格、地點場景、想參考的電影類型,直接引用它們會比堆砌視覺描述詞有效得多。例如提示「以 1980 年代 VHS 恐怖片風格」,會比「褪色柔和色彩、膠片顆粒感、畫面被灰塵覆蓋」這種純視覺堆疊描述更容易被模型正確理解。
這個技巧在 Runway 與 Sora 上都適用,且效果更明顯:Runway 對「電影類型 + 年代」的組合指令辨識度很高;Sora 則對「導演風格」關鍵詞(例如「王家衛式運鏡」)有不錯的還原能力。模型普遍也能理解對流行媒體的引用——輸入《哈比人》或《哈利波特》開場的文字描述,會生成與上下文相符的畫面,即使許多關鍵詞沒有明確出現。善用這一點能讓指令更精簡。
注重細節
你的描述可以隨心所欲地廣泛或詳細,所以盡情享受吧!該模型將以非常直接和字面的方式解釋你的關鍵字,因此盡量不要使用任何隱喻或陷入產生意外結果的關鍵字。
建議你嘗試盡可能多地嘗試請求同一圖像的不同方法。誰知道呢,你可能會偶然發現一個關鍵字,它產生了真正獨特的的東西。
電影鏡頭效果
「低角度」、「高角度」、「無人機鏡頭」。你可以在提示的任何地方加入有關攝影角度和移動的指示,但通常最佳做法是盡可能在語法上正確地包含關鍵詞。例如:「公園中雕像的無人機鏡頭」、「公園中銅雕像的遠距離望遠鏡頭」。嘗試使用一些描述性的句子來描述攝影移動和構圖,看看你會得到什麼。
這些只是最基本的例子。隨著模型的擴展,它對更多小眾概念的理解也將提升!
影片生成指令該怎麼寫?
創建影片生成的指令時,你可以遵循以下幾個步驟來確保清晰且有效的描述:
- 確定目標與風格:首先明確你想要的影片風格和目標。是要實現教育目的、娛樂,還是宣傳?
- 描述場景:具體描述你想要展示的場景。包括地點、時間(如白天或夜晚)、氣氛(如神秘、歡樂)等。
- 攝影角度和鏡頭類型:
- 角度:例如低角度、高角度、眼平角度。
- 鏡頭類型:例如長鏡頭、中鏡頭、特寫鏡頭、無人機鏡頭等。
- 動作與互動:描述影片中的主要動作或事件,包括人物互動或特定物件的動作。
- 語法與關鍵詞:使用清晰且語法正確的句子結構,恰當地嵌入技術性或描述性的關鍵詞。
- 特效與音效(如果需要):指出任何特殊效果或音效的需求,如煙霧、燈光效果、背景音樂等。
例如,如果你想要創建一個影片示例,可以這樣寫:
"一個人在夕陽下沿海邊散步的畫面。使用無人機從高角度捕捉,鏡頭慢慢拉近至中鏡頭,展現人物的輪廓與周圍的自然美景。希望畫面帶有寧靜和思考的氣氛,並能夠配上輕柔的背景音樂。"這樣的指令不僅清楚地傳達了視覺效果的需求,也包括了音效和整體氣氛的描述,有助於生成符合期望的影片內容。
五個實用公式+範例
這裡有五個影片生成指令的公式,你可以根據這些模板來構思並定制你自己的影片內容需求:
- [事件描述] + [地點描述] + [時間/氣氛] + [攝影角度/鏡頭類型]:
- “展示一場在都市中心廣場舉行的音樂會,夜晚燈光璀璨,使用多個無人機鏡頭從高空拍攝全景和特寫鏡頭。”
- [主題/主角] + [動作或活動] + [特定視覺效果或音效] + [攝影技術]:
- “一位舞者在舊工廠舞蹈,環境昏暗且帶有霧效,使用穩定器近距離捕捉其精緻的舞蹈動作和表情細節。”
- [敘述性開頭] + [具體場景] + [情感或主題表達] + [視角或特效]:
- “在清晨的公園裡,一個小孩在鞦韆上玩耍,表現出無憂無慮的快樂,從低角度拍攝以強調小孩的笑臉和背後的日出。”
- [故事線或情節] + [人物互動] + [音樂或聲音描述] + [攝影風格]:
- “兩個朋友在山頂上看日落,彼此分享人生故事,背景輕柔吉他曲調,使用手持攝影機捕捉這段對話和四周的自然美景。”
- [特定活動或慶典] + [場地與裝飾] + [鏡頭運動描述] + [鏡頭效果]:
- “城市新年倒數慶典,在市中心的廣場上,煙花和燈光秀充滿天空,運用軌道滑軌全景拍攝人群的歡慶和表情豐富的互動。”
這些公式可以讓你更系統地規劃和描述你想要創建的影片類型和內容,從而更精確地傳達給影片生成 AI。
常見鏡頭運動類型
在撰寫 AI 影片提示詞(Prompts)時,加入專業的鏡頭運動術語,能讓 AI 更精準地模擬電影感,避免畫面過於呆板。以下是幾種最常用且效果顯著的鏡頭語言:
- 橫移鏡頭 (Pan / Tilt): Pan 是指攝影機固定在原點,水平向左或向右轉動鏡頭;Tilt 則是垂直向上或向下移動。這適合用來交代環境全景或追蹤移動中的主體。
- 推拉鏡頭 (Push In / Pull Out): Push In 是將鏡頭緩慢靠近被攝物,增加緊張感或強調情緒;Pull Out 則是鏡頭遠離,通常用於展現主體與環境的相對關係。
- 追蹤鏡頭 (Tracking / Following): 攝影機跟隨主體的移動路徑同步移動。在提示詞中使用「Tracking shot」,能讓 AI 生成具有動態連續性的跟拍畫面,增加臨場感。
- 環繞鏡頭 (Orbit / Arc): 攝影機以主體為中心進行圓弧形或 360 度的繞行拍攝。這種運鏡常用於展現英雄感、壯闊感或完整呈現物體的細節。
- 空拍運鏡 (Drone Shot): 模擬無人機從高空俯瞰或快速穿梭的視角。結合「Zooming out from top」等詞彙,能創造出極具視覺震撼的大場景。
- 軌道推拉鏡頭 (Dolly Shot): Dolly 是指攝影機架設在實體軌道或推車上,進行向前(Dolly In)或向後(Dolly Out)的實體移動。與單純縮放焦距(Zoom)不同,Dolly Shot 會產生明顯的空間透視變化,前景與背景的比例會隨移動而改變,能創造出極具臨場感與立體感的視覺深度。在 AI 提示詞中加入「Smooth dolly shot」或「Cinematic dolly in」,能有效提升畫面的電影質感與敘事張力。
不同模型的鏡頭指令效果對照
同樣的運鏡術語,在不同模型上的穩定度與寫法習慣略有差異,整理成表方便你快速套用:
| 運鏡類型 | Sora | Runway Gen-3 | Kling | Gemini Omni |
|---|---|---|---|---|
| 橫移 (Pan/Tilt) | 穩定,長鏡頭表現佳 | 穩定 | 穩定 | 可用對話直接要求「往左移一點」微調,不用重寫指令 |
| 推拉 (Push In/Pull Out) | 情緒堆疊效果好 | 中等,建議搭配光影描述 | 穩定 | 適合反覆微調推進幅度 |
| 追蹤 (Tracking) | 表現優異,適合敘事 | 中等 | 物理感最真實 | 中等,優勢在後製調整而非首次生成精準度 |
| 環繞 (Orbit/Arc) | 需明確標註角度變化 | 風格化場景效果佳 | 穩定 | 中等 |
| 空拍 (Drone Shot) | 大場景表現佳 | 中等 | 穩定 | 中等 |
| 軌道推拉 (Dolly) | 電影感最強 | 表現優異 | 穩定 | 較少支援複雜 Dolly 指令,但可對話式修正取景 |
實用建議:Gemini Omni 的優勢不在「一次到位」的精準運鏡,而在生成後的對話式修改——如果你的工作流程是「生成→檢視→微調」,它能省下重寫整段指令的時間;如果需要一次生成就精準到位的電影運鏡,Sora 或 Runway 仍是更穩的選擇。
常見問題(FAQ)
AI 影片生成時,鏡頭運動不夠明顯該怎麼辦?
若生成出的影片畫面過於靜態,建議在提示詞的開頭或結尾明確加上運鏡強度指令。例如使用「Extreme camera movement」或「Dynamic camera motion」,並將運鏡動詞(如 Zoom in, Pan left)放在主語之前,強化 AI 對動態指令的權重。
如何讓 AI 生成的鏡頭轉換看起來更自然?
關鍵在於提供明確的「起始狀態」與「終止狀態」。例如:「Camera pans from the dark forest to a bright castle」,透過描述起點與終點的視覺對比,AI 能更順暢地計算出中間的補幀畫面,減少畫面破碎或閃爍的現象。
不同的運鏡術語會影響生成成本或時間嗎?
運鏡術語本身不會直接增加生成費用,但複雜的運鏡指令(如 Orbit 加 Zooming)可能會讓 AI 需要更多次的運算嘗試(Reroll)才能達到理想效果。建議一次專注於一種核心運鏡,待基礎畫面滿意後再進行細部微調。
AI 影片提示詞(Prompts)的字數越多越好嗎?
不一定。提示詞的重點在於「結構」而非字數。過多冗餘的形容詞反而會干擾 AI 的權重分配,導致畫面重點模糊。建議採用「主體 + 場景 + 動作 + 鏡頭語言 + 藝術風格」的結構化寫法,並將最重要的核心關鍵字放在最前面,通常 50 至 100 字左右的精確描述效果最穩定。
如何避免 AI 生成的影片人物出現扭曲或多餘的手指?
這是目前生成式 AI 的常見痛點。除了在正向提示詞強調「High detail」、「Anatomically correct」外,最有效的方法是善用「負向提示詞(Negative Prompts)」。在負向欄位填入:deformed, extra fingers, bad anatomy, mutated hands, disfigured 等詞彙,能顯著降低崩壞機率。
在提示詞中加入「4K」、「8K」或「Photorealistic」真的有效嗎?
這取決於您使用的 AI 模型。在較早期的模型中,這些詞彙能引導 AI 模擬高畫質素材;但在如 Sora 或 Kling 等新一代模型中,模型本身已具備極高寫實度,過度強調這些詞彙反而可能吃掉其他指令的權重。建議改用更具體的描述,如「Cinematic lighting」或「Detailed textures」來提升視覺質量。
如果想要生成特定藝術風格(如吉卜力或賽博龐克),提示詞該怎麼寫?
最直接的方式是「模仿風格法」。您可以直接加入 Studio Ghibli style 或 Cyberpunk aesthetic。若想更進階,建議拆解該風格的元素,例如賽博龐克可寫為 Neon lights, Rainy night, High-tech low-life;吉卜力風格可寫為 Hand-drawn, Vibrant nature, Soft lighting,這能幫助 AI 抓到更精準的視覺調性。
我可以透過提示詞控制影片的播放速度嗎?
可以。您可以加入時間感官的詞彙,例如 Slow motion(慢動作)、Time-lapse(縮時攝影)或 Fast-paced cutting(快速剪接風格)。部分進階模型也支援設定每秒幀數(FPS)的指令,但通常使用視覺描述詞(如:Slowly drifting clouds)會比直接寫數值更能獲得自然的動態效果。
資料來源:Prompts 101 、隆重推出 Gemini Omni
你可能也感興趣的 AI 自動化工具:n8n 是什麼? 、如何用 Ideogram 2.0 強化 AI 繪圖



