最近在做自媒体视频生成的一键工作流效率工具,基本上把整个 GitHub 的视频生成开源项目全看了一遍,把比较经典、常用、好用的都收藏起来了。
AI 视频时代,开源生态正在疯狂进化!我整理了这份涵盖 AI 生成、在线剪辑、自动化 Pipeline、高光分析、数字人及短剧、漫剧生成的全景地图,总计超 100k+ GitHub Stars,全免费且均可商用!建议收藏备用👇
🤖 一、AI 视频生成模型(本地部署,告别API)
1️⃣ HunyuanVideo 1.5:腾讯出品当前最强,8.3B参数对标Sora,RTX 4090即可跑起!🔥
2️⃣ Wan2.1(万象):阿里力作,中文场景最友好,自然语言理解极佳。🇨🇳
3️⃣ CogVideoX:清华5B参数模型,支持LoRA微调,ComfyUI生态最完整。🎓
4️⃣ LTX-Video:Lightricks出品,生成速度接近实时,16GB显存福音!⚡
5️⃣ Open-Sora 2.0:11B参数,自带从数据清洗到生成的完整训练Pipeline。🛠️
6️⃣ Mochi 1:完全Apache 2.0开源,物理运动感最真实,商用无限制。🌊
7️⃣ Stable Video Diffusion:图生视频鼻祖,社区资源与插件极其丰富。🖼️
✂️二、在线视频编辑器(纯浏览器运行,无需安装)
8️⃣ OpenCut:开源CapCut替代品,React+WebCodecs驱动,隐私优先最成熟。🥇
9️⃣ OpenReel Video:功能堪比达芬奇,支持AI字幕、专业调色与3D变换。🎨
🔟 OpenVideo:基于React+PixiJS的CapCut/Canva克隆版,客户端渲染。💻
1️⃣1️⃣ Twick SDK:React组件库,自带AI字幕,最适合嵌入自家产品。🧩
1️⃣2️⃣ Omniclip 2.0:最轻量的浏览器编辑器,适合二次开发。🪶
1️⃣3️⃣ Vue Video Editor:Vue 3技术栈首选,支持多轨时间线。🟩
(桌面端老牌推荐:Kdenlive、Shotcut、OpenShot 🖥️)
🚀 三、短视频自动化 Pipeline(输入文本,输出成片)
1️⃣4️⃣ MoneyPrinterTurbo:中文生态首选,全自动生成配音字幕素材,一键运行。💰
1️⃣5️⃣ CineOverview:AI插画+TTS生成竖屏Video Essay,Hook-first结构极佳。📱
1️⃣6️⃣ Bilive:B站专属神器,自动录制切片、弹幕渲染并自动投稿。📺
1️⃣7️⃣ AutoClipper:YouTube/Twitch高光检测自动裁剪,Whisper字幕加持。✂️
1️⃣8️⃣ ViMax:港大出品Agentic流程,LLM驱动导演编剧制片一体化。🎬
🔍 四、视频分析 · 高光检测(AI帮你找精彩片段)
1️⃣9️⃣ Lighthouse:LINE出品顶会论文,支持文本查询找高光,学术界最前沿。🔦
2️⃣0️⃣ HL-CLIP:基于CLIP的零样本视频高光检测,无需标注数据。🎯
2️⃣1️⃣ UVCOM:时刻检索与高光检测的SOTA统一框架。🏆
2️⃣2️⃣ VideoCutterAI:最易部署的轻量Web工具,AI自动找高光生成短片。⚡
2️⃣3️⃣ pyannote-video:人脸追踪与说话人识别利器,自动重构画面。👤
⚙️ 五、视频基础处理工具(Pipeline的底层基石)
2️⃣4️⃣ FFmpeg:万物基础,世界上最重要的开源视频处理软件。👑
2️⃣5️⃣ Remotion:用React组件写视频,程序化生成动态数据视频首选。⚛️
2️⃣6️⃣ MoviePy:Python视频编辑库,脚本化处理与快速原型利器。🐍
2️⃣7️⃣ Whisper / faster-whisper:OpenAI最强开源语音识别,中文极准。🗣️
2️⃣8️⃣ AutoFlip:Google出品,智能追踪主体,横屏自动转竖屏。🔄
2️⃣9️⃣ react-timeline-editor:纯时间线UI组件,搭建自定义编辑器必备。⏱️
🎭 六、数字人 · 口型同步(让照片开口说话)
3️⃣0️⃣ MuseTalk:腾讯音乐出品,实时口型同步,本地离线运行质量极高。🎤
3️⃣1️⃣ SadTalker:单张照片+音频生成说话视频,头部运动自然。🖼️
3️⃣2️⃣ Wav2Lip:经典口型同步模型,任意视频换口型,社区生态丰富。👄
🎭 七、AI 短剧 · 漫剧生成(流水线批量生产)
3️⃣3️⃣ BigBanana AI Director:工业级最强,精准控制角色一致性与场景连续性。🍌
3️⃣4️⃣ Toonflow:小说到视频全流程,适合百集推文号流水线作业。📚
3️⃣5️⃣ LocalMiniDrama:完全本地部署,数据不出本机,隐私敏感场景首选。🔒
3️⃣6️⃣ ai_story:视频/动漫/短剧/漫剧四合一自动化生成工具。🎛️
3️⃣7️⃣ story-flicks:最轻量的一键生成高清故事短视频工具。✨
3️⃣8️⃣ ai-shotlive:整合四大项目精华的全流程短剧生成器。🧩
3️⃣9️⃣ Komiko:AI漫画/韩漫/日漫生成,多风格分格页面。📖
(分发平台:国内选 MettShort,出海选 MettShortOverseas 🌍)
💡 总结选型:
追求极致画质选 HunyuanVideo,要速度选 LTX-Video;做在线剪辑看 OpenCut;搞自动化短视频首选 MoneyPrinterTurbo;工业级短剧认准 BigBanana!