提升视频创作效率LTX2.3-22B_IC-LoRA-CrossView-Prompt高级技巧与最佳实践【免费下载链接】LTX2.3-22B_IC-LoRA-CrossView-Prompt项目地址: https://ai.gitcode.com/hf_mirrors/Cseti/LTX2.3-22B_IC-LoRA-CrossView-PromptLTX2.3-22B_IC-LoRA-CrossView-Prompt是一款基于Lightricks/LTX-2.3基础模型开发的In-Context LoRA适配器它如同一个虚拟第二摄像头只需提供参考视频和简短的 camera-angle 提示就能从新视角重新渲染相同场景在保持主体和内容不变的情况下改变相机位置为视频创作者带来全新的创作可能。快速入门LTX2.3-22B_IC-LoRA-CrossView-Prompt是什么这款工具是LTX-Video 2.322B的微调In-Context LoRAIC-LoRA适配器作为虚拟第二摄像头它能让你通过简单的提示词改变视频的拍摄角度极大地提升视频创作的灵活性和效率。目前版本为v0.9虽处于概念验证阶段但已能很好地泛化到真实素材不过也存在一定的局限性欢迎用户提供反馈。核心功能亮点视角转换轻松改变视频的拍摄角度实现同一场景不同视角的呈现。操作简单只需提供参考视频和特定格式的提示词无需复杂的设置。兼容性好可在ComfyUI的video-to-videoIC-LoRA工作流中使用。开始使用ComfyUI工作流搭建要使用这款LoRA目前仅在ComfyUI的video-to-videoIC-LoRA工作流中经过测试。你可以参考示例工作流https://huggingface.co/datasets/Cseti/ComfyUI-Workflows/blob/main/ltx/2.3/ic-lora-crossview-v1-pilot/README.md 。基本使用步骤加载LoRA将LTX2.3-22B_IC-LoRA-CrossView-Prompt_v0.9_13700.safetensors作为LoRA加载。提供参考视频即你想要从新角度重新拍摄的场景。输入相机角度提示按照特定的词汇表格式输入提示词无需起始图像。关键技巧掌握提示词词汇表与自由文本LoRA不同该模型是在固定的、离散的相机词汇表上训练的。每个提示必须以触发词crossview.开头然后遵循以下模板crossview. new camera angle: {azimuth}, {elevation}, {distance}.各参数允许的短语AxisAllowed phrasesazimuth(orbit around the subject)same angle·slightly to the left·slightly to the right·to the left·to the right·far to the left·far to the rightelevation(camera height)lower·same height·higherdistance(to the subject)closer·same distance·furtherleft / right新相机围绕主体向该侧移动。higher相机从上方俯视lower从下方仰视。closer / further相机与主体的距离。所有63种有效组合都列在captions_all_63.txt中。请使用这些确切的短语因为模型专门学习了这个词汇表所以同义词如“45度左”、“稍微向左”的可靠性较低。示例提示词crossview. new camera angle: to the right, lower, closer. crossview. new camera angle: to the left, higher, further. crossview. new camera angle: same angle, same height, closer.提升效率高级使用技巧角度大小和链式操作模型在小的、单步角度变化上工作最可靠。对于较大的视角偏移可以链接多个小步骤——将生成的视图作为新的参考反馈回来并应用另一个小角度。利用完整提示词列表训练该模型所用的每个提示都在captions_all_63.txt中使用这些确切的短语能获得更好的效果。针对蒸馏模型的设置LoRA是在完整非蒸馏的LTX-2.3上训练的。在蒸馏的少步工作流中其效果较弱——尝试将LoRA强度设置为1.2–1.5和/或在第一遍非蒸馏中运行。实际应用案例以下是一些使用LTX2.3-22B_IC-LoRA-CrossView-Prompt生成的示例视频每个视频都展示了参考视频顶部和生成的新相机视图底部。武士视角变化assets/example_samurai_left-higher-closer.mp4水下场景视角变化assets/example_underwater_right-lower-further.mp4汽车视角变化assets/example_car_right-lower-closer.mp4了解训练细节这款IC-LoRA是在RunPod云GPUNVIDIA RTX PRO 6000 Blackwell96 GB上训练的。ParameterValueBase modelLTX-Video 2.3 (22B)Training frameworkltx-trainer (Lightricks)Training strategyIC-LoRA (flexible, reference conditioning)Released checkpointstep 13,700 (12k linear 1.7k warm-start continuation)LoRA rank / alpha16 / 16Target modulesattn1, attn2 (to_k/q/v/out) —attention onlyOptimizerAdamW — 2e-4 linear decay (main), 1e-4 constant (continuation)Timestep samplinguniform sigma[0.4, 1.0]Mixed precisionbf16Batch size1 (gradient checkpointing enabled)Conditioningreference p1.0 first_frame p0.2Training dataset294 pairsResolution768x768x81 15fps训练数据集该模型在SynCamVideoKlingTeamApache-2.0上训练这是一个在Unreal Engine 5中渲染的合成多相机数据集每个场景在主体周围的半球上采样10个静态相机。294个精心策划的参考/目标相机对在标题词汇表中保持平衡。注意事项局限性说明视角范围训练相机跨越正面扇区最大约±60°方位角“从后面看”超出范围。蒸馏模型在蒸馏的少步模型上效果较弱见技巧部分。许可证信息本LoRA根据Apache License 2.0共享。它完全在SynCamVideo数据集上训练该数据集本身也是Apache-2.0许可的因此训练数据对该适配器没有附加限制可以在相同的许可条款下发布。请注意使用此LoRA需要LTX-Video 2.3基础模型该模型受其自身许可证的约束——请单独查看Lightricks的基础权重条款。如何获取项目如果需要clone仓库仓库的地址是 https://gitcode.com/hf_mirrors/Cseti/LTX2.3-22B_IC-LoRA-CrossView-Prompt 。【免费下载链接】LTX2.3-22B_IC-LoRA-CrossView-Prompt项目地址: https://ai.gitcode.com/hf_mirrors/Cseti/LTX2.3-22B_IC-LoRA-CrossView-Prompt创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考