AI-ComfyUI生成游戏资产的实践
最近用 ComfyUI 跑了一批游戏资产相关的生图测试，主要分成三类：原画、纹理和数据图。比起单纯看图片是否好看，我更关心它们距离实际使用还有多远，以及后续需要补多少工作。
目前我的结论是：原画能力 > 纹理图能力 > 数据图能力。 原画最容易产生有价值的结果，纹理能提供不错的起点，但离可直接使用的材质还有距离；数据图在这次尝试中基本不可用，仍然需要使用 Substance 3D Designer（下文简称 SD）来制作。
这里需要说明范围：ComfyUI 是组织模型和处理步骤的工具，本身并不是一个生图模型。本文测试以 Z-Image-Turbo 为主，纹理部分接入了 CHORD，不能把这批结果直接当成所有模型的能力上限。文中的“可用”，也区分了视觉参考、待加工素材和已经通过引擎验证的资产。
| 类型 | 这次测试中的价值 | 距离实际使用的主要障碍 |
|---|---|---|
| 原画 | 探索角色、场景、构图和风格，参考价值最高 | 结构合理性、系列一致性、可实施性 |
| 纹理 | 生成材质外观，作为底图与材质分解的输入 | 光照残留、平铺接缝、各通道一致性 |
| 数据图 | 能生成类似 Noise 的外观，难以按要求稳定交付 | 数值分布、连续性、方向与尺度控制 |
1. 原画
1.1 适合快速探索视觉方向
这一部分的效果最符合预期。角色立绘、奇幻场景、建筑氛围，以及同一题材的不同画风，都能比较快地得到可以讨论和筛选的结果。
例如角色测试中，把服装、材质、配色、姿态和背景约束写清楚，就能得到轮廓完整、视觉重心明确的设计参考。下面这张角色图已经能表达深色皮甲、绿色披风与冒险者的整体气质，适合用来讨论造型方向。
场景也类似。巨树、树屋、绳桥、瀑布和晨光这些要素，可以组合成有氛围的环境概念图。它能帮助我先判断空间层次、色调和题材是否成立，再决定是否继续细化。
这批原画使用的主要模型是 z_image_turbo_bf16.safetensors，搭配 qwen_3_4b.safetensors 文本编码器和 ae.safetensors VAE，与 ComfyUI 官方示例中的模型组合一致。所选样本的 PNG 工作流信息记录了 8 步采样、CFG 为 1，角色图为 832×1216，村落场景为 1216×832。这些是本次样本参数，不代表其他模型或任务的通用最佳配置。
1.2 同一题材可以尝试多种画风
另一组测试围绕“森林里的石拱桥”展开，分别尝试了像素、扁平插画、水墨、黑白线描和较写实的表现。这里最有价值的地方是：在正式制作前，可以先比较不同表达方式与题材是否合适。
不过，“像素风”不代表已经满足实际像素资产的网格、色板和动画要求；“矢量插画风格”也不会让输出的 PNG 自动变成可编辑矢量文件。这里得到的是外观方向，后续仍要按照项目规范重新整理。
1.3 好看的原画仍然需要设计判断
原画阶段容许一定程度的模糊。一张图只要把氛围、轮廓和材质关系表达出来，就能为后续工作提供价值。但如果要据此建模、绑定和制作动画，就要进一步确认衣服如何连接、装备是否能活动、背面结构如何延续，以及不同视图是否一致。
所以我更愿意把它用于前期发散和沟通：先生成候选，筛选出值得保留的部分，再由人整理结构和设计逻辑。单张图片完成度高，并不等于一整套角色或场景资产已经完成。
2. 纹理
2.1 能生成材质外观，但约束比原画更严格
从原画转到纹理，要求就发生了变化。原画可以用透视、光影和景深增强表现；铺在模型表面的纹理往往需要尽量排除这些因素，否则它们会和引擎里的实时光照叠加。
这次测试了地砖、大理石、泥土和木纹等表面。提示词中强调了正交俯视、平面表面、均匀照明、无投影、无透视和铺满画面。这些描述有助于约束方向，但不能保证每项要求都被满足。
地砖样本能表达出釉面、细小裂纹和砖缝，作为材质外观的起点是有价值的。但仔细看，砖边仍有亮暗变化，网格也需要检查。若把这种图直接当作底色使用，其中的光照痕迹可能影响最终效果。
“看起来是一块材质”和“可以稳定铺在大面积表面上”，是两种不同的验收要求。
2.2 用 CHORD 从同一张图估计材质通道
PBR（Physically Based Rendering，基于物理的渲染）通常需要多种材质信息。仅有一张彩色表面图，还不足以完整描述表面在不同光照下的表现。
这次工作流接入了 Ubisoft 开源的 CHORD 节点，从同一张输入图估计 BaseColor、Normal、Roughness 和 Metallic，即底色、法线、粗糙度和金属度。当前本地工作流还通过 ChordNormalToHeight 从法线推导高度图；它属于后续推导结果，需要单独检查。
这条流程比“分别提示模型画一张底色、一张法线、一张粗糙度”更有意义，因为各通道围绕同一输入进行估计。但估计仍然存在歧义：原图中的一条暗线可能来自缝隙、颜色变化或阴影，单张图无法唯一确定真实的材质参数。
目前生成目录中已有四组源图及对应的材质输出，说明流程已经产出了结果。本文展示的是输出图片，还没有据此完成引擎内的材质验收，因此不把“文件齐全”当作“效果正确”。
2.3 平铺与引擎内检查仍然不能省略
纹理要落地，至少还需要检查三个方面。
第一是四方连续。把图片重复铺成 2×2 或更大面积，检查横向、纵向接缝，以及重复单元是否过于显眼。提示词中的 seamless 只是生成要求，不能代替检查。
第二是通道对齐。砖缝在底色、法线、粗糙度和高度图里应该位于对应位置。若后续做了裁切或平铺修正，需要保持所有通道的坐标关系。
第三是材质实际表现。放到平面和球体上，改变光源方向、观察角度和 UV 重复次数，检查凹凸方向、反光强度，以及远距离下是否出现明显重复。还要确认引擎中的法线格式和数据贴图导入设置。
因此，纹理部分我的评价是“可以辅助生产素材，但仍需要加工和验证”。它比原画更难直接交付，因为最终效果取决于图片、各通道和渲染设置之间是否一致。
3. 数据图
3.1 难点从画面表现变成数值控制
这里的数据图，主要指给 Shader 采样的 Noise、Gradient、Mask 等纹理，分别对应噪声、渐变和遮罩。它们的像素值会参与溶解、扰动、混合与阈值判断，评价标准不只是视觉效果。
例如一张用于溶解的 Noise，需要关心亮暗分布是否均衡、阈值变化时形状是否自然、尺度是否合适，以及平铺或滚动时有没有明显接缝。一张 Gradient 则可能要求沿指定方向单调变化，不能凭空增加亮斑、纹理或局部反转。
这批实际样本主要是 Noise，下面的结果不能当作 Gradient、流向图等任务的实测结论。但它已经暴露出一个问题：生成类似数据图的外观，和满足明确的数据约束，之间还有很大距离。
即使提示词明确写了“二维标量场、无光照、无物体、无中心主体、无镜像对称”，仍然需要自己检查结果。把输出转换为灰度，只能统一颜色通道，不能自动解决分布、尺度和连续性问题。
3.2 镜像可以连接边界，却会暴露重复图案
为了实现四方连续，我尝试过镜像拼接。它能让相邻边连接起来，但也会把原有形状翻转成对称结构，产生明显的重复中心。
这类图单独看可能像普通噪声，放大面积重复后却容易形成类似地砖或装饰纹样的感觉。对需要自然、不规则变化的溶解与扰动来说，这种规律会直接影响观感。
后面又尝试了非镜像的交叠融合：把对边的一段区域进行渐变混合，再重新拼接。这个样本由 512×512 的原图处理为 384×384，减少了直接镜像造成的对称感。
但这一步来自后处理，不能算成模型原生满足了平铺要求。交叠区域还可能改变局部对比度与形状，仍需在重复采样和实际 Shader 效果中检查。
3.3 当前仍然需要 Substance Designer
以这次测试和我的实际使用要求来说，数据图这一项基本不可用。它能产出“像 Noise 的图片”，但很难直接得到符合需求、可控且能反复使用的数据资产。继续调整自然语言提示词，收益已经比较有限。
这也是我目前仍然需要 SD 的原因。数据图往往要求明确的生成规则：噪声的尺度、密度和方向，渐变的起止值与变化方向，遮罩的边界与过渡宽度。通过程序化节点构建这些关系，才能在需求变化时有针对性地调整，而不是反复生成候选，再从中挑一张接近要求的图片。
例如，Adobe 的 Noise 节点文档列出了用于细节与变化叠加的程序化噪声。实际制作时，可以从这类基础信号出发，再组合变形、混合和灰度调整，逐步得到目标形态。程序化也需要调试和平铺检查，但每一步的作用更明确，制作逻辑也能保留下来继续修改。
因此，对要求明确的 Noise、Gradient 和 Mask，我目前仍然优先使用 SD。AI 可以辅助探索特殊形态，或者提供后续处理的输入，但在这次实践中，还不能替代这部分数据图制作工作。
另外，分类之间也有交叉：PBR 材质里的法线、粗糙度同样属于数据。前面能得到这些输出，是因为接入了专门的材质估计模型，不能据此推断通用文生图模型可以直接生成任意合格的数据贴图。
总结
目前这轮实践，我最愿意继续使用的是原画生成：它能快速提供角色、场景和画风方向，帮助我筛选想法。纹理生成则适合作为素材生产的起点，配合专门的材质分解模型、平铺处理和引擎验证，才有机会进入实际项目。
数据图的限制最明显。对当前这套以 Z-Image-Turbo 为主的流程，我的判断仍然是基本不可用，需要继续使用 Substance Designer，通过程序化节点解决明确的数值与形态控制需求。
这三个方向的差异，也对应着越来越严格的交付要求：原画首先需要表达清楚，纹理需要在表面和光照中成立，数据图则需要让数值本身符合预期。后续是否值得继续投入，最终还是要看它节省的制作时间，能不能覆盖筛选、修正和验证的成本。