A fast 2D and 3D game engine — TypeScript SDK, C++/WebAssembly core, visual editor. Ship one project to web, desktop, WeChat MiniGames, playable ads, and native Android / iOS.
GPU 性能:现代引擎技术对照我们的渲染器(2026-10-26)
依据是 docs/TERRAIN_WATER_GPU_COST.md 里在 RTX 3060、1080p、WebGL2 上量过的数,和读过的代码。每一项写:它是什么、我们现在有什么、量到的证据、估计的收益、风险。收益是估计,不是承诺;没有量过的我标了。
先放一个前提:我们是怎么量的,以及缺什么
引擎只有整个渲染图一个 GPU 计时器(render.graph),场景的网格绘制还在图外。所以这一轮每个数都是“拿掉一样东西,看整帧差多少”(消融),有的还要为了量一个着色器阶段重新编一个引擎。这能用,但慢,而且各部分不能相加。
- 0. 逐 pass 的 GPU 计时(已落地,2026-10-26)。 渲染图的每个 pass 带一个计时:WebGL2 在 pass 前后包一个
EXT_disjoint_timer_query_webgl2查询,WebGPU 把timestamp-query挂在这个 pass 上(渲染 pass 和计算 pass 都行),结果几帧之后读回(环形,不阻塞 CPU)。只在剖析器打开时跑(每个 pass 一个查询),关着时仍是原来的整图一个计时器。整图计时器在两个后端是同一个量:WebGL2 是包住整张图的一个查询,WebGPU 是计时区间内每个渲染/计算 pass 的时间之和(2026-11-11 之前 WebGPU 关着剖析器时只计上屏那一个 pass,读数远小于整帧,动态分辨率据此误判有余量,见 #120);ESTELLA_VERIFY_GPU_FRAME=print|require把它和逐 pass 之和并排读出来。读法:engine_getGpuScopes()里的graph和pass/<名字>;无头 harness 用node tools/terrain-water-cost.mjs --passes(每个变体后打印逐 pass 表),渲染宿主用ESTELLA_VERIFY_GPU_PASSES=print(两个后端都有)。这一轮拿它重新量了一遍,见docs/TERRAIN_WATER_GPU_COST.md的“逐 pass 读数”:各 pass 之和与整图计时、墙钟吻合(24.0 / 24.2 / 25.7 ms),所以以后的取舍是一次读数,不再是消融构建。**已知的限度:**一个被设备从中间切成两段的 pass(渲染中途的拷贝)在 WebGPU 上只计到切口;同名的 pass(两台相机、两个阴影视图)按名字相加。
按证据排序
1. 天空大气和高度雾:LUT 化、低分辨率、跨帧复用 —— 半分辨率这一步已落地(2026-10-26)
**已落地:**逐 pass 读数说明这两块的成本几乎全是云的步进、云影和云光柱,不是大气散射本身;它们现在在半分辨率算、按深度读回,默认机位整帧 25.6 → 20.1 ms,见 docs/TERRAIN_WATER_GPU_COST.md 的“天空与雾的半分辨率”。下面的 LUT 化只剩天空大气的散射(0.86 ms)和雾的解析部分(1.25 ms),不再值得做;真正还大的是 scene 本身。
**证据:**所有优化之后,默认机位 24.8 ms 的帧里,后处理链占 12.4 ms,其中天空大气 7.9 ms、高度雾 5.1 ms(沿河机位:7.2 与 5.1);两者不是相加的关系,但合起来是帧的一半以上。它们各是一个全分辨率的单 pass。
现代做法(Hillaire 2020,UE5 / Frostbite 的天空大气):
- Transmittance LUT(只随高度和太阳角变,几乎不用重算)、multi-scattering LUT、sky-view LUT(小图,天空的颜色只随方向变,屏幕上每个天空像素只采一次)。
- Aerial perspective:把雾和大气的散射做成一个相机对齐的小体积纹理(froxel,例如 32×32×16),每个像素按深度采一次,取代每像素的步进。
- 云:低分辨率(1/4)加时间重投影累积,每帧只算像素的一部分,其余用历史。
我们现在有:skyAtmosphere 每个天空像素 16 步云步进;heightFog 每像素一个解析式,打开 u_volumetric 时每像素 24 个阴影采样(这个示例里体积光只占 −0.3 到 −0.6 ms,在噪声里)。gtao 已经是半分辨率加双向模糊,说明引擎里有“半分辨率 pass 加上采样”的现成做法(scale: 0.5 的 multiPass)。
**估计:**天空 LUT 加 aerial perspective 能把这两项合起来从 13 ms 降到 2 到 4 ms(帧的 30% 到 40%)。**风险:**画面要重新对齐(太阳、云影、雾的颜色),这是渲染器里最容易出现“看起来不对但没有一个像素验收能说清”的部分;需要截图对比。**工作量:**大(一到两周)。比它便宜的第一步:把天空和雾各自放到半分辨率,用深度感知的上采样,这是现有 gtao 的做法,一两天。
2. 用 TAA 加时间上采样换掉 4× MSAA,再加动态分辨率
**证据:**4× MSAA 在预通道之后还是 5 到 8 ms(帧的 16% 到 18%),集中在接收阴影的叶片边缘像素的着色次数上,不在解析;渲染比例 0.75 省 15 到 44 ms(帧是片元受限)。
**现代做法:**1× 渲染加抖动、运动向量、历史累积(TAA),需要时再用时间上采样(TAAU/FSR2 类)从 0.67 倍分辨率放回。
我们现在有:taa 是一个后处理效果(这个示例的链里没有开,所以没有量它的成本),motion pass(RenderPurpose::Motion)已经为它写运动向量,QualityController 有 dynamicResolution 和 renderScale 的上下限。**缺:**把它们接成一条默认的“高画质 = 1× + TAAU”的路径,以及对叶片的抗锯齿质量(镂空卡片的 TAA 鬼影)的验收。
**估计:**5 到 8 ms(MSAA)加上动态分辨率的余量。**风险:**画面特性变了(时间稳定性换空间锐度),镂空叶片和细线容易鬼影;用户已经决定 high 档的 4× MSAA 不动,所以这一项只能作为新的档位或选项。
2026-10-27 的实测与落地(1080p,这个示例):
- **成本:**1× 加时域 AA 比 4× MSAA 加 FXAA 快约 2.5 ms(15.4 到 12.9 ms),
taa这一趟本身 0.18 ms;中档现在用 2× MSAA,换成时域 AA 省约 0.9 ms。 - **画质(静止和相机平移,看放大对比图和拉普拉斯细节能量):**历史帧原来按双线性重采样,每帧小数偏移都糊一点,累积起来水面的细节只剩 MSAA 的 44%。改成 Catmull-Rom 双三次(5 次采样)后,水面回到 64%,树叶不低于 MSAA,天空 63%。再加锐化效果会把噪点一起放大(0.35 的强度让树叶细节变成 MSAA 的 5 倍),没有采用。
- 落地:
QualityProfile.antialiasing('msaa'默认,'temporal'可选)。选了temporal,这一档用 1 个采样、给后处理体积加上taa通道(体积没列也加)、不跑fxaa,并且低档也会跑taa。没有改任何档位的默认值,所以现有项目的画面不变;要不要把中档默认改成它,是画面取舍,需要拍板。 - **仍缺:**水面和云没有运动向量,镜头快速移动时仍比 MSAA 软;镂空叶片关掉 MSAA 后没有覆盖抖动,树冠观感偏亮;还没做时间上采样(低分辨率渲染加时域重建),那才是比换掉 MSAA 更大的杠杆。
3. 阴影:缓存与更新率,而不是更便宜的查找
**证据:**阴影整个是 3.6 ms(默认)到 9.8 ms(沿河)。接收端只有 3 到 4 ms,而且试过的减采样、背面跳过、硬边都没有收益;投射才是随场景变的那一块。级联模式下投射体的绘制数是一张图的 2 到 4 倍(因为默认范围太大,不是剔除缺失)。
现代做法:
- 静态投射体缓存:地形、不动的树不是每帧画进阴影图;只重画动的东西,太阳动得慢时远处的级联隔几帧才更新(我们的 TimeOfDay 很慢)。
- 虚拟阴影图 / 稀疏分页(UE5 的 VSM):只画屏幕上有像素用到的页。浏览器里没有稀疏纹理,代价高,不建议。
- 接触阴影(屏幕空间短射线)补细节,让主阴影图可以更粗。
**我们现在有:**每帧全量重画每一张阴影图;没有缓存也没有隔帧更新。**估计:**缓存 + 隔帧更新能把投射部分的大半拿掉(这个示例里 3 到 8 ms,远处级联更多)。**风险:**视角移动时缓存要按纹素网格对齐,太阳动时要失效。**工作量:**中。
4. GPU 驱动的绘制:间接绘制、计算剔除、Hi-Z 遮挡
**证据:**CPU 帧耗时在 9 到 14 ms(含剖析开销),绘制 600 到 700 个,阴影绘制 400 到 5000 个(级联模式)。GPU 受限的这个场景里 CPU 不是瓶颈;但手机和小游戏上它会是。
**现代做法:**把每个单元里的实例位置放在一块 GPU 缓冲里,用计算着色器做视锥和 Hi-Z 遮挡剔除,把幸存者写进间接绘制参数,一次 multiDrawIndirect 画完整个场景。
**我们现在有:**实例化的植物绘制(按单元和种类合并成一个绘制)、一个 CPU 的软件遮挡盒(occlusion_);RHI 里没有间接绘制,也没有计算分发的统一接口(WebGPU 后端有计算 pass,GPU 粒子在用)。WebGL2 没有间接绘制,所以这一项只对 WebGPU 路径有意义。**估计:**对这个场景的 GPU 时间几乎没有收益(叶片的着色次数不会因此少),CPU 时间和绘制提交会少。优先级低,等 WebGPU 成为主路径再做。
5. 可见性缓冲 / 延迟纹理(visibility buffer)
**证据:**植物是帧里最贵的一块(默认 4.3 ms,沿河 12.1 ms,没有预通道时是 22 到 68 ms),预通道已经拿掉了被遮住的着色。剩下的是多重采样下边缘像素的着色次数和小三角形的四元组过度着色。
**现代做法:**先把“哪个三角形、哪个实例”写进一张小图(便宜,深度加 id),再在一个屏幕空间 pass 里,每个像素只着色一次,按材质分批。对叶片这种几何密、材质少的场景尤其合适。
**我们现在有:**前向着色加预通道;已有 G-buffer 路径(给 SSR/SSGI 用)。**风险:**大改动,透明与镂空的处理,WebGL2 上的带宽;镂空(alpha-to-coverage)在 visibility buffer 里需要自己的做法。**估计:**如果 MSAA 换成 TAA(第 2 项)就不再需要它;两者择一。**优先级:**第 2 项之后再看。
6. 远处的树:贴图替身(impostor)
**证据:**树在 60 到 170 米之间曾是最贵的(lod1 一棵 1 万个三角形盖几百个像素);我们加了第三级网格(约 1/10 三角形)。再往远已经是两张交叉的卡片。
**现代做法:**八面体替身(octahedral impostor):把树从 N 个方向预烘成图集,远处按视角在几张图之间插值,几百个三角形的成本降到两个。
**我们现在有:**第三级网格加两张卡片的远景。**估计:**在 100 到 400 米这一段还有余量,但这个示例里树现在不是主要成本,除非场景树更多,否则不做。
7. 后处理的 pass 合并与半分辨率
**证据:**颜色分级、显示 LUT、FXAA、自动曝光、bloom 的五次下采样各是全屏 pass,逐个看都是 0.2 到 2 ms(bloom 在沿河 1.4 ms,颜色分级加 LUT 1.5 到 2.3 ms,FXAA 在噪声里)。
**现代做法:**把末尾的几次 LDR 全屏 pass(分级、LUT、FXAA、色调映射)合成一个;bloom 用计算着色器一次做完一条下采样链(WebGPU)。**估计:**1 到 2 ms。**风险:**小;displayLut 的“在输出变换之后”的次序要保持。
8. 移动端和小游戏上的取舍(没有量过)
- 分块 GPU 上深度预通道是几何画两次,所以 low 档默认关;没有在任何手机上量过,预通道的收益和代价应该在真机上各量一次再定 medium 档要不要开。
- 分块 GPU 对“把场景拷出来再折射”(水)特别贵(要把片上内存刷出去),所以水在 low 档应该走平面折射或假折射;这个示例的 low 档已经是“平水面”。
9. 2D 受光精灵(2026-11-12 实测,桌面)
怎么量:fixtures/scenes/sprite-lit-cost.esscene 是一张铺满屏幕的半透明受光精灵加四盏点光;渲染宿主把它叠 32 层(相机和灯不复制),1920×1080,RTX 3060:
ESTELLA_VERIFY_SCENE=/scenes/sprite-lit-cost.esscene ESTELLA_VERIFY_MANIFEST=/scenes/sprite-lit.textures.json
ESTELLA_VERIFY_W=1920 ESTELLA_VERIFY_H=1080 ESTELLA_VERIFY_SCALE={"copies":32,"cols":32,"spacing":[0.01,0]}
ESTELLA_VERIFY_GPU_PASSES=print node tools/run-electron.mjs tools/render-host/run.mjs
(在 PowerShell 里设环境变量;Git Bash 会把 /scenes/... 改写成 Windows 路径。)
| 32 层全屏 | WebGL2 | WebGPU |
|---|---|---|
| 不受光 | 0.84 ms | 1.28 ms |
| 受光,四盏点光 | 5.4 ms | 8.8 ms |
- 受光精灵走的是和三维表面同一个光照函数(
applyLightingPBR,金属度 0、粗糙度 1、镜面 0)。每层全屏约 0.14 ms(WebGL2),是不受光的六倍,但绝对值小:桌面上不是瓶颈。 - 镜面为 0 时跳过环境镜面那一段(DFG 拟合加反射查找)没有收益:5.40 对 5.40 ms。镜面是编译期常数 0,驱动的编译器已经把那一段折掉了。改动已撤回。
- WebGPU 比 WebGL2 慢约 1.5 倍,受光与不受光一样,所以是后端(混合/光栅)的差别,不是光照代码的。
- 读数陷阱(已修):
ESTELLA_VERIFY_GPU_PASSES=print原来取第一个有读数的帧,这一帧在这个场景上读成 50 ms(着色器第一次被用到的一次性开销),稳态是 5.4 ms。现在取第八个有读数的帧。那 50 ms 本身是真的首帧卡顿,属于"着色器首次编译"那一类(见docs/TERRAIN_WATER_GPU_COST.md的 Web 一节)。 - **没有量的:**手机。移动端的编译器不一定折掉常数分支(水着色器上量到过没走的分支也花时间)。
**这个数是什么:**32 层全屏 = 6600 万个受光片元,每个算四盏灯,共 2.6 亿次"一盏灯照一个像素"。一层全屏受光是 0.15 ms;一个真实的 2D 画面是两到四层重叠。
逐段定价(同一天,稳态读数,WebGL2,每刀一个构建):
| 剪掉 | 32 层 ms | 这一段 |
|---|---|---|
| 原样 | 5.40 | |
| 整个光照调用(下限) | 0.84 | 光照 4.56 |
| 灯循环 | 0.91 | 全部在灯循环里;间接光、探针、分块灯、环境镜面合起来 0.07 |
| 每盏灯的两次 2D 遮罩读取(形状、阴影) | 4.39 | 1.0 |
| 再加每盏灯的三维阴影查找 | 4.40 | 0 |
| 衰减换成一条线性斜坡 | 少 1.0 | distanceFalloff(pow 加三次除法)1.0 |
图层范围判断(lightReachesLayer) |
少 0.7 | 0.7;把里面的除法和取模换成乘法没有变化(4.68 对 4.72),所以不是那几次运算 |
| 循环展开成常数下标 | 少 0.25 | 动态下标读灯块不是成本 |
**落地(2026-11-12):**受光精灵和 2D 受光材质(applyLighting2D*)不再绕三维的 applyLightingPBR,走自己的 shadeLight2D:同样的求和,逐项相同,两张 2D 遮罩每个像素读一次而不是每盏灯读一次,不带高光的任何部分。
| 32 层全屏,四盏点光 | 之前 | 之后 |
|---|---|---|
| WebGL2 | 5.40 ms | 4.70 ms |
| WebGPU | 8.78 ms | 6.51 ms |
两个后端各 29 个 2D/3D 光照像素场景通过(光形、衰减、2D 阴影、受光材质、受光精灵、线性)。
**试了反而慢的(D3D):**把点光和聚光合成一个分支、聚光锥再判一次(5.7 ms);照不到的灯提前返回(同上)。保留了和通用函数一样的三个分支。
剩下的 3.9 ms 是每盏灯的算术(2.6 亿次,每次约 15 皮秒),再改着色器文本只有零头。真正的杠杆是少算灯:现在每个受光像素对场景里的每一盏灯都算一遍,不管照不照得到。按精灵(或按屏幕分块,分块灯已经有这套掩码)在 CPU 上剔掉照不到的灯,像素只算照得到它的那几盏——真实的 2D 场景里灯是局部的,这才是数量级的差别。已做,见下。
**按四边形剔灯(2026-11-12 落地):**灯在任何插件提交之前就收集好了,所以精灵提交时知道循环里每盏灯的位置和半径。每个受光四边形(平铺精灵是每块一个,不是整张)拿自己顶点的包围盒去比:灯的衰减从半径起恒为零(线性、幂次、平方反比都是),整个盒子在半径外的灯对它恰好贡献零。照得到的灯记成 15 位掩码,和图层一起放进顶点里原来只放图层的那一格(-(图层 + 129 + 512 × 掩码),负号表示带了掩码;正数是旧写法,所有灯照算),片元循环里掩码没置位的灯直接跳过。第 16 盏灯没有位,总是算;分块灯(16 盏之外)本来就有自己的掩码,不变。lightReachMask2D / packSpriteLightLane(LightConstants.hpp),SpritePlugin.cpp 里算,applyLighting2DLayer 里解。
量法:fixtures/scenes/sprite-lit-local-cost.esscene(四张叠在一起的 40 单位受光砖,16 盏半径 90 的点光排成 4×4),渲染宿主铺成 28×16 = 448 格(ESTELLA_VERIFY_SCALE={"copies":448,"cols":28,"spacing":[40,40]}),1080p:
| 448 格 × 4 层,16 盏局部灯 | 之前 | 之后 |
|---|---|---|
| WebGL2 | 2.03 ms | 0.58 ms |
| WebGPU | 2.72 ms | 0.76 ms |
- 画面:前后两帧逐像素相同(960×540,最大通道差 0)。
- 每个四边形平均只剩不到一盏灯要算(26880 个灯槽里省掉 25320 个)。
- **代价:**没有灯可剔时(上面那个四盏灯都盖满全屏的压力场景)多一次位判断,4.70 → 5.09 ms(+8%)。把位判断并进灯函数已有的提前返回里试过:压力场景 4.95,但局部灯场景变成 0.88,所以留在循环里。
- 防回归:
sprite-lit-reach渲染场景钉住render.lights2d.spared(1024 个四边形省掉 14476 个灯槽)和三个点(两处灯下必须亮,一处灯外必须黑),两个后端都过。像素看不出剔没剔,所以钉的是计数。 - **没有做的:**只有精灵插件写掩码;自带顶点流的受光东西(粒子、Spine)仍然所有灯照算。聚光只按半径剔,不按锥角。手机没有量。
**瓦片地图受光,按屏幕分块剔灯(2026-11-12 落地):**瓦片地图原来根本不能受光(TilemapLayer 没有这个字段,一律走不受光的程序)。现在有 TilemapLayer.lit,打开后和受光精灵用同一个程序。它的条带常驻 GPU,顶点里写灯掩码的话任何一盏灯动一下就得重建,所以不走按四边形那条路:灯收集完后,LightStore::markLoopLights 把循环里 16 盏灯各自够得着的屏幕分块(16×12)记进分块掩码空着的第四个字(前三个字是 16 盏之外的分块灯),tileInfo.w 说这个字有效;2D 光照函数按像素所在的分块把够不着的灯跳过。精灵的四边形掩码和它相与,所以一张铺满屏幕的大精灵也按分块剔。只在"深度不进画面 x、y"的视图(正交、正对平面)下标记,其余视图这个字全是 1,什么都不跳;平行光每块都标。
量法:fixtures/scenes/tilemap-lit-cost.esscene(四层 64×48 的 16 单位瓦片,半透明,16 盏半径 90 的点光),1080p,同一个着色器只差 markLoopLights 调不调:
| 4 层受光瓦片,16 盏局部灯 | 不剔 | 按分块剔 |
|---|---|---|
| WebGL2 | 2.58 ms | 0.71 ms |
| WebGPU | 3.24 ms | 0.95 ms |
- 画面:剔与不剔相差 4203 个像素、最大 2 级;同一个构建跑两次自己就差 3702 个像素、最大 2 级(瓦片图集采样的运行间噪声),所以两者在噪声之内,不是逐位相同的证明。
- 对精灵的影响:局部灯场景仍是 0.54 到 0.70 ms(原 0.58,读数有抖动);全屏压力场景 5.09 → 5.15 ms(每像素多一次分块查找)。
- 防回归:
tilemap-lit渲染场景钉住render.lights2d.tileBits(192 块 × 16 盏里只剩 180 对)和七个点(画面上下边缘那两排灯下、中间两盏灯下必须亮,灯之间必须黑),两个后端都过。 - **没有做的:**没有组件的代码驱动图层(只有
LayerData)不受光;瓦片不带图层号,灯的图层范围对它不起作用(和网格一样);透视或倾斜的相机下不剔。
这一轮已经量过、不是杠杆的(别再花时间)
| 想法 | 结果 |
|---|---|
| 折射的两次场景拷贝 | 0 到 1 ms,在噪声里 |
| 水面反射步进(20 步) | 关掉不变 |
| 水着色器的数学(波浪、区域、涟漪、折射、焦散、泡沫、光照) | 每一段在噪声里;成本是末尾的 discard(已改) |
| 阴影采样数、硬边阴影、背面跳过、4 采样提前退出 | 没有收益或更慢 |
| MSAA 解析和后处理对 MSAA 的敏感 | 解析 ≤ 0.7 ms |
| FXAA | 噪声 |
| 近处树提前换 LOD | 预通道之后 0 到 2 ms,树冠变疏 |
| 水的质量档位 | 都在噪声里 |
| 受光精灵:镜面为 0 时跳过环境镜面 | 桌面上不变(5.40 对 5.40 ms),编译器已折掉 |
建议的顺序
逐 pass GPU 计时(第 0 项):已落地。- 天空与雾半分辨率加上采样(第 1 项的第一步),再看要不要做 LUT。
- 阴影缓存与远处级联隔帧更新(第 3 项)。
- TAA 加时间上采样作为新档位(第 2 项),要用户拍板。
- 后处理 pass 合并(第 7 项)。
GPU 驱动绘制、可见性缓冲、替身这三项,在这个示例的瓶颈上收益都不大,不在前面。