）近年来，神经渲染方法显著提高了人脸渲染真实感。相关方法使用深度神经网络对人类皮肤上的光传输进行建模，通过重建真实图像直接再现物理效应，如亚表面散射。然而，尽管神经重照明取得了成功，但将这种方法扩展到可动画化手部模型带来了一个独特的挑战：跨关节的泛化。

　　与人脸不同，手存在一系列的关节，单个关节的状态会影响所有子关节。所以，即便是单个人体都会出现极其多样化的形状变化。姿势的变化会极大地影响手的外观，产生皱纹、投射阴影，并在较远区域相互反射。渲染所述效果具有挑战性，因为很难获得照片真实感所需的足够精确的几何体和材质属性。

　　同时，要达到足够精确的路径跟踪需要耗费大量的计算成本。使用简化的几何和外观模型（如线性混合蒙皮和减少的材质模型）可以加快计算速度，但渲染逼真度会明显降低。到目前为止，具有全局照明效果的可动画手部的实时真实感渲染依然是一个有待解决的问题。

　　所以，团队提出了用于实时渲染的参数化3D手部模型的第一个神经重照明框架。具体来说，他们构建了一个可重照明的手部模型，以再现动态手部运动的light-stage capture。研究人员捕捉了时空复用照明模式下的表现，其中全开启照明是交错的，以追踪手部几何结构和姿势的当前状态。

　　他们使用两阶段teacher-student方法来学习一个可以泛化到捕捉系统之外的自然照明的模型。首先训练一个teacher模型，在给定点光源位置、视图方向和光源可见性的情况下推断辐射。由于所述模型直接学习输入光位置和输出辐射之间的映射，所以它可以在不需要路径跟踪的情况下准确对手部复杂反射率和散射进行建模。

　　为了在任意照明中渲染手部，研究人员通过使用光传输的线性将自然照明视为远点光源的组合。然后，将teacher模型的渲染图作为pseudo ground truth，从而训练以目标环境地图为条件的高效student模型。

　　他们发现，用于人脸的student模型架构在应用于可重照明手部时会导致严重的过度拟合，难以再现照明和手部姿势之间的几何交互。因此，团队建议使用受物理启发的照明特征来计算空间对齐的照明信息，包括可见性、漫反射和镜面反射。

　　由于所述特征是基于几何结构，并且近似于光传输的第一次反弹，所以它们与完整的外观表现出很强的相关性，并提供了足够的条件信息来推断自然照明下的精确辐射。特别是，可见性在解开光线和姿势方面发挥着关键作用，减少了对有限训练数据中可能存在的虚假相关性的学习。

　　然而，对于实时渲染来说，以全几何分辨率计算每一个光的可见性对计算而言过于昂贵。为了解决这个问题，团队建议使用与手部模型共享相同UV参数化的coarse代理网格来计算照明特征。

　　其中，计算coarse几何体顶点处的特征，并使用重心插值来创建纹理对齐的照明特征。全卷积架构学习补偿输入特征的近似性质，并推断局部和全局光传输效应。这样，模型可以在自然照明下以实时帧率渲染外观，如图1所示。

　　研究表明，整合可见性信息和空间对齐的照明特征对于泛化新的照明和姿势都非常重要。实验同时证明了所述方法支持实时渲染两只手，并在手上投射逼线. 方法

　　团队的目标是为手部构建一个可以在基于点光源的light-stage capture的自然照明下实时渲染的可重照明外观模型。所以，他们将teacher-student框架扩展到了关节式MVPs。teacher模型使用部分照明的帧来学习OLAT可重照明的纹理。teacher模型计算单点光源的照明，而由于光传输的线性，它可以泛化到任意照明。

　　然而，需要生成多个OLAT纹理才能在自然照明下获得渲染。这导致渲染的大量计算开销（每帧约30秒）。因此，研究人员使用teacher OLAT模型来合成自然照明下的图像，并训练一个可以通过通过环境贴图调节的有效student模型，从而与teacher模型生成的pseudo ground truth相匹配。

　　然而，基于MVP的解码器需要显著更大的信道尺寸来表示额外的体三维深度轴。因此，使用MLP对每个单个体素的辐射进行解码对计算而言不可处理。为了解决这一问题，研究人员采用了U-Net架构，以重塑的可见性贴图和空间对齐的照明和视图方向为输入。换句话说，对于每个基元k和光i，光方向编码为Fk，il∈R3×s×s×s，视图方向编码为Fkv∈R3×s×s×s。

　　student模型Aenv预测了手部模型在自然照明下的外观。student中的主要挑战是可以泛化到训练中不可见的照明和姿势的有效光编码。最先进的基于模型的人脸重照明方法引入了一种高效的超网架构，以16×32环境贴图的512维bottleneck表示为条件。研究人团发现，这种bottleneck照明表示很难泛化，因为它通过将其折叠成单个向量而失去了照明的空间几何形状。

　　因为，团队参照社区发现提出了一种空间对齐的照明表示。其中，所述照明表示专为基于模型的手部重照明而定制，可以准确地解释由于姿势变化引起的自遮挡。换句话说，通过从每个顶点投射M条光线（每个envmap位置一条）来产生与纹素对齐的特征表示，并计算envmap值的加权和，以产生漫反射和镜面反射component。

　　表2显示，在不可见手势和照明设置下，团队的方法在所有指标上都获得了最佳的MSE和SSIM分数。由于没有自然光照下的真实图像，因此使用了teacher模型生成的测试图像进行评估。

　　图7显示，与ground truth相比，基于bottleneck的光编码无法匹配整体强度。另外，它缺乏细粒度的照明效果，如掠入射角的反射和柔和的阴影。相比之下，即使没有所提出的可见性集成，团队的空间对齐表示都显著提高了重建的保线所示，定量评估有力地支持了这一观察结果。另外，他们评估了所提出的计算特征的高效可见性集成的有效性。图7和表2显示，与没有可见性集成的模型相比，即使对于新颖的姿势和照明，完整模型都能实现更忠实的阴影重建。

　　混合表示允许他们使用coarse网格来有效地计算受物理启发的光特征，并作为所提出的student模型的输入条件。实验表明，空间对齐的光表示和显式可见性集成对于高度可泛化的重照明至关重要。雷竞技app官方版下载雷竞技app官方版下载