Decomposition and Relighting of 3D and 4D Scans based on Gaussian Splatting: A Technical Review of Physically-Based Rendering Methods

Part 1: Foundational Principles: The Inherent Complexity of Relighting Gaussian Splats

This research begins by examining the fundamental concepts to define the core problem. First, the 3D Gaussian Splatting representation is analyzed to understand why it is inherently unsuitable for relighting. Then, the principles of Physically-Based Rendering (PBR) are outlined to identify the specific material and geometric properties that need to be recovered to overcome this challenge.

1.1. 3D Gaussian Splatting (3DGS) Representation

The analysis begins with the mathematical definition of a 3DGS primitive. Each Gaussian is defined by a 3D position (mean µ), a 3D covariance matrix Σ (representing its shape and orientation), and an opacity α.1 This explicit, point-based representation is key to its real-time rendering capabilities.

A critical aspect for analysis is the appearance encoding. In the original 3DGS formulation, color is not a static value but is represented by Spherical Harmonics (SH) coefficients. This allows the color to vary with the viewing direction, capturing view-dependent effects like reflections.1

Next, the standard 3DGS optimization pipeline is examined in detail: initialization from a sparse point cloud (typically obtained via Structure-from-Motion), a differentiable rasterization process for rendering, and an adaptive density control mechanism that periodically clones, splits, or prunes Gaussians to better match the target scene.1

The "Baked" Lighting Problem.

The standard 3DGS framework is optimized solely for Novel View Synthesis (NVS).5 Its loss function forces the system to reproduce the input images from new camera angles as accurately as possible. Because the SH coefficients are optimized to match the final pixel color of the source photographs, they inevitably learn a combination of the object's true surface color (albedo), the way light reflects off it (BRDF), and the specific lighting environment present during capture. The lighting, material, and view-dependent effects are combined into a single, entangled representation.

This "baked-in" nature 7 is why standard 3DGS assets cannot be realistically relit. Changing the lighting in the scene would require retraining the entire model. To achieve true relighting,

inverse rendering must be performed: the process of separating these baked properties into their constituent physical components.

1.2. The Physics of Relighting: A Physically-Based Rendering (PBR) Overview

This subsection presents an introduction to the physical principles governing realistic rendering, establishing the "ground truth" that inverse rendering methods aim to recover. The rendering equation is introduced as the mathematical formalization of light transport in a scene.10

The concept of the Bidirectional Reflectance Distribution Function (BRDF) is explained, which mathematically describes how a material reflects light. The microfacet theory, which models surfaces as being composed of microscopically small, perfectly reflective mirrors, is presented as the foundation of most modern PBR models, such as the Cook-Torrance BRDF.11

Defining the Target Properties for Decomposition. Clear, physically-grounded definitions are provided for the core PBR material properties that a 3DGS relighting system must recover for each point on an object's surface. These are the "PBR maps" that are the goal of the decomposition.

• Albedo (or Base Color): The intrinsic, lighting-independent color of a surface. For dielectrics (non-metals), this is the diffuse color. For metals, it is the specular reflection color.11
• Roughness: A scalar value describing the microscopic irregularities of a surface. Low-roughness (smooth) surfaces produce sharp, mirror-like reflections, while high-roughness surfaces produce diffuse, blurry reflections.11
• Metallic: A scalar value (usually a binary 0 or 1) that determines whether a material behaves as a dielectric or a metal. This fundamentally changes the BRDF, as metals have no diffuse reflection and reflect light specularly with a colored tint.11
• Normals: A 3D vector at each surface point indicating its orientation. This is arguably the most critical property, as it directly determines the angles of incidence and reflection, which are fundamental inputs to any shading calculation.11

PBR concepts are well-established in traditional 3D graphics pipelines.12 By defining these PBR properties, an explicit, disentangled target representation is established that the inverse rendering system must produce. The entire field of research is essentially trying to create a function

f(MultiViewImages)→{Gaussians with Albedo, Roughness, Metallic, Normal attributes}. The success of any 3DGS relighting method can be measured by how accurately and robustly it can estimate these four PBR channels, along with the scene geometry and illumination.

Part 2: State-of-the-Art Advances in 3D Gaussian Splatting Relighting

This section forms the core of the research and reviews the key scientific papers that have enabled PBR decomposition and relighting for static 3DGS scenes. The analysis is structured around the main challenges and the methodological trends that have emerged to address them.

The "Geometry First" Principle.

Analysis of the most successful relighting papers reveals a clear trend.5 They all emphasize the critical importance of first establishing a high-quality geometric representation before attempting material decomposition. The native 3DGS optimization can produce geometrically "bumpy" or noisy surfaces because the primitives are optimized for 2D image reprojection, not 3D surface coherence.7 Attempting to calculate lighting on this noisy surface results in inaccurate and chaotic surface normals. This leads to severe artifacts in specular highlights and shading, making it impossible to distinguish a material property (like a rough texture) from a geometric artifact (a bumpy surface). Therefore, robust geometry is a

prerequisite for plausible material decomposition. This reveals a de-facto multi-stage pipeline that has become standard in the field: 1. Geometry Regularization to obtain a smooth and accurate surface, followed by 2. Material and Lighting Decomposition on this stable surface.

2.1. The Geometric Prerequisite: SDF-based Regularization

Problem: The discrete, unconnected nature of Gaussian primitives makes it difficult to enforce smoothness constraints that are trivial in continuous, implicit representations like Neural Radiance Fields (NeRFs).5

Solution: Signed Distance Fields (SDFs). Researchers quickly turned to SDFs, a powerful continuous representation where the value at any point in space indicates its distance to the nearest surface. Jointly optimizing an SDF alongside the Gaussians allows for the imposition of a strong geometric prior.5 Initial approaches that used a full, separate neural SDF field were effective but added significant memory and computational overhead.5

Key Work: Gaussian Splatting with Discretized SDF for Relightable Assets (Zhu, Yang, Wang)

• Core Methodology: This foundational paper proposes a highly efficient solution called a discretized SDF. Instead of a separate continuous field, a single SDF value is stored as a learnable attribute within each Gaussian primitive. This elegantly unifies the geometry and appearance representations into a single structure.5
• Geometry Regularization: To ensure these discrete SDF values conform to a coherent surface, the authors introduce a novel projection-based consistency loss. This loss regularizes the geometry by projecting Gaussians onto the estimated surface (the SDF's zero-level set) and ensuring this projected surface aligns with the surface rendered by the splatting process itself. This serves as a lightweight and effective approximation of the computationally expensive Eikonal loss used in many NeRF-based SDF methods.5
• PBR Decomposition: With a stable geometric foundation, the model proceeds to decompose the appearance into PBR material properties (albedo, roughness, metallic) and estimates a global environment map for illumination. A smoothness loss is applied to the PBR attributes to encourage plausible material regions.5
• Results and Availability: This method achieves state-of-the-art relighting quality while using only 20% of the memory compared to previous hybrid methods and simplifying the optimization process.5 Critically, the code is publicly available 5, making it the best and most practical starting point for relighting general objects from in-the-wild photo collections.

2.2. Advanced Reflectance and Material Modeling

The Symbiosis of Data and Methodology.

While SDF-based methods provide excellent geometry for diffuse and moderately glossy surfaces, accurately disentangling the appearance of very complex materials (e.g., strong specular highlights, translucency, iridescence) from standard photographs remains an extremely ill-posed problem. The highest-quality research papers in this area share a common trait: they rely on specialized One-Light-At-a-Time (OLAT) capture data.25 In an OLAT setup (typically a light stage), an object is photographed hundreds of times, with only a single light source active in each photo. This provides the training algorithm with a highly constrained signal: it knows the exact direction of incoming light for every observed reflection. This removes the ambiguity of separating material properties from complex, multi-source environmental lighting, allowing for a much more direct and accurate estimation of the material's BRDF.

This creates a clear division in the research landscape. The choice of methodology is directly tied to the available capture hardware. For practitioners, this is a critical decision point:

• Path A (In-the-Wild Data): Use methods designed for casual captures (e.g., from a phone or drone). These are more accessible but may have limitations with very complex materials.
• Path B (Controlled Data): Invest in a light stage or controlled lighting setup to leverage OLAT-based methods, which will provide superior accuracy for the most challenging material phenomena.

Key Work (In-the-Wild Data): RTR-GS: 3D Gaussian Splatting for Inverse Rendering with Radiance Transfer and Reflection (Zhou et al.)

• Core Methodology: This work targets reflective objects from standard multi-view images. It proposes a hybrid rendering model that separates appearance into low- and high-frequency components. Low-frequency effects (diffuse lighting, soft global illumination) are handled with forward rendering and radiance transfer, while high-frequency specular reflections are handled with a deferred rendering pass.28 This separation is designed to mitigate the floating artifacts that can occur when standard SH models try to approximate sharp reflections.
• PBR Decomposition: A differentiable physically-based deferred rendering branch is used to decompose BRDF attributes (albedo, metallic, roughness) and illumination (an environment cubemap for direct lighting and a per-Gaussian term for indirect).28
• Results and Availability: Demonstrates good results for shiny objects without requiring special capture setups. Sources do not confirm publicly available code 28, placing it in a different category of practicality compared to DiscretizedSDF.

Key Work (OLAT Data): BiGS: Bidirectional Primitives for Relightable 3D Gaussian Splatting (Liu et al.)

• Core Methodology: BiGS is designed to leverage OLAT data for maximum fidelity. It introduces bidirectional spherical harmonics as a light- and view-dependent scattering representation. This approach unifies surface and volumetric materials in a single coherent model and, notably, does not require explicit surface normals, making it highly compatible with the volumetric nature of Gaussian primitives.29
• PBR Decomposition: Thanks to the OLAT data, BiGS performs a detailed intrinsic decomposition of radiance into four distinct physical components: diffuse scattering, directional scattering, direct light transport, and indirect light transport.30
• Results and Availability: Produces state-of-the-art, photorealistic relighting for materials with extremely complex light transport, including translucency, fur, and iridescence.30 The code is publicly available 27, making it the top choice for professionally creating high-fidelity assets where a controlled lighting environment is feasible.

2.3. Handling Specific, Complex Light Transport Phenomena

Key Work (Subsurface Scattering): Subsurface Scattering for 3D Gaussian Splatting (Dihlmann et al.)

• Core Methodology: This work focuses specifically on the problem of rendering translucent materials like skin, wax, and marble, where light scatters underneath the surface. It proposes a hybrid representation that extends 3DGS with standard explicit PBR parameters (base color, roughness, metallic) but adds an implicit neural SSS model. This is a lightweight MLP trained to predict the outgoing radiance due to subsurface scattering, which is then combined with the surface BRDF reflection.25
• Data Requirements: Like BiGS, this method relies on OLAT data to effectively train the SSS model.25
• Results and Availability: Enables realistic relighting and material editing for a class of materials that are notoriously difficult to capture. A project page exists, and the authors have stated their intent to release the code and data.26

Key Work (Shadows and Global Illumination): GS³: Efficient Relighting with Triple Gaussian Splatting (Bi et al.)

• Core Methodology: This work tackles the problem of capturing self-shadowing and global illumination (GI) effects, which are crucial for realistic relighting. It introduces a triple splatting process:

1. Appearance Splatting: A standard splatting pass renders the main appearance.
2. Shadow Splatting: A second pass is performed by splatting all Gaussians from the perspective of the light source(s). This effectively generates a shadow map, which is then refined by a small MLP.
3. GI Splatting: Another network is trained to compute and add a per-Gaussian RGB value to approximate the effects of indirect light bounces.33

• Results and Availability: Achieves high-quality, real-time relighting with plausible self-shadowing and GI effects. The project page and code are publicly available 33, making it a valuable tool for scenes where these effects play a significant role.

Part 3: The Fourth Dimension: Relightable Volumetric Video (4DGS)

This section of the research addresses 4DGS, moving from static objects to dynamic, time-varying scenes. The primary challenge here is maintaining temporal coherence.

The "4D is Harder" Problem of Temporal Coherence.

The jump from 3D to 4D relighting is not a simple extension. The leading work, BEAM 19, has a significantly more complex, multi-stage pipeline than its 3D counterparts. In a dynamic scene, geometry and appearance change over time. If one were to apply a 3D relighting method to each frame independently, the resulting PBR properties would flicker and "boil" incoherently from frame to frame. This is because point correspondence over time is not guaranteed. Therefore, the fundamental problem in 4D relighting is to first establish a

temporally coherent representation of the deforming geometry. Only once this stable, moving surface is modeled can PBR properties be estimated in a way that is consistent over time. This establishes a new prerequisite for 4D relighting: Motion Tracking and Temporal Geometry Regularization. This task must be solved before PBR decomposition can be attempted. The BEAM pipeline is a direct manifestation of this insight.

3.1. The Definitive 4D Pipeline: BEAM: Bridging PBR and Gaussian Modeling for Relightable Volumetric Video (Hong, Wu, et al.)

• Core Methodology: BEAM is the first comprehensive pipeline designed to produce high-quality, relightable volumetric videos from multi-view RGB recordings, bridging 4DGS with PBR.19
• Step 1: Temporal Geometry Optimization: The first major stage of the pipeline is dedicated to recovering spatially and temporally coherent geometries. It achieves this by combining Gaussian-based performance tracking (similar to DualGS) with a geometry-aware rasterizer and applying temporal regularization losses to ensure smooth motion and deformation between frames.19 This step solves the temporal coherence problem.
• Step 2: Staged PBR Material Decomposition: After establishing a stable 4D geometric foundation, BEAM disentangles the PBR properties using a sophisticated, step-by-step "divide and conquer" strategy. This assumes that solving for all properties simultaneously is too difficult.

1. Roughness Recovery: A multi-view conditioned diffusion model is used to generate a roughness texture, which is then associated with the dense Gaussians via UV projection.19
2. AO and Base Color Recovery: A 2D-to-3D lifting strategy is employed. Ambient Occlusion (AO) and base color maps are first estimated on the 2D input views. These 2D maps are then used as supervision to optimize the corresponding 3D attributes on the Gaussians, using a tailored, visibility-aware ray tracer to handle occlusions correctly.19

• Results and Availability: The output is a dynamic, relightable 4D asset that can be integrated into traditional CG engines like Unity for real-time deferred shading.19 As a very recent work (February 2025), its code is highly anticipated. Practitioners should monitor the project page 36 for a public release.

3.2. Context: Foundational Dynamic Gaussian Methods

To fully appreciate BEAM, it is useful to understand the methods on which it is based, which primarily focus on the motion aspect.

• DualGS: A key method for animating human avatars. It uses separate sets of "skin" and "joint" Gaussians to explicitly disentangle detailed surface appearance from the underlying skeletal motion, enabling efficient animation and compression.19
• Gaussian Splashing: A physics-based approach that uses Position-Based Dynamics (PBD) to simulate and render the motion of deformable bodies, rigid objects, and fluids in a unified framework.38 This method is more focused on physical simulation than on appearance decomposition of captured video.

Part 4: Comparative Analysis and Practical Implementation

This section summarizes the findings into practical recommendations, addressing the initial request for a sorted list of researchers and a clear path to implementation.

The Engine Integration Gap.

A significant gap exists between the output of academic research code and the functionality of publicly available game engine plugins. The former produces decomposed PBR data 23, while the latter are mostly efficient viewers for 3DGS scenes with baked-in color.39 Academic code is written in research frameworks like PyTorch and is designed to run specific experiments. Game engines like Unity and Unreal have their own highly optimized C++ rendering pipelines. Porting the complex, differentiable PBR rendering logic from a Python script to a custom shader in a game engine is a non-trivial engineering task. Plugin developers, like the respected Aras Pranckevičius (

UnityGaussianSplatting), have logically focused on the first, most crucial step: getting any kind of 3DGS to render in real-time at all. His blog explicitly states that his popular tool does not handle lighting.39 While some Unreal plugins offer a "lit" mode 41, this is a basic surface shading effect based on recovered normals, not the full PBR decomposition and relighting seen in the research.

The path to implementation does not end with running a research paper's code. To achieve the goal of "full relighting in a 3DGS scene," a two-part project must be undertaken: 1) Use a research method to generate PBR-enabled Gaussian data. 2) Implement a custom rendering pipeline in the target engine (e.g., a deferred shader that writes per-Gaussian PBR data to a G-buffer) to consume and shade that data. This is a critical, practical hurdle that is not immediately obvious from reading the papers alone.

4.2. From Research to Reality: A Practical Implementation Guide

This section provides tiered recommendations based on code availability and use case.

Tier 1: Methods with Publicly Available Code (Highest Recommendation for Immediate Implementation)

• DiscretizedSDF: The best starting point for general object relighting from standard photo/video captures. Its robust geometry handling and public codebase make it the most practical choice.23
• BiGS: The top choice for achieving the highest possible fidelity on complex materials, with the major caveat that it requires building or accessing an OLAT light stage.27
• GS³: A strong, practical choice for scenes where accurate self-shadowing and indirect lighting are more important than fine-grained material decomposition.33

Tier 2: Cutting-Edge Methods to Monitor (Awaiting Code Release)

• BEAM: The essential blueprint for anyone tackling 4D relighting. The project page should be monitored closely for a code release.19
• Subsurface Scattering for 3DGS: The primary reference for projects involving translucent materials like digital humans or food, pending the promised code release.26
• RTR-GS: A promising approach for handling shiny objects from in-the-wild captures; worth investigating if the code becomes public.28

Engine Integration Status and Workflow:

• Unity: The UnityGaussianSplatting tool by Aras Pranckevičius is an excellent, highly optimized viewer, but it does not support PBR or relighting out-of-the-box.39 A custom deferred shading pipeline would be required.
• Unreal Engine: Various plugins exist to import and render splats.43 The "lit" material option 41 provides basic interaction with scene lights but is not a true PBR relighting system based on decomposed materials. The gap between research and production tools remains significant.46

Part 5: Conclusion and Future Directions

5.1. Synthesis and Strategic Recommendations

In conclusion, the core finding of this research is as follows: successful PBR relighting of 3DGS is a two-step process: 1. Geometry Regularization and 2. Material Decomposition. For 4DGS, a preliminary step of 0. Motion Tracking and Temporal Regularization is also required.

• For static objects (3DGS) from casual captures, DiscretizedSDF represents the most robust and practical starting point.
• For static objects requiring the highest material fidelity, BiGS is the state-of-the-art, provided a controlled OLAT capture setup is available.
• For dynamic scenes (4DGS), the BEAM pipeline is the current research frontier and provides the most comprehensive methodological roadmap.

5.2. Open Problems and The Path Forward

• The "Holy Grail" of In-the-Wild Capture: A major research thrust is to achieve the material decomposition quality of OLAT-based methods (like BiGS) using only casual, uncontrolled captures. This will likely require more powerful priors and network architectures.
• Real-Time Decomposition: The training/optimization for these inverse rendering methods remains an offline process that can take hours.27 Future work will aim to accelerate this, potentially enabling near-real-time capture and decomposition.
• Standardization and Interoperability: The field lacks a standard file format for "PBR Gaussians." The creation of a standard (analogous to glTF for meshes) that could store per-Gaussian PBR attributes would be a massive boon to the ecosystem, bridging the gap between decomposition tools and rendering engines.
• Hybrid Representations: The trend of combining 3DGS with other primitives—SDFs (DiscretizedSDF), meshes (SuGaR 7, BEAM 19), or physics-based particles ( Gaussian Splashing 38)—is a powerful paradigm that is likely to continue, allowing developers to leverage the best properties of each representation for geometry, appearance, and animation.

🤝 Collaboration Opportunities

We work with:

• Virtual Production Studios
• Post-Production Companies
• Film Production Companies
• R&D Projects in Scanning Technology Development

If you are interested in collaboration, knowledge exchange, or would like to receive additional information, please get in touch!

How to Contact Me: 📧 Email: zmei116@gmail.com 🔗 LinkedIn: Andrii Shramko 📂 GitHub: Shramko_GoPro_Control_App 📅 Video Call: Schedule a call

Works cited

1. 3D Gaussian Splatting - Paper Explained, Training NeRFStudio, accessed July 29, 2025, https://learnopencv.com/3d-gaussian-splatting/
2. 3D Gaussian Splatting: Survey, Technologies, Challenges, and Opportunities - arXiv, accessed July 29, 2025, https://www.arxiv.org/pdf/2407.17418
3. Making Gaussian Splats more smaller - Aras Pranckevičius, accessed July 29, 2025, https://aras-p.info/blog/2023/09/27/Making-Gaussian-Splats-more-smaller/
4. Introduction to 3D Gaussian Splatting – SGI 2024, accessed July 29, 2025, https://summergeometry.org/sgi2024/introduction-to-3d-gaussian-splatting/
5. Gaussian Splatting with Discretized SDF for Relightable Assets - arXiv, accessed July 29, 2025, https://arxiv.org/html/2507.15629v1
6. 3D Gaussian Splatting: Survey, Technologies, Challenges, and Opportunities - arXiv, accessed July 29, 2025, https://arxiv.org/html/2407.17418v1
7. Real-Time Lighting with Gaussian Splats - Andrew Chan, accessed July 29, 2025, https://andrewkchan.dev/posts/lit-splat.html
8. How do you handle casting shadows while scanning an object? : r/GaussianSplatting, accessed July 29, 2025, https://www.reddit.com/r/GaussianSplatting/comments/1isa6h0/how_do_you_handle_casting_shadows_while_scanning/
9. 3D Gaussian Splatting - Chaos Corona Forum, accessed July 29, 2025, https://forum.corona-renderer.com/index.php?topic=41024.0
10. Physically Based Rendering - Wolfram Language Documentation, accessed July 29, 2025, https://reference.wolfram.com/language/tutorial/PhysicallyBasedRendering.html
11. Theory - LearnOpenGL, accessed July 29, 2025, https://learnopengl.com/PBR/Theory
12. What is PBR (physically based rendering)? - Adobe Substance 3D, accessed July 29, 2025, https://www.adobe.com/products/substance3d/discover/pbr.html
13. Physically based rendering - Wikipedia, accessed July 29, 2025, https://en.wikipedia.org/wiki/Physically_based_rendering
14. Learn Substance 3D Designer The PBR Guide - Part 1 - Adobe, accessed July 29, 2025, https://www.adobe.com/learn/substance-3d-designer/web/the-pbr-guide-part-1
15. What Is PBR (Physically Based Rendering)? A complete guide | Chaos, accessed July 29, 2025, https://www.chaos.com/blog/what-is-pbr-physically-based-rendering-a-complete-guide
16. Physically Based Rendering | Cocos Creator, accessed July 29, 2025, https://docs.cocos.com/creator/3.5/manual/en/shader/effect-builtin-pbr.html
17. Mastering Physically-Based Rendering - Number Analytics, accessed July 29, 2025, https://www.numberanalytics.com/blog/mastering-physically-based-rendering
18. Realistic Point Cloud Relighting with BRDF Decomposition and Ray Tracing - European Computer Vision Association, accessed July 29, 2025, https://www.ecva.net/papers/eccv_2024/papers_ECCV/papers/06121.pdf
19. arxiv.org, accessed July 29, 2025, https://arxiv.org/html/2502.08297v1
20. [2410.24204] GeoSplatting: Towards Geometry Guided Gaussian Splatting for Physically-based Inverse Rendering - arXiv, accessed July 29, 2025, https://arxiv.org/abs/2410.24204
21. Gaussian Splatting with Discretized SDF for Relightable Assets - ResearchGate, accessed July 29, 2025, https://www.researchgate.net/publication/393890124_Gaussian_Splatting_with_Discretized_SDF_for_Relightable_Assets
22. Daily Papers - Hugging Face, accessed July 29, 2025, https://huggingface.co/papers?q=SDF-based
23. NK-CS-ZZL/DiscretizedSDF: Official Release of ICCV 2025 ... - GitHub, accessed July 29, 2025, https://github.com/NK-CS-ZZL/DiscretizedSDF
24. Daily Papers - Hugging Face - HF-Mirror, accessed July 29, 2025, https://alpha-ollama.hf-mirror.com/papers?q=3DGS%20algorithm
25. NeurIPS Poster Subsurface Scattering for Gaussian Splatting, accessed July 29, 2025, https://neurips.cc/virtual/2024/poster/96787
26. Subsurface Scattering for 3D Gaussian Splatting - NIPS, accessed July 29, 2025, https://proceedings.neurips.cc/paper_files/paper/2024/file/dc72529d604962a86b7730806b6113fa-Paper-Conference.pdf
27. desmondlzy/bigs: Code release for BiGS: Bidirectional Primitives for Relightable 3D Gaussian Splatting - GitHub, accessed July 29, 2025, https://github.com/desmondlzy/bigs
28. (PDF) RTR-GS: 3D Gaussian Splatting for Inverse Rendering with ..., accessed July 29, 2025, https://www.researchgate.net/publication/393586856_RTR-GS_3D_Gaussian_Splatting_for_Inverse_Rendering_with_Radiance_Transfer_and_Reflection
29. BiGS: Bidirectional Primitives for Relightable 3D Gaussian Splatting - Research Collection, accessed July 29, 2025, https://www.research-collection.ethz.ch/handle/20.500.11850/717431?show=full
30. BiGS: Bidirectional Primitives for Relightable 3D Gaussian Splatting ..., accessed July 29, 2025, https://desmondlzy.me/publications/bigs/
31. relighting · GitHub Topics · GitHub, accessed July 29, 2025, https://github.com/topics/relighting?o=desc&s=updated
32. Desmond/Zhenyuan Liu, accessed July 29, 2025, https://desmondlzy.me/
33. Paper page - GS^3: Efficient Relighting with Triple Gaussian Splatting, accessed July 29, 2025, https://huggingface.co/papers/2410.11419
34. BEAM: Bridging Physically-based Rendering and Gaussian Modeling for Relightable Volumetric Video | Request PDF - ResearchGate, accessed July 29, 2025, https://www.researchgate.net/publication/388955525_BEAM_Bridging_Physically-based_Rendering_and_Gaussian_Modeling_for_Relightable_Volumetric_Video
35. Project Starline: A high-fidelity telepresence system - ResearchGate, accessed July 29, 2025, https://www.researchgate.net/publication/382238293_Project_Starline_A_high-fidelity_telepresence_system
36. Chengcheng Guo - CatalyzeX, accessed July 29, 2025, https://www.catalyzex.com/author/Chengcheng%20Guo
37. Computer Vision and Pattern Recognition Feb 2025 - arXiv, accessed July 29, 2025, http://www.arxiv.org/list/cs.CV/2025-02?skip=1075&show=1000
38. Gaussian Splashing: Unified Particles for Versatile Motion Synthesis and Rendering - CVF Open Access, accessed July 29, 2025, https://openaccess.thecvf.com/content/CVPR2025/papers/Feng_Gaussian_Splashing_Unified_Particles_for_Versatile_Motion_Synthesis_and_Rendering_CVPR_2025_paper.pdf
39. UnityGaussianSplatting/docs/render-pipeline-integration.md at main ..., accessed July 29, 2025, https://github.com/aras-p/UnityGaussianSplatting/blob/main/docs/render-pipeline-integration.md
40. aras-p/UnityGaussianSplatting: Toy Gaussian Splatting visualization in Unity - GitHub, accessed July 29, 2025, https://github.com/aras-p/UnityGaussianSplatting
41. 3D Gaussian Splatting In Unreal Engine 5 - YouTube, accessed July 29, 2025, https://www.youtube.com/watch?v=jjg4okgBTgA
42. Gaussian Splatting is pretty cool! - Aras Pranckevičius, accessed July 29, 2025, https://aras-p.info/blog/2023/09/05/Gaussian-Splatting-is-pretty-cool/
43. 3D Gaussian Splatting Render Addon Release - KIRI Engine, accessed July 29, 2025, https://www.kiriengine.app/blog/announcement/kiri-releases-3dgs-addon-for-blender
44. #UE5 Series: Introduction to Gaussian Splatting in UNREAL Engine - YouTube, accessed July 29, 2025, https://www.youtube.com/watch?v=pkiBGdWtp4g
45. Step-by-Step Unreal Engine 5 Tutorial: 3D Gaussian Splatting for Beginners - YouTube, accessed July 29, 2025, https://www.youtube.com/watch?v=xdDzChfFY_A&pp=0gcJCfwAo7VqN5tD
46. Comparison between a photogrammetry mesh and a Gaussian splatting in Unreal Engine : r/GaussianSplatting - Reddit, accessed July 29, 2025, https://www.reddit.com/r/GaussianSplatting/comments/1jhw54t/comparison_between_a_photogrammetry_mesh_and_a/

Исследование: Декомпозиция и переосвещение 3D- и 4D-сканов на основе Gaussian Splatting: технический обзор методов физически корректного рендеринга

Часть 1: Основополагающие принципы: внутренняя сложность переосвещения Gaussian Splats

В начале данного исследования рассматриваются фундаментальные концепции для определения основной проблемы. Сначала анализируется представление 3D Gaussian Splatting, чтобы понять, почему оно по своей сути не поддается переосвещению. Затем излагаются принципы физически корректного рендеринга (Physically-Based Rendering, PBR) для определения конкретных материальных и геометрических свойств, которые необходимо восстановить для преодоления этой проблемы.

1.1. Представление 3D Gaussian Splatting (3DGS)

Анализ начинается с математического определения примитива 3DGS. Каждая гауссиана определяется 3D-положением (среднее значение µ), 3D-матрицей ковариации Σ (представляющей ее форму и ориентацию) и непрозрачностью α.1 Это явное, точечное представление является ключом к его возможностям рендеринга в реальном времени.

Критическим аспектом для анализа является кодирование внешнего вида. В оригинальной формулировке 3DGS цвет не является статическим значением, а представлен коэффициентами сферических гармоник (Spherical Harmonics, SH). Это позволяет цвету изменяться в зависимости от направления обзора, захватывая зависящие от вида эффекты, такие как отражения.1

Далее подробно рассматривается стандартный конвейер оптимизации 3DGS: инициализация из разреженного облака точек (обычно полученного с помощью Structure-from-Motion), дифференцируемый процесс растеризации для рендеринга и механизм адаптивного контроля плотности, который периодически клонирует, разделяет или удаляет гауссианы для лучшего соответствия целевой сцене.1

Проблема «запеченного» освещения.

Стандартная среда 3DGS оптимизирована исключительно для синтеза новых ра��урсов (Novel View Synthesis, NVS).5 Его функция потерь заставляет систему как можно точнее воспроизводить входные изображения с новых ракурсов камеры. Поскольку коэффициенты SH оптимизированы для соответствия конечному цвету пикселей исходных фотографий, они неизбежно изучают комбинацию истинного цвета поверхности объекта (альбедо), способа отражения света от нее (BRDF) и конкретной среды освещения, присутствовавшей во время съемки. Освещение, материал и эффекты, зависящие от ракурса, объединены в единое, запутанное представление.

Эта «запеченная» природа 7 является причиной того, почему стандартные ассеты 3DGS не могут быть реалистично переосвещены. Изменение освещения в сцене потребует повторного обучения всей модели. Для достижения истинного переосвещения необходимо выполнить

обратный рендеринг (inverse rendering): процесс разделения этих запеченных свойств на их составляющие физические компоненты.

1.2. Физика переосвещения: обзор физически корректного рендеринга (PBR)

Этот подраздел представляет введение в физические принципы, управляющие реалистичным рендерингом, устанавливая «эталон», который стремятся восстановить методы обратного рендеринга. Уравнение рендеринга представлено как математическая формализация переноса света в сцене.10

Объясняется концепция двунаправленной функции распределения отражательной способности (Bidirectional Reflectance Distribution Function, BRDF), которая математически описывает, как материал отражает свет. Теория микрограней, которая моделирует поверхности как состоящие из микроскопически малых, идеально отражающих зеркал, представлена как основа большинства современных моделей PBR, таких как BRDF Кука-Торренса.11

Определение целевых свойств для декомпозиции. Предоставляются четкие, физически обоснованные определения основных свойств материала PBR, которые система переосвещения 3DGS должна восстановить для каждой точки на поверхности объекта. Это «карты PBR», которые являются целью декомпозиции.

• Альбедо (Albedo или Base Color): Внутренний, не зависящий от освещения цвет поверхности. Для диэлектриков (неметаллов) это диффузный цвет. Для металлов это цвет зеркального отражения.11
• Шероховатость (Roughness): Скалярное значение, описывающее микроскопические неровности поверхности. Поверхности с низкой шероховатостью (гладкие) создают четкие, зеркальные отражения, в то время как поверхности с высокой шероховатостью создают рассеянные, размытые отражения.11
• Металличность (Metallic): Скалярное значение (обычно двоичное 0 или 1), которое определяет, ведет ли себя материал как диэлектрик или как металл. Это коренным образом изменяет BRDF, поскольку металлы не имеют диффузного отражения и отражают свет зеркально с цветным оттенком.11
• Нормали (Normals): 3D-вектор в каждой точке поверхности, указывающий ее ориентацию. Это, возможно, самое критическое свойство, поскольку оно напрямую определяет углы падения и отражения, которые являются фундаментальными входными данными для любого расчета затенения.11

Концепции PBR хорошо зарекомендовали себя в традиционных конвейерах 3D-графики.12 Определяя эти свойства PBR, устанавливается явное, разделенное целевое представление, которое должна произвести система обратного рендеринга. Вся область исследований, по сути, пытается создать функцию

f(MultiViewImages)→{Gaussians with Albedo, Roughness, Metallic, Normal attributes}. Успех любого метода переосвещения 3DGS можно измерить тем, насколько точно и надежно он может оценить эти четыре канала PBR, а также геометрию и освещение сцены.

Часть 2: Современные достижения в области переосвещения 3D Gaussian Splatting

Этот раздел составляет ядро исследования и рассматривает ключевые научные работы, которые позволили выполнить декомпозицию PBR и переосвещение для статических сцен 3DGS. Анализ структурирован вокруг основных проблем и методологических тенденций, возникших для их решения.

Принцип «сначала геометрия».

Анализ наиболее успешных работ по переосвещению выявляет четкую тенденцию.5 Все они подчеркивают критическую важность первоначального создания высококачественного геометрического представления перед попыткой декомпозиции материалов. Исходная оптимизация 3DGS может создавать геометрически «бугристые» или зашумленные поверхности, поскольку примитивы оптимизированы для 2D-репроекции изображений, а не для когерентности 3D-поверхности.7 Если попытаться рассчитать освещение на этой зашумленной поверхности, полученные нормали поверхности будут неточными и хаотичными. Это приводит к серьезным артефактам в зеркальных отражениях и затенении, что делает невозможным отличить свойство материала (например, грубую текстуру) от геометрического артефакта (бугристой поверхности). Таким образом, надежная геометрия является

предварительным условием для правдоподобной декомпозиции материалов. Это выявляет де-факто многоэтапный конвейер, ставший стандартом в этой области: 1. Регуляризация геометрии для получения гладкой и точной поверхности, за которой следует 2. Декомпозиция материалов и освещения на этой стабильной поверхности.

2.1. Геометрическое предварительное условие: регуляризация на основе SDF

Проблема: Дискретная, несвязанная природа гауссовых примитивов затрудняет применение ограничений гладкости, которые тривиальны в непрерывных, неявных представлениях, таких как нейронные поля излучения (NeRF).5

Решение: Поля знаковых расстояний (SDF). Исследователи быстро обратились к SDF, мощному непрерывному представлению, где значение в любой точке пространства указывает на ее расстояние до ближайшей поверхности. Совместная оптимизация SDF вместе с гауссианами позволяет наложить сильный геометрический априор.5 Первоначальные подходы, использовавшие полное, отдельное нейронное поле SDF, были эффективны, но добавляли значительны�� накладные расходы на память и вычисления.5

Ключевая работа: Gaussian Splatting with Discretized SDF for Relightable Assets (Zhu, Yang, Wang)

• Основная методология: Эта основополагающая работа предлагает высокоэффективное решение, называемое дискретизированным SDF. Вместо отдельного непрерывного поля одно значение SDF хранится как обучаемый атрибут внутри каждого гауссова примитива. Это элегантно объединяет представления геометрии и внешнего вида в единую структуру.5
• Регуляризация геометрии: Чтобы гарантировать, что эти дискретные значения SDF согласуются с когерентной поверхностью, авторы вводят новую потерю согласованности на основе проекции (projection-based consistency loss). Эта потеря регуляризует геометрию путем проецирования гауссиан на оцененную поверхность (нулевой уровень SDF) и обеспечения того, чтобы эта спроецированная поверхность совпадала с поверхностью, отрендеренной самим процессом сплэттинга. Это служит легковесной и эффективной аппроксимацией вычислительно дорогой потери Эйконала, используемой во многих SDF-методах на основе NeRF.5
• Декомпозиция PBR: Имея стабильную геометрическую основу, модель переходит к декомпозиции внешнего вида на свойства материала PBR (альбедо, шероховатость, металличность) и оценивает глобальную карту окружения для освещения. К атрибутам PBR применяется потеря гладкости для поощрения правдоподобных областей материалов.5
• Результаты и доступность: Этот метод достигает передового качества переосвещения, используя всего 20% памяти по сравнению с предыдущими гибридными методами и упрощая процесс оптимизации.5 Что критически важно, код находится в открытом доступе 5, что делает его лучшей и наиболее практичной отправной точкой для переосвещения общих объектов из коллекций фотографий, сделанных в естественных условиях.

2.2. Продвинутое моделирование отражательной способности и материалов

Симбиоз данных и методологии.

Хотя методы на основе SDF обеспечивают превосходную геометрию для диффузных и умеренно глянцевых поверхностей, точное разделение внешнего вида очень сложных материалов (например, сильных зеркальных бликов, полупрозрачности, иридесценции) на основе стандартных фотографий остается чрезвычайно некорректно поставленной задачей. Самые высококачественные исследовательские работы в этой области имеют общую черту: они полагаются на специализированные данные захвата One-Light-At-a-Time (OLAT).25 В установке OLAT (обычно это световая сцена) объект фотографируется сотни раз, при этом на каждой фотографии активен только один источник света. Это предоставляет алгоритму обучения сильно ограниченный сигнал: он знает точное направление входящего света для каждого наблюдаемого отражения. Это устраняет неоднозначность разделения свойств материала от сложного, многоисточникового освещения окружающей среды, позволяя гораздо более прямую и точную оценку BRDF материала.

Это создает четкое разделение в исследовательском ландшафте. Выбор методологии напрямую связан с доступным оборудованием для захвата. Для практиков это критическая точка принятия решения:

• Путь A (Данные из естественных условий): Использовать методы, разработанные для случайных съемок (например, с телефона или дрона). Они более доступны, но могут иметь ограничения с очень сложными материалами.
• Путь B (Контролируемые данные): Инвестировать в световую сцену или контролируемую установку освещения для использования методов на основе OLAT, которые обеспечат превосходную точность для самых сложных явлений материалов.

Ключевая ра��ота (данные из естественных условий): RTR-GS: 3D Gaussian Splatting for Inverse Rendering with Radiance Transfer and Reflection (Zhou et al.)

• Основная методология: Эта работа нацелена на отражающие объекты со стандартных многоракурсных изображений. Она предлагает гибридную модель рендеринга, которая разделяет внешний вид на низкочастотные и высокочастотные компоненты. Низкочастотные эффекты (диффузное освещение, мягкое глобальное освещение) обрабатываются с помощью прямого рендеринга и переноса излучения, в то время как высокочастотные зеркальные отражения обрабатываются с помощью отложенного прохода рендеринга.28 Это разделение предназначено для смягчения плавающих артефактов, которые могут возникнуть, когда стандартные модели SH пытаются аппроксимировать резкие отражения.
• Декомпозиция PBR: Дифференцируемая физически корректная ветвь отложенного рендеринга используется для декомпозиции атрибутов BRDF (альбедо, металличность, шероховатость) и освещения (кубическая карта окружения для прямого освещения и покауссианный член для косвенного).28
• Результаты и доступность: Демонстрирует хорошие результаты для блестящих объектов без необходимости специальных установок для захвата. Источники не подтверждают наличие общедоступного кода 28, что ставит его в другую категорию практичности по сравнению с DiscretizedSDF.

Ключевая работа (данные OLAT): BiGS: Bidirectional Primitives for Relightable 3D Gaussian Splatting (Liu et al.)

• Основная методология: BiGS разработан для использования данных OLAT для максимальной точности. Он вводит двунаправленные сферические гармоники как представление рассеяния, зависящее от света и вида. Этот подход объединяет поверхностные и объемные материалы в единой связной модели и, что примечательно, не требует явных нормалей поверхности, что делает его очень совместимым с объемной природой гауссовых примитивов.29
• Декомпозиция PBR: Благодаря данным OLAT, BiGS выполняет детальную внутреннюю декомпозицию излучения на четыре различных физических компонента: диффузное рассеяние, направленное рассеяние, прямой перенос света и косвенный перенос света.30
• Результаты и доступность: Создает передовое, фотореалистичное переосвещение для материалов с чрезвычайно сложным перенос��м света, включая полупрозрачность, мех и иридесценцию.30 Код находится в открытом доступе 27, что делает его лучшим выбором для профессионального создания высокоточных ассетов, где возможна контролируемая среда освещения.

2.3. Обработка специфических сложных явлений переноса света

Ключевая работа (подповерхностное рассеяние): Subsurface Scattering for 3D Gaussian Splatting (Dihlmann et al.)

• Основная методология: Эта работа сосредоточена конкретно на проблеме рендеринга полупрозрачных материалов, таких как кожа, воск и мрамор, где свет рассеивается под поверхностью. Она предлагает гибридное представление, которое расширяет 3DGS стандартными явными параметрами PBR (базовый цвет, шероховатость, металличность), но добавляет неявную нейронную модель SSS. Это легковесный MLP, обученный предсказывать исходящее излучение из-за подповерхностного рассеяния, которое затем комбинируется с отражением BRDF поверхности.25
• Требования к данным: Как и BiGS, этот метод полагается на данные OLAT для эффективного обучения модели SSS.25
• Результаты и доступность: Позволяет реалистично переосвещать и редактировать материалы для класса материалов, которые notoriouсложно захватить. Существует страница проекта, и авторы заявили о своем намерении выпустить код и данные.26

Ключевая работа (тени и глобальное освещение): GS³: Efficient Relighting with Triple Gaussian Splatting (Bi et al.)

• Основная методология: Эта работа решает проблему захвата самозатенения и эффектов глобального освещения (GI), которые имеют решающее значение для реалистичного переосвещения. Она вводит процесс тройного сплэттинга:

1. Сплэттинг внешнего вида: Стандартный проход сплэттинга рендерит основной внешний вид.
2. Сплэттинг теней: Второй проход выполняется путем сплэттинга всех гауссиан с точки зрения источника(ов) света. Это эффективно генерирует карту теней, которая затем уточняется небольшим MLP.
3. Сплэттинг GI: Другая сеть обучается для вычисления и добавления покауссианного значения RGB для аппроксимации эффектов непрямого отражения света.33

• Результаты и доступность: Достигает высококачественного переосвещения в реальном времени с правдоподобными эффектами самозатенения и GI. Страница проекта и код находятся в открытом доступе 33, что делает его ценным инструментом для сцен, где эти эффекты играют важную роль.

Часть 3: Четвертое измерение: переосвещаемое объемное видео (4DGS)

Этот раздел исследования посвящен 4DGS, переходя от статических объектов к динамическим, изменяющимся во времени сценам. Основная проблема здесь — поддержание временной когерентности.

Проблема «4D сложнее» из-за временной когерентности.

Переход от 3D к 4D переосвещению — это не просто расширение. Ведущая работа, BEAM 19, имеет значительно более сложный, многоэтапный конвейер, чем ее 3D-аналоги. В динамической сцене геометрия и внешний вид меняются со временем. Если бы кто-то применил метод 3D-переосвещения к каждому кадру независимо, результирующие свойства PBR мерцали бы и «кипели» бы некогерентно от кадра к кадру. Это происходит потому, что соответствие точек во времени не гарантировано. Следовательно, фундаментальная проблема в 4D-переосвещении заключается в том, чтобы сначала установить

временно когерентное представление деформирующейся геометрии. Только после того, как эта стабильная, движущаяся поверхность будет смоделирована, можно будет оценить свойства PBR таким образом, чтобы они были согласованы во времени. Это устанавливает новое предварительное условие для 4D-переосвещения: Отслеживание движения и временная регуляризация геометрии. Эта задача должна быть решена до того, как можно будет предпринять попытку декомпозиции PBR. Конвейер BEAM является прямым проявлением этого понимания.

3.1. Определяющий 4D-конвейер: BEAM: Bridging PBR and Gaussian Modeling for Relightable Volumetric Video (Hong, Wu, et al.)

• Основная методология: BEAM — это первый комплексный конвейер, разработанный для создания высококачественных, переосвещаемых объемных видео из многоракурсных RGB-записей, соединяющий 4DGS с PBR.19
• Шаг 1: Временная оптимизация геометрии: Первый основной этап конвейера посвящен восстановлению пространственно и временно когерентных геометрий. Он достигает этого, комбинируя отслеживание производительности на основе гауссиан (по аналогии с DualGS) с растеризатором, учитывающим геометрию, и применяя потери временной регуляризации для обеспечения плавного движения и деформации между кадрами.19 Этот шаг решает проблему временной когерентности.
• Шаг 2: Поэтапная декомпозиция материалов PBR: После создания стабильной 4D-геометрической основы BEAM разделяет свойства PBR, используя сложную, пошаговую стратегию «разделяй и властвуй». Это предполагает, что одновременное решение для всех свойств слишком сложно.

1. Восстановление шероховатости: Для генерации текстуры шероховатости используется диффузионная модель с многоракурсным кондиционированием, которая затем связывается с плотными гауссианами через УФ-проекцию.19
2. Восстановление AO и базового цвета: Применяется стратегия подъема из 2D в 3D. Карты Ambient Occlusion (AO) и базового цвета сначала оцениваются в 2D-входных видах. Затем эти 2D-карты используются в качестве супервизии для оптимизации соответствующих 3D-атрибутов на гауссианах с использованием специально созданного, учитывающего видимость трассировщика лучей для правильной обработки окклюзий.19

• Результаты и доступность: На выходе получается динамический, переосвещаемый 4D-ассет, который можно интегрировать в традиционные CG-движки, такие как Unity, для отложенного затенения в реальном времени.19 Как очень недавняя работа (февраль 2025 г.), ее код очень ожидаем. Практикам следует следить за страницей проекта 36 на предмет публичного релиза.

3.2. Контекст: основополагающие динамические методы Gaussian

Чтобы в полной мере оценить BEAM, полезно понять методы, на которых он основан и которые в основном сосредоточены на аспекте движения.

• DualGS: Ключевой метод для анимации человеческих аватаров. Он использует отдельные наборы «кожных» и «суставных» гауссиан для явного разделения детального внешнего вида поверхности от лежащего в основе скелетного движения, что обеспечивает эффективную анимацию и сжатие.19
• Gaussian Splashing: Физически обоснованный подход, использующий динамику на основе позиций (Position-Based Dynamics, PBD) для симуляции и рендеринга движения деформируемых тел, твердых объектов и жидкостей в единой среде.38 Этот метод больше сосредоточен на физической симуляции, чем на декомпозиции внешнего вида захваченного видео.

Часть 4: Сравнительный анализ и практическая реализация

В этом разделе обобщаются полученные результаты в виде практических рекомендаций, что является ответом на первоначальный запрос о составлении отсортированного списка исследователей и четкого пути к реализации.

Разрыв в интеграции с движками.

Существует значительный разрыв между результатами академического исследовательского кода и функциональностью общедоступных плагинов для игровых движков. Первый производит декомпозированные данные PBR 23, в то время как вторые являются в основном эффективными средствами просмотра для сцен 3DGS с запеченным цветом.39 Академический код написан в исследовательских фреймворках, таких как PyTorch, и предназначен для проведения конкретных экспериментов. Игровые движки, такие как Unity и Unreal, имеют свои собственные высокооптимизированные конвейеры рендеринга на C++. Перенос сложной, дифференцируемой логики рендеринга PBR из скрипта на Python в пользовательский шейдер в игровом движке — это серьезная инженерная задача. Разработчики плагинов, такие как уважаемый Арас Пранцкявичюс (

UnityGaussianSplatting), логично сосредоточились на первом, самом важном шаге: заставить любой вид 3DGS рендериться в реальном времени вообще. В его блоге прямо указано, что его популярный инструмент не обрабатывает освещение.39 Хотя некоторые плагины для Unreal предлагают «освещенный» режим 41, это базовый эффект затенения поверхности, основанный на восстановленных нормалях, а не полная декомпозиция PBR и переосвещение, как в исследованиях.

Путь к реализации не заканчивается запуском кода из исследовательской статьи. Чтобы достичь цели «полного переосвещения в сцене 3DGS», необходимо выполнить проект из двух частей: 1) Использовать исследовательский метод для генерации данных Gaussian с поддержкой PBR. 2) Реализовать пользовательский конвейер рендеринга в целевом движке (например, отложенный шейдер, который записывает покауссианные данные PBR в G-буфер) для использования и затенения этих данных. Это критическое, практическое препятствие, которое не сразу очевидно при чтении только статей.

4.2. От исследований к реальности: практическое руководство по реализации

В этом разделе предоставляются многоуровневые рекомендации, основанные на доступности кода и вариантах использования.

Уровень 1: Методы с общедоступным кодом (наивысшая рекомендация для немедленной реализации)

• DiscretizedSDF: Лучшая отправная точка для общего переосвещения объектов со стандартных фото/видео захватов. Его надежная обработка геометрии и общедоступная кодовая база делают его наиболее практичным выбором.23
• BiGS: Лучший выбор для достижения максимально возможной точности на сложных материалах, с существенным предостережением, что он требует создания или доступа к световой сцене OLAT.27
• GS³: Сильный, практичный выбор для сцен, где точное самозатенение и косвенное освещение важнее, чем мелкозернистая декомпозиция материалов.33

Уровень 2: Передовые методы для мониторинга (в ожидании выпуска кода)

• BEAM: Основной план для всех, кто занимается 4D-переосвещением. Следует внимательно следить за страницей проекта на предмет выпуска кода.19
• Subsurface Scattering for 3DGS: Основной источник информации для проектов, связанных с полупрозрачными материалами, такими как цифровые люди или продукты питания, в ожидании обещанного выпуска кода.26
• RTR-GS: Перспективный подход для обработки блестящих объектов из съемок в естественных условиях; стоит изучить, если код станет общедоступным.28

Статус интеграции с движками и рабочий процесс:

• Unity: Инструмент UnityGaussianSplatting от Араса Пранцкявичюса — это превосходный, высокооптимизированный просмотрщик, но он не поддерживает PBR или переосвещение «из коробки».39 Потребуется пользовательский конвейер отложенного затенения.
• Unreal Engine: Существуют различные плагины для импорта и рендеринга сплэтов.43 Опция «освещенного» материала 41 обеспечивает базовое взаимодействие со светом сцены, но не является истинной системой переосвещения PBR на основе декомпозированных материалов. Разрыв между исследовательскими и производственными инструментами остается значительным.46

Часть 5: Заключение и будущие направления

5.1. Синтез и стратегические рекомендации

В заключение, основной вывод данного исследования заключается в следующем: успешное PBR-переосвещение 3DGS — это двухэтапный процесс: 1. Регуляризация геометрии и 2. Декомпозиция материалов. Для 4DGS также требуется предварительный этап 0. Отслеживание движения и временная регуляризация.

• Для статических объектов (3DGS) из случайных захватов, DiscretizedSDF представляет собой наиболее надежную и практичную отправную точку.
• Для статических объектов, требующих высочайшей точности материалов, BiGS является передовым методом, при условии наличия контролируемой установки захвата OLAT.
• Для динамических сцен (4DGS), конвейер BEAM является текущим рубежом исследований и предоставляет наиболее полную методологическую дорожную карту.

5.2. Открытые проблемы и путь вперед

• «Святой Грааль» захвата в естественных условиях: Основное направление исследований — достижение качества декомпозиции материалов методов на основе OLAT (таких как BiGS), используя только случайные, неконтролируемые захваты. Это, вероятно, потребует более мощных априорных знаний и сетевых архитектур.
• Декомпозиция в реальном времени: Обучение/оптимизация для этих методов обратного рендеринга остается оффлайн-процессом, который может занимать часы.27 Будущая работа будет направлена на его ускорение, потенциально позволяя захват и декомпозицию почти в реальном времени.
• Стандартизация и совместимость: В этой области отсутствует стандартный формат файла для «PBR Gaussians». Создание стандарта (аналогичного glTF для мешей), который мог бы хранить покауссианные атрибуты PBR, стало бы огромным благом для экосистемы, устранив разрыв между инструментами декомпозиции и движками рендеринга.
• Гибридные представления: Тенденция сочетания 3DGS с другими примитивами — SDF (DiscretizedSDF), мешами (SuGaR 7, BEAM 19) или физически обоснованными частицами ( Gaussian Splashing 38) — является мощной парадигмой, которая, вероятно, будет развиваться, позволяя разработчикам использовать лучшие свойства каждого представления для геометрии, внешнего вида и анимации.