Un NeRF encode une scène 3D entière dans les poids d’un réseau de neurones. Là où la photogrammétrie classique reconstruit un maillage polygonal à partir de nuages de points, un Neural Radiance Field apprend une fonction continue qui associe chaque point de l’espace à une couleur et une densité. Le rendu d’une nouvelle vue revient alors à interroger ce réseau le long de rayons caméra, sans jamais manipuler de géométrie explicite.
Coordonnée 5D et volume rendering : le mécanisme technique du NeRF
Le réseau reçoit en entrée une coordonnée 5D : trois valeurs spatiales (x, y, z) et deux angles de direction de vue (θ, φ). Il produit en sortie la densité volumique σ au point considéré et la radiance émise (couleur RGB) dans la direction demandée.
A lire en complément : Mac M5 et M6 annoncés ensemble : quel modèle viser en priorité ?
La densité ne dépend que de la position spatiale. La couleur, elle, varie avec la direction d’observation, ce qui permet de reproduire les reflets spéculaires et les effets dépendants de l’angle de vue. C’est cette séparation qui donne aux NeRF leur capacité à restituer des apparences réalistes sous des angles jamais photographiés.
Pour générer un pixel, on trace un rayon depuis la caméra virtuelle à travers la scène. Le réseau est interrogé en plusieurs dizaines de points échantillonnés le long de ce rayon. Les couleurs et densités obtenues sont ensuite intégrées par volume rendering différentiable, une technique classique en infographie qui accumule la lumière émise en pondérant chaque échantillon par sa transmittance.
Lire également : Cadeau high-tech original : pourquoi le portable mini Printer séduit en 2026 ?
Le caractère différentiable du pipeline est la clé de l’entraînement. Puisque chaque étape (échantillonnage, requête réseau, intégration) est dérivable, on peut comparer le pixel rendu au pixel réel d’une photo d’entraînement et rétropropager l’erreur jusqu’aux poids du réseau. La seule supervision nécessaire est un jeu de photos avec poses caméra connues.
Positional encoding et hautes fréquences
Un MLP classique alimenté directement par des coordonnées (x, y, z) peine à reproduire les détails fins : textures, arêtes, motifs haute fréquence. Le papier original résout ce problème par un positional encoding, qui projette chaque coordonnée dans un espace de plus grande dimension via des fonctions sinusoïdales à fréquences croissantes.
Sans cet encodage, les résultats apparaissent lisses et flous. Avec, le réseau capture des variations spatiales fines que les couches fully-connected seules ne pourraient pas modéliser. Ce mécanisme rappelle les embeddings positionnels utilisés dans les Transformers, appliqué ici aux coordonnées spatiales plutôt qu’à des positions de tokens.
Entraînement d’un NeRF : données, GPU et contraintes de scène
Nous observons que la qualité d’un NeRF dépend autant des photos d’entrée que de l’architecture elle-même. Le réseau a besoin d’images prises sous des angles variés, avec un recouvrement suffisant entre vues adjacentes. Les poses caméra sont généralement estimées en amont par un outil de structure-from-motion comme COLMAP.
- Couverture angulaire : des prises de vue trop proches les unes des autres laissent des zones non contraintes dans le volume, ce qui produit des artefacts flottants (les « floaters »)
- Éclairage stable : les NeRF supposent un éclairage statique. Des ombres qui bougent entre les photos perturbent l’apprentissage de la radiance
- Scènes statiques : le modèle original ne gère pas les objets en mouvement. Des personnes ou des véhicules qui passent créent des fantômes dans le rendu
- Coût GPU : l’entraînement d’un NeRF vanilla sur une scène nécessite plusieurs heures sur un GPU dédié, et le rendu d’une seule image peut prendre plusieurs secondes
Ces contraintes expliquent pourquoi la recherche s’est rapidement orientée vers des variantes plus rapides et plus robustes.
NeRF vs Gaussian Splatting : deux philosophies de rendu neuronal
Le Gaussian Splatting (3D-GS) s’est imposé comme l’alternative principale aux NeRF pour la synthèse de nouvelles vues. Les deux approches partent des mêmes photos mais divergent sur la représentation interne.
Un NeRF stocke la scène implicitement dans les poids d’un réseau. Le rendu passe par du ray marching, avec de multiples requêtes réseau par pixel. Un 3D-GS représente la scène explicitement comme un ensemble de gaussiennes 3D, chacune dotée d’une position, d’une covariance, d’une opacité et de coefficients de couleur (harmoniques sphériques). Le rendu se fait par rasterisation, pas par lancer de rayons.
En pratique, le splatting offre un rendu quasi temps réel là où un NeRF classique reste lent à l’inférence. L’entraînement est aussi plus rapide. En revanche, les gaussiennes consomment davantage de mémoire, et la qualité dans les zones peu observées peut chuter plus brutalement qu’avec un NeRF, dont la représentation continue interpole de façon plus lisse.
Nous recommandons de considérer le 3D-GS dès que l’interactivité compte (visualisation temps réel, intégration dans un moteur de jeu). Le NeRF garde un avantage pour les scènes à forte spécularité ou quand la compacité du modèle importe.
Applications concrètes du NeRF en production
L’écosystème NeRF a dépassé le stade de la curiosité académique. Nvidia a intégré la technologie Instant NeRF dans ses outils, exploitant des structures de données accélérées pour réduire l’entraînement à quelques minutes au lieu de plusieurs heures. Des outils grand public permettent désormais de reconstruire une scène 3D à partir de photos ou d’une vidéo capturée au smartphone.
- Numérisation de biens immobiliers et patrimoine architectural : création de visites virtuelles photoréalistes sans scanner lidar
- Asset creation pour le jeu vidéo et les effets visuels : capturer un objet réel et l’intégrer dans un pipeline de production
- E-commerce : visualisation produit sous tous les angles à partir d’une série de photos
La limite principale reste la gestion des scènes dynamiques et des conditions d’éclairage variables. Des travaux récents (NeRF dynamiques, NeRF relightables) adressent ces points, mais aucune solution unifiée ne couvre encore tous les cas de production.
Le NeRF a introduit un changement de paradigme en représentation 3D : remplacer la géométrie explicite par une fonction neuronale continue. Même si le Gaussian Splatting capte aujourd’hui une grande partie de l’attention, les principes posés par les NeRF (rendu volumétrique différentiable, encodage positionnel, supervision par images) restent la base sur laquelle toutes les variantes s’appuient.
