Gaussian-Splatting auf macOS — ein Einstieg für App-Entwickler

Radiance Fields und Gaussian Splatting sind kein reines Research-Spielzeug mehr. Eine Standortbestimmung für Mac-Entwickler — was das eigentlich ist, wie das Rendering aussieht und wo RadianceKit ansetzt.

Was ist ein Radiance Field

Ein Radiance Field ist eine Repräsentation einer 3D-Szene, die zu jedem Punkt im Raum und jeder Blickrichtung sagt, welche Farbe und Dichte du dort siehst. Man trainiert es aus ein paar Dutzend Fotos eines realen Objekts oder Raums und kann die Szene dann aus beliebig neuen Perspektiven rendern — die ursprüngliche NeRF-Arbeit (Mildenhall et al., 2020) hat das mit einem kleinen MLP konkret gemacht.

NeRF-Rendering ist langsam, weil jeder Pixel jedes Frames ein Ray-March durch das MLP ist. Wunderschöne Ergebnisse, aber Minuten pro Frame auf großen GPUs. Echtzeit auf Consumer-Hardware war damit erstmal vom Tisch.

Was Gaussian Splatting ändert

Drei Jahre später hat 3D Gaussian Splatting (Kerbl, Kopanas et al., 2023) das implizite MLP durch eine explizite Wolke aus Millionen 3D-Gaussians ersetzt — jeder mit Position, anisotroper Kovarianz, Farbe und Opazität. Zum Rendern werden diese Gaussians in den Bildschirmraum projiziert, nach Tiefe sortiert und alpha-blended. Das ist eine rasterizer-freundliche Operation. Moderne GPUs fressen das zum Frühstück.

Für Mac-Entwickler heißt das konkret: eine real eingescannte Szene rendert mit 60 fps auf jedem Apple-Silicon-Mac — mit der visuellen Qualität, für die NeRFs offline Minuten brauchten. Das Format ist dramatisch kleiner als Mesh + Textur für vergleichbare Detailtreue, und blickwinkelabhängige Effekte (Glanzlichter, weiche Kaustiken) bekommt man gratis mit.

Was es nicht kann

Splats sind ein Render-Format, kein Geometrie-Format. Du kannst nicht zuverlässig gegen eine Gaussian-Wolke kollidieren, kein sauberes Mesh daraus extrahieren oder sie editieren wie ein Polygon-Modell. Sie sind auch immer noch groß — ein hochwertiger Scan eines einzelnen Objekts liegt im zweistelligen Megabyte-Bereich, ein Raum im dreistelligen. Kompressionsverfahren werden schnell besser, sind aber kein gelöstes Problem.

Das Training ist außerdem nicht interaktiv auf Consumer-Hardware. Heute fotografierst du eine Szene mit dem Telefon, lässt das Training auf einer Desktop-GPU oder in der Cloud laufen und bringst die fertige .ply-/.splat-Datei zurück auf deinen Mac. On-Device-Training ist ein Forschungsziel, noch keine Produktivpraxis.

Wo RadianceKit ansetzt

RadianceKit ist das macOS-Stück dieser Pipeline: ein Swift-Toolkit, das Splat-Assets lädt, sie mit Metal rendert und dir Kamera-Steuerung, Beleuchtungs-Hooks und eine Viewer-Komponente liefert, die du in deine eigene Mac-App einbauen kannst. Es macht kein Training. Es macht Wiedergabe gut. Diese Trennung war die richtige Entscheidung — Viewer-Apps brauchen verlässliche Performance dringender als die letzten Forschungs-Features.

Wer als Mac-Entwickler in das Gebiet schaut, sollte erst einmal splatten, bevor er sich auf eine Architektur festlegt. Lade ein paar öffentliche Datasets in eine kleine Metal-Sandbox. Bekomme ein Gefühl für Speicherverbrauch, Fill Rate und Frame-Pacing auf den Macs, die du wirklich anvisierst. Sobald das sitzt, fällt die Wahl zwischen „Mesh + Textur“, „Neural Field“ und „Gaussian Splat“ für ein konkretes Produkt deutlich leichter.

Wo weiterlesen

RadianceKit hat eine eigene Produkt-Seite unter radiancekit.de mit Dokumentation, Beispiel-Szenen und dem SDK-Download. Engineering-Notizen zum Renderer und zu Capture-Workflows landen hier im Blog, während sich das SDK weiterentwickelt.