3D Gaussian Splatting en semantische segmentatie
Segmented Gaussian Splatting
Wij zijn trots om de resultaten van een innovatief bachelorthesis-onderzoek te presenteren, gericht op de revolutionaire toepassing van 3D Gaussian Splatting (GS) gecombineerd met AI-gedreven semantische segmentatie voor as-built modellering in assetmanagement. Dit onderzoek, uitgevoerd aan de Hogeschool Inholland, verkent een waardevol alternatief voor traditionele methoden en biedt een complete, herhaalbare en open-source workflow.
De bouwsector staat voor de uitdaging om traditionele, vaak arbeidsintensieve en kostbare methoden voor as-built modellering, zoals Scan-to-BIM, te moderniseren. Deze conventionele benaderingen leiden tot significant verlies van detail en fotorealistische informatie, wat nauwkeurige visuele inspecties en efficiënte onderhoudsplanning bemoeilijkt. De innovatieve 3D Gaussian Splatting techniek biedt hiervoor een krachtig alternatief door het creëren van een nieuw type as-built model: een fotorealistische, meetbare ‘digital twin’. In tegenstelling tot traditionele 3D-modellen creëert Gaussian Splatting een fotorealistische 3D-weergave direct vanuit foto-opnames, waarbij complexe visuele eigenschappen op een natuurgetrouwere wijze behouden blijven.
De ontwikkelde workflow, gebaseerd op (smartphone)fotografie en volledig open-source software, stelt professionals in staat om snel en kostenefficiënt fotorealistische en semantisch gesegmenteerde 3D-modellen te genereren. De methodologie omvat data-acquisitie via smartphonefotografie, 3D-reconstructie met COLMAP, GS-generatie via de INRIA-pipeline en semantische segmentatie met SegAnyGaussian (SEGA). SEGA benut het krachtige Segment Anything Model (SAM), dat ‘zero-shot’ segmentatie op nieuwe datasets mogelijk maakt zonder modelspecifieke training. Dit resulteert in een superieure visuele representatie en levert betrouwbare data voor visuele inspecties en indicatieve hoeveelheidsbepalingen.
Voor educatieve doeleinden
De in dit onderzoek gebruikte INRIA Gaussian Splatting pipeline is primair ontwikkeld voor educatieve doeleinden en wetenschappelijk onderzoek. Hoewel deze oplossing uitstekend geschikt is voor proof-of-concept studies, onderwijstoepassingen en verkennend onderzoek, kunnen voor grootschalige commerciële implementaties aanvullende tools of commerciële alternatieven nodig zijn om te voldoen aan industriële eisen voor schaalbaarheid, technische ondersteuning en prestaties.
Over het onderzoek
Dit onderzoeksproject had als doel te verkennen in hoeverre 3D Gaussian Splatting kan bijdragen aan efficiënter en informatie-rijker assetmanagement. De workflow is volledig gedocumenteerd om reproduceerbaarheid te waarborgen, met specifieke focus op het semantisch segmenteren van glasoppervlakken en het verrijken van het model met metadata zoals oppervlakte en materiaalclassificatie. De praktische toepasbaarheid en nauwkeurigheid zijn uitgebreid gevalideerd aan de hand van een casestudy van een geveldeel van Hogeschool Inholland Alkmaar, waarbij de resultaten zijn vergeleken met een LiDAR ‘ground-truth’ scan. Deze validatie bevestigt dat het via fotogrammetrie verkregen Gaussian Splatting-model een hoge mate van geometrische trouw en nauwkeurigheid bereikt.
Knowledgebase bestanden
3D Gaussian Splatting Segmentatie
Workflow
De workflow is ontworpen met het oog op toegankelijkheid en reproduceerbaarheid binnen een onderzoeks- en onderwijscontext. Door te kiezen voor smartphonefotografie als primaire acquisitiemethode en open-source software sluit de methode naadloos aan op de doelstellingen van reproduceerbare en schaalbare modellering. Het gebruik van gratis software maakt het mogelijk om zonder dure apparatuur of licenties een gedetailleerd 3D-model op te bouwen dat direct inzetbaar is voor assetmanagement. SegAnyGaussian (SEGA) is gekozen vanwege zijn directe toepasbaarheid en flexibiliteit, mede dankzij de integratie met SAM die ‘zero-shot’ segmentatie mogelijk maakt. Dit maakt de workflow bijzonder geschikt voor onderwijsinstellingen en kleinere organisaties die innovatieve technieken willen verkennen, hoewel enige technische affiniteit vereist is voor de initiële setup.
1. Data-acquisitie via methodische smartphonefotografie met minimaal 70% overlap, variatie in camerahoeken en diffuse lichtomstandigheden, vooral voor reflecterende oppervlakken zoals glas.
2. 3D-reconstructie met COLMAP voor Structure-from-Motion (SfM) en camerapositionering op basis van de verzamelde foto’s om een sparse pointcloud en cameraposities te genereren.
3. Gaussian Splatting-generatie via de open-source INRIA-pipeline voor het omzetten van gereconstrueerde 3D-data naar fotorealistische 3D Gaussian Splat-modellen met behoud van visueel detail.
4. Semantische segmentatie met SegAnyGaussian (SEGA) voor identificatie en labeling van objecten binnen de Gaussian Splat, met specifieke focus op glasoppervlakken en andere bouwmaterialen.
5. Geometrie-extractie via CloudCompare en MeshLab voor het berekenen van kwantitatieve geometrische informatie zoals oppervlaktes uit de gesegmenteerde Gaussian Splats.
6. Validatie door vergelijking van de gegenereerde
modellen met LiDAR ‘ground-truth’ dataset voor het waarborgen van geometrische
nauwkeurigheid.
7. Optimalisatie van mesh-parameters (Octree Depth)
voor materiaalspecifieke aanpassingen om de nauwkeurigheid te maximaliseren en geometrische ruis te minimaliseren.
8. Data-extractie en betrouwbaarheidsanalyse waarbij
de resultaten worden geëvalueerd per materiaaltype voor optimale
toepasbaarheid.
Validatie en nauwkeurigheid
De betrouwbaarheid van de geëxtraheerde informatie is genuanceerd en materiaalafhankelijk. Voor textuurrijke, niet-reflecterende oppervlakken zoals metselwerk levert de workflow uitstekende prestaties en resulteert in zeer nauwkeurige en betrouwbare kwantitatieve data. Voor uitdagende materialen zoals glas biedt de methode een goede indicatieve meting, waarbij reflecterende materialen geometrische ruis kunnen introduceren die leidt tot een lichte overschatting van de oppervlakte. Door strategische aanpassing van mesh-parameters kunnen gebruikers de nauwkeurigheid optimaliseren voor specifieke materiaaltypen.
Praktische toepasbaarheid
Het gegenereerde GS-model voldoet aan een significant deel van de geïdentificeerde behoeften binnen assetmanagement. Het levert sneller en kostenefficiënter een visueel superieur en detailrijker as-built model op dan traditionele methoden. Dit is met name waardevol voor visuele inspecties en schadeherkenning, waarbij facility managers op afstand de werkelijke staat van een gevel kunnen inspecteren – iets wat met de generieke texturen van een traditioneel BIM-model onmogelijk is. De mogelijkheid om hier direct indicatieve oppervlaktes aan te koppelen overbrugt de kloof tussen visuele inspectie en kwantitatieve meting.
EN 
NL