Sztuczna inteligencja odtwarza głębię 3D z jednego zdjęcia

Jedno zdjęcie zawiera więcej informacji niż wydaje się na pierwszy rzut oka. Naukowcy z University of Osaka pokazali, że z pojedynczej fotografii można odtworzyć nie tylko wygląd sceny, ale także informację o jej głębi.

.Wiele systemów widzenia 3D wymaga dziś kilku kamer, wielu zdjęć albo dodatkowych czujników. Tak działają m.in. rozwiązania stereowizyjne, kamery głębi czy systemy wykorzystujące aktywne oświetlenie. Nowa metoda idzie inną drogą: próbuje wydobyć informację o odległości z rozmycia widocznego na pojedynczym obrazie.

Naukowcy wykorzystują technikę znaną jako depth from defocus. Polega ona na tym, że obiekty znajdujące się w różnych odległościach od kamery są rozmyte w inny sposób. Jeśli uda się prawidłowo odczytać wzór tego rozmycia, można oszacować, co znajduje się bliżej, a co dalej.

Kodowana przysłona pomaga odczytać rozmycie

.Sama analiza rozmycia jest trudna. W scenach o małej liczbie szczegółów, np. na gładkich ścianach, jednolitych powierzchniach albo ciemnych fragmentach obrazu, wcześniejsze metody często popełniały błędy. Problemem było też to, że rozmycie może wynikać nie tylko z głębi, ale również z tekstury, ruchu, szumu lub właściwości obiektywu.

Zespół z Osaki zastosował więc kodowaną przysłonę. To specjalnie zaprojektowany element optyczny, który sprawia, że rozmycie ma bardziej charakterystyczny, możliwy do analizy wzór. Kamera nie tylko rejestruje obraz, ale robi to w sposób ułatwiający późniejsze obliczenie głębi.

W praktyce oznacza to połączenie sprzętu i oprogramowania. Sama sztuczna inteligencja nie zgaduje dowolnie trójwymiarowej sceny. Otrzymuje pomiar wykonany przez kamerę, a następnie rekonstruuje mapę głębi zgodną z fizyką obrazu.

AI ma ograniczać własne halucynacje

.Ważnym elementem rozwiązania jest model dyfuzyjny. Tego typu modele są znane z generowania obrazów, ale w tym przypadku nie chodzi o tworzenie efektownych grafik. AI ma stabilizować rekonstrukcję i pomagać tam, gdzie klasyczne metody zawodzą.

To szczególnie istotne, bo systemy AI potrafią tworzyć struktury wyglądające wiarygodnie, ale niezgodne z rzeczywistością. W obrazowaniu 3D byłoby to poważne ryzyko. Robot, samochód autonomiczny albo urządzenie medyczne nie potrzebuje „ładnej” rekonstrukcji. Potrzebują informacji możliwie zgodnej z realną sceną.

Autorzy badania podkreślają, że ich metoda utrzymuje rekonstrukcję w zgodzie z rzeczywistym pomiarem obrazu. Model AI nie ma swobodnie dopowiadać sceny, lecz wspierać obliczenia w granicach wyznaczonych przez dane z kamery.

Prototyp sprawdzono w scenach rzeczywistych

.Badacze zbudowali prototyp kamery z kodowaną przysłoną i przetestowali zarówno w symulacjach, jak i na rzeczywistych scenach. Wyniki wskazują, że metoda pozwala uzyskać dokładniejsze mapy głębi i obrazy z mniejszą liczbą artefaktów niż konkurencyjne podejścia.

Rekonstrukcje zachowywały kształty obiektów i drobne szczegóły tekstury, pozostając zgodne z pierwotnym pomiarem. To odróżnia system od metod, które mogą działać dobrze w typowych warunkach, ale tracą stabilność, gdy obraz odbiega od danych wykorzystywanych podczas uczenia.

Według autorów badania nowe podejście nie wymaga par danych defocus–RGBD ani trenowania modelu pod jedną konkretną konfigurację kamery. To mogłoby zwiększyć jego elastyczność i ułatwić zastosowanie w różnych systemach obrazowania.

Od robotów po rozszerzoną rzeczywistość

.Jeżeli technologia zostanie rozwinięta, może mieć znaczenie dla wielu dziedzin. Roboty potrzebują informacji o głębi, aby chwytać przedmioty, omijać przeszkody i bezpiecznie poruszać się w przestrzeni. Pojazdy autonomiczne analizują odległości do pieszych, znaków, innych samochodów i elementów drogi. Urządzenia rozszerzonej rzeczywistości muszą rozumieć, gdzie w fizycznym świecie znajdują się powierzchnie i obiekty.

Możliwość uzyskania informacji 3D z jednego ujęcia i stosunkowo prostego sprzętu mogłaby obniżyć koszt części takich systemów. Szczególnie ważne byłoby to tam, gdzie nie ma miejsca na wiele kamer albo gdzie sprzęt musi być mały, lekki i energooszczędny.

Na razie nie jest to jednak gotowy produkt. Badanie pokazuje skuteczność prototypu i algorytmu, ale przed technologią stoją pytania o szybkość działania, miniaturyzację, odporność na warunki oświetleniowe i możliwość pracy w czasie rzeczywistym.

Nowy kierunek widzenia maszynowego

.Najciekawsze w tej pracy jest połączenie trzech elementów: fizyki obrazu, specjalnie zaprojektowanej optyki i sztucznej inteligencji. AI nie zastępuje kamery, lecz działa razem z nią. Sprzęt zbiera pomiar w sposób ułatwiający analizę, a model obliczeniowy odtwarza informację przestrzenną.

To może być ważny kierunek dla przyszłości widzenia komputerowego. Zamiast dodawać kolejne czujniki i coraz bardziej skomplikowany sprzęt, część informacji można wydobywać z pojedynczego obrazu – pod warunkiem, że kamera i algorytm zostaną zaprojektowane jako jeden system.

Badanie z Osaki nie rozwiązuje wszystkich problemów obrazowania 3D. Pokazuje jednak, że jedno zdjęcie może stać się znacznie bogatszym źródłem danych niż klasyczna fotografia. W epoce robotów, autonomicznych maszyn i rozszerzonej rzeczywistości taka umiejętność widzenia głębi z pojedynczego ujęcia może okazać się bardzo cenna.

Szymon Ślubowski