Obiekty dziedzictwa kulturowego typu reliefowego są powszechnie spotykane w wielu miejscach historycznych na całym świecie, ale często ulegają zniszczeniu i zniszczeniu na różnym poziomie. Tradycyjne metody rekonstrukcji obrazu wymagają dużej pracy fizycznej i specjalistycznej wiedzy. Teraz badacze opracowali nowatorski model sieci neuronowej, który może zrekonstruować te płaskorzeźby jako trójwymiarowe obrazy cyfrowe ze starych fotografii zawierających informacje sprzed uszkodzenia. Ta innowacyjna technologia toruje drogę do dokładnej cyfrowej konserwacji cennych obiektów dziedzictwa kulturowego.
Płaskorzeźby lub rzeźby reliefowe to obiekty dziedzictwa kulturowego z postaciami wystającymi z tła, takiego jak ściana lub płyta, tworząc wrażenie głębi. Dzieła te, powszechnie spotykane w miejscach historycznych na całym świecie, uważane są za mające ogromną wartość historyczną i kulturową. Niestety, wiele takich płaskorzeźb w miejscach dziedzictwa kulturowego na całym świecie ulega zniszczeniu i zniszczeniu w różnym stopniu wraz z upływem czasu. Chociaż nowoczesne techniki skanowania 3D i fotogrametrii mogą cyfrowo zachować ich obecną formę, nie są w stanie przywrócić pierwotnego wyglądu tych rzeźb sprzed uszkodzenia. Dodatkowo tradycyjne metody ich przywracania są pracochłonne i wymagają dużej ingerencji manualnej oraz specjalistycznej wiedzy.
Obiecującą metodą jest cyfrowa rekonstrukcja 3D płaskorzeźb ze starych zdjęć, zarejestrowanych przed uszkodzeniem lub zniszczeniem. W przeciwieństwie do rzeźb 3D lub obrazów 2D, płaskorzeźby mają niewielką głębokość i należy je oglądać z przodu lub z obu stron. Oznacza to, że pojedynczy obraz może skutecznie dostarczyć większość informacji wymaganych do algorytmów cyfrowej rekonstrukcji 3D.
Dokonując przełomu, międzynarodowy zespół badawczy kierowany przez profesora Satoshi Tanakę z Wyższej Szkoły Informatyki i Inżynierii na Uniwersytecie Ritsumeikan w Japonii wraz z dr Jiao Panem z Uniwersytetu Nauki i Technologii w Pekinie w Chinach opracował innowacyjny zadaniowa sieć neuronowa do rekonstrukcji 3D i cyfrowej konserwacji płaskorzeźb na podstawie starych zdjęć. „Wcześniej proponowaliśmy metodę rekonstrukcji 3D starych płaskorzeźb w oparciu o jednooczną ocenę głębokości na podstawie zdjęć. Chociaż osiągnęliśmy dokładność rekonstrukcji na poziomie 95%, nadal brakowało drobniejszych szczegółów, takich jak ludzkie twarze i dekoracje. Było to spowodowane dużą kompresją wartości głębi w obrazach reliefowych 2D, co utrudnia wyodrębnienie zmian głębokości wzdłuż krawędzi. Nasza nowa metoda rozwiązuje ten problem poprzez ulepszenie szacowania głębokości, szczególnie wzdłuż miękkich krawędzi, przy użyciu nowatorskiego podejścia do wykrywania krawędzi” – wyjaśnia prof. Tanaka.
W skład zespołu weszli także prof. Liang Li z Uniwersytetu Ritsumeikan i prof. Xiaojuan Ban z Uniwersytetu Nauki i Technologii w Pekinie. Wyniki ich badań zostały zaprezentowane ustnie na międzynarodowej konferencji ACM Multimedia 2024, która odbyła się w październiku w Australii, a ich publikacja została opublikowana w czasopiśmie MM ’24: Postępowanie z 32II Międzynarodowa konferencja ACM na temat multimediów 28 października 2024 r.
Proponowana wielozadaniowa sieć neuronowa realizuje trzy zadania, a mianowicie segmentację semantyczną, szacowanie głębokości i wykrywanie miękkich krawędzi, które współdziałają w celu zwiększenia dokładności rekonstrukcji 3D. Siła sieci polega na szacowaniu głębokości, osiąganym za pomocą nowatorskiego detektora miękkich krawędzi i modułu dopasowywania krawędzi. W przeciwieństwie do konwencjonalnej binarnej klasyfikacji krawędzi, detektor miękkich krawędzi traktuje wykrywanie krawędzi danych reliefowych jako zadanie obejmujące wiele klasyfikacji. Krawędzie na obrazach reliefowych reprezentują nie tylko zmiany jasności, ale także zmiany krzywizny, zwane „miękkimi krawędziami”. Detektor miękkich krawędzi określa stopień „miękkości” tych krawędzi na obrazach reliefowych, usprawniając ocenę głębokości.
Moduł dopasowywania krawędzi składa się z dwóch detektorów miękkich krawędzi, które wyodrębniają wieloklasowe mapy miękkich krawędzi i mapę głębi z wejściowego zdjęcia reliefu. Dopasowując i wykrywając różnice między dwiema mapami, sieć koncentruje się bardziej na regionach o miękkich krawędziach, co skutkuje bardziej szczegółowym oszacowaniem głębokości. Na koniec sieć optymalizuje dynamiczną funkcję strat wzmocnionych krawędziami, która uwzględnia straty ze wszystkich trzech zadań i tworzy wyraźne i szczegółowe obrazy 3D reliefów.
Naukowcy zastosowali ten innowacyjny model do rekonstrukcji ukrytych płaskorzeźb świątyni Borobudur. „Płaskorzeźby ścienne na parterze świątyni Borobudur, wpisanej na Listę Światowego Dziedzictwa UNESCO w Indonezji, są przykryte kamiennymi ścianami w wyniku prac zbrojeniowych przeprowadzonych w holenderskim okresie kolonialnym i nie można ich oglądać. Nasza wielozadaniowa sieć neuronowa została pomyślnie zrekonstruowana te ukryte fragmenty płaskorzeźb Borobudur na parterze, pochodzące z zachowanych starych fotografii. Dzięki wizualizacji komputerowej i rzeczywistości wirtualnej nasze badania umożliwiają obecnie wirtualną eksplorację tych niewidocznych skarbów” – mówi prof. Tanaka, podkreślając potencjalny wpływ ich pracy.
Omawiając przyszłe implikacje tych odkryć, mówi: „Nasza technologia ma ogromny potencjał w zakresie ochrony i udostępniania dziedzictwa kulturowego. Otwiera nowe możliwości nie tylko dla archeologów, ale także dla wciągających wirtualnych doświadczeń dzięki technologiom VR i Metaverse, zachowując globalne dziedzictwo dla przyszłych pokoleń .”
