Inżynierowie z Northwestern University opracowali nowy system do rejestrowania ruchu całego ciała, który nie wymaga specjalistycznych pomieszczeń, drogiego sprzętu, nieporęcznych kamer ani szeregu czujników.
Zamiast tego wymaga prostego urządzenia mobilnego.
Nowy system, nazwany MobilePoser, wykorzystuje czujniki już wbudowane w konsumenckie urządzenia mobilne, w tym smartfony, inteligentne zegarki i bezprzewodowe słuchawki douszne. Wykorzystując połączenie danych z czujników, uczenia maszynowego i fizyki, MobilePoser dokładnie śledzi pozę całego ciała osoby i globalne przesunięcie w przestrzeni w czasie rzeczywistym.
„Działając w czasie rzeczywistym na urządzeniach mobilnych, MobilePoser osiąga najnowocześniejszą dokładność dzięki zaawansowanemu uczeniu maszynowemu i optymalizacji opartej na fizyce, odblokowując nowe możliwości w grach, fitnessie i nawigacji w pomieszczeniach bez konieczności stosowania specjalistycznego sprzętu” – powiedział Karan Ahuja z Northwestern, który prowadził badanie. „Ta technologia stanowi znaczący krok w kierunku mobilnego przechwytywania ruchu, czyniąc wciągające doświadczenia bardziej dostępnymi i otwierając drzwi dla innowacyjnych zastosowań w różnych branżach”.
Zespół Ahuja zaprezentuje MobilePoser 15 października podczas sympozjum ACM 2024 na temat oprogramowania i technologii interfejsu użytkownika w Pittsburghu. „MobilePoser: szacowanie pozycji całego ciała w czasie rzeczywistym i tłumaczenie człowieka w 3D z IMU w mobilnych urządzeniach konsumenckich” odbędzie się w ramach sesji „Pozy jako dane wejściowe”.
Ekspert w dziedzinie interakcji człowiek-komputer, Ahuja jest adiunktem Lisy Wissner-Slivki i Benjamina Slivki na wydziale informatyki w McCormick School of Engineering w Northwestern, gdzie kieruje laboratorium Sensing, Perception, Interactive Computing and Experience (SPICE).
Ograniczenia obecnych systemów
Większość miłośników kina zna techniki przechwytywania ruchu, które często są ujawniane w materiałach zza kulis. Aby stworzyć postacie CGI – takie jak Gollum we „Władcy Pierścieni” czy Na’vi w „Avatarze” – aktorzy chodzą po wyspecjalizowanych pomieszczeniach, nosząc dopasowane do ciała garnitury wyposażone w czujniki. Komputer rejestruje dane z czujnika, a następnie wyświetla ruchy i subtelną mimikę aktora.
„To złoty standard w zakresie przechwytywania ruchu, ale uruchomienie takiej konfiguracji kosztuje ponad 100 000 dolarów” – powiedział Ahuja. „Chcieliśmy opracować przystępną, zdemokratyzowaną wersję, z której w zasadzie każdy będzie mógł korzystać na sprzęcie, który już posiada”.
Inne systemy wykrywające ruch, takie jak Microsoft Kinect, opierają się na stacjonarnych kamerach, które rejestrują ruchy ciała. Jeśli w polu widzenia kamery znajduje się osoba, systemy te działają dobrze. Są jednak niepraktyczne w przypadku zastosowań mobilnych lub w podróży.
Przewidywanie pozycji
Aby przezwyciężyć te ograniczenia, zespół Ahuji zwrócił się ku inercyjnym jednostkom pomiarowym (IMU), systemowi wykorzystującemu kombinację czujników – akcelerometry, żyroskopy i magnetometry – do pomiaru ruchu i orientacji ciała. Czujniki te znajdują się już w smartfonach i innych urządzeniach, ale ich wierność jest zbyt niska, aby można było zastosować dokładne przechwytywanie ruchu. Aby zwiększyć wydajność, zespół Ahuja dodał specjalnie zbudowany, wielostopniowy algorytm sztucznej inteligencji (AI), który wytrenował przy użyciu publicznie dostępnego, dużego zbioru danych syntezowanych pomiarów IMU wygenerowanych na podstawie wysokiej jakości danych przechwytywania ruchu.
Dzięki danym z czujnika MobilePoser uzyskuje informacje o przyspieszeniu i orientacji ciała. Następnie przekazuje te dane za pomocą algorytmu AI, który szacuje pozycję i rotację stawów, prędkość i kierunek chodzenia oraz kontakt stóp użytkownika z podłożem.
Wreszcie MobilePoser wykorzystuje optymalizator oparty na fizyce, aby udoskonalić przewidywane ruchy, aby zapewnić ich zgodność z rzeczywistymi ruchami ciała. Na przykład w prawdziwym życiu stawy nie mogą zginać się do tyłu, a głowa nie może obracać się o 360 stopni. Optymalizator fizyki zapewnia, że przechwycone ruchy nie mogą poruszać się w fizycznie niemożliwy sposób.
Powstały system ma błąd śledzenia wynoszący zaledwie 8 do 10 centymetrów. Dla porównania Microsoft Kinect ma błąd śledzenia rzędu 4 do 5 centymetrów, zakładając, że użytkownik pozostaje w polu widzenia kamery. Dzięki MobilePoser użytkownik ma swobodę poruszania się.
„Dokładność jest lepsza, gdy dana osoba nosi więcej niż jedno urządzenie, na przykład smartwatch na nadgarstku i smartfon w kieszeni” – powiedział Ahuja. „Ale kluczową częścią systemu jest jego zdolność adaptacyjna. Nawet jeśli pewnego dnia nie będziesz mieć przy sobie zegarka, a będziesz miał tylko telefon, może on dostosować się do Twojej pozycji całego ciała”.
Potencjalne przypadki użycia
Chociaż MobilePoser może zapewnić graczom bardziej wciągające doświadczenia, nowa aplikacja oferuje także nowe możliwości w zakresie zdrowia i kondycji. Wykracza to poza zwykłe liczenie kroków i umożliwia użytkownikowi obserwację postawy całego ciała, dzięki czemu może upewnić się, że podczas ćwiczeń jego sylwetka jest prawidłowa. Nowa aplikacja może również pomóc lekarzom analizować mobilność, poziom aktywności i chód pacjentów. Ahuja wyobraża sobie również, że tę technologię można wykorzystać do nawigacji w pomieszczeniach, co jest obecną słabością GPS, który działa tylko na zewnątrz.
„W tej chwili lekarze monitorują mobilność pacjentów za pomocą licznika kroków” – powiedział Ahuja. „To trochę smutne, prawda? Nasze telefony potrafią obliczyć temperaturę w Rzymie. Wiedzą więcej o świecie zewnętrznym niż o naszym własnym ciele. Chcielibyśmy, aby telefony stały się czymś więcej niż tylko inteligentnymi licznikami kroków. Telefon powinien być w stanie wykryć różnych czynności, określ swoje pozy i bądź bardziej proaktywnym asystentem.
Aby zachęcić innych badaczy do wykorzystania tej pracy, zespół Ahuja udostępnił wstępnie wytrenowane modele, skrypty do wstępnego przetwarzania danych i kod do uczenia modeli jako oprogramowanie typu open source. Ahuja twierdzi również, że aplikacja będzie wkrótce dostępna na iPhone’a, słuchawki AirPods i Apple Watch.
