Złośliwi aktorzy nadużywają generatywnych narzędzi muzycznych AI do tworzenia piosenek o charakterze homofobicznym, rasistowskim i propagandowym oraz publikują przewodniki instruujące innych, jak to zrobić.

Według Aktywne ogrodzenie, usługi zarządzania operacjami dotyczącymi zaufania i bezpieczeństwa na platformach internetowych, od marca w społecznościach związanych z mową nienawiści nastąpił gwałtowny wzrost dyskusji na temat sposobów niewłaściwego wykorzystywania narzędzi do tworzenia muzyki opartych na sztucznej inteligencji do pisania obraźliwych piosenek skierowanych do grup mniejszościowych. Piosenki generowane przez sztuczną inteligencję, udostępniane na tych forach i forach dyskusyjnych, mają na celu podżeganie do nienawiści wobec grup etnicznych, płciowych, rasowych i religijnych – twierdzą badacze ActiveFence w raporcie, jednocześnie celebrując akty męczeństwa, samookaleczenia i terroryzmu.

Nienawistny I szkodliwy piosenki nie są zjawiskiem nowym. Istnieje jednak obawa, że ​​wraz z pojawieniem się łatwych w użyciu, bezpłatnych narzędzi do generowania muzyki będą one tworzone na dużą skalę przez osoby, które wcześniej nie miały środków ani wiedzy — podobnie jak obraz, głos, wideo i generatory tekstu mają pośpieszony rozprzestrzenianie się mylna informacja, dezinformacjaI mowa nienawiści.

„Są to trendy, które się nasilają, w miarę jak coraz więcej użytkowników uczy się, jak generować takie utwory i udostępniać je innym” – powiedział w wywiadzie dla TechCrunch Noam Schwartz, współzałożyciel i dyrektor generalny ActiveFence. „Osoby zagrażające szybko identyfikują konkretne luki w zabezpieczeniach, aby na różne sposoby nadużywać tych platform i generować złośliwe treści”.

Tworzenie piosenek „nienawistnych”.

Generacyjne narzędzia muzyczne AI, takie jak Udio i słońce pozwól użytkownikom dodawać własne teksty do generowanych utworów. Zabezpieczenia na platformach odfiltrowują popularne obelgi i pejoratywne wypowiedzi, ale według ActiveFence użytkownicy znaleźli obejście tego problemu.

W jednym z przykładów cytowanych w raporcie użytkownicy forów białej supremacji udostępniali fonetyczną pisownię mniejszości i obraźliwe terminy, takie jak „jooz” zamiast „Żydzi” i „powiedz tan” zamiast „Szatan”, których używali do omijania filtrów treści . Niektórzy użytkownicy sugerowali zmianę odstępów i pisowni w odniesieniu do aktów przemocy, na przykład zastąpienie „mój gwałt” słowem „małpa błotnista”.

TechCrunch przetestował kilka z tych obejść na Udio i Suno, dwóch z najpopularniejszych narzędzi do tworzenia i udostępniania muzyki generowanej przez sztuczną inteligencję. Suno przepuścił ich wszystkich, podczas gdy Udio zablokował część – ale nie wszystkie – ofensywnych homofonów.

Rzecznik Udio, z którym skontaktowano się e-mailem, powiedział TechCrunch, że firma zabrania korzystania ze swojej platformy do rozpowszechniania mowy nienawiści. Suno nie odpowiedział na naszą prośbę o komentarz.

W społecznościach, do których dotarł, ActiveFence znalazł linki do piosenek generowanych przez sztuczną inteligencję, powtarzających teorie spiskowe na temat Żydów i opowiadających się za ich masowymi morderstwami; piosenki zawierające hasła kojarzące się z grupami terrorystycznymi ISIS i Al-Kaidą; oraz piosenki gloryfikujące przemoc seksualną wobec kobiet.

Wpływ piosenki

Schwartz twierdzi, że piosenki – w przeciwieństwie do, powiedzmy, tekstu – niosą ze sobą ciężar emocjonalny, który czyni je potężną siłą dla grup nienawiści i wojna polityczna. Wskazuje na Rock Against Communism, serię koncertów białego power rocka w Wielkiej Brytanii na przełomie lat 70. i 80., podczas których zrodziły się całe podgatunki antysemickie i rasistowskie.nienawiść”muzyka.

„Sztuczna inteligencja sprawia, że ​​szkodliwe treści stają się bardziej atrakcyjne. Wyobraź sobie kogoś, kto głosi szkodliwą narrację na temat określonej populacji, a następnie wyobraź sobie, że ktoś tworzy rymowaną piosenkę, którą wszyscy łatwo zaśpiewają i zapamiętają” – powiedział. „Wzmacniają solidarność grupową, indoktrynują członków grup peryferyjnych, a także służą do szokowania i obrażania niezrzeszonych użytkowników Internetu”.

Schwartz wzywa platformy wytwarzania muzyki do wdrożenia narzędzi zapobiegawczych i przeprowadzenia szerzej zakrojonych ocen bezpieczeństwa. „Red Teaming może potencjalnie ujawnić niektóre z tych luk i można tego dokonać poprzez symulację zachowania podmiotów zagrażających” – powiedział Schwartz. „W tym przypadku przydatna może być również lepsza moderacja danych wejściowych i wyjściowych, ponieważ umożliwi platformom blokowanie treści przed udostępnieniem ich użytkownikowi”.

Jednak poprawki mogą okazać się ulotne, ponieważ użytkownicy odkryją nowe metody powstrzymujące moderację. Na przykład niektóre z terrorystycznych piosenek propagandowych generowanych przez sztuczną inteligencję zidentyfikowanych przez ActiveFence zostały utworzone przy użyciu arabskich eufemizmów i transliteracji — eufemizmów, których generatory muzyki nie wykryły, prawdopodobnie dlatego, że ich filtry nie są mocne w języku arabskim.

Nienawistna muzyka generowana przez sztuczną inteligencję może rozprzestrzenić się daleko i szeroko, jeśli pójdzie w ślady innych mediów generowanych przez sztuczną inteligencję. Przewodowy udokumentowane na początku tego roku zmanipulowany przez sztuczną inteligencję klip przedstawiający Adolfa Hitlera uzyskał ponad 15 milionów wyświetleń w serwisie X po udostępnieniu go przez wpływowego skrajnie prawicowego spisku.

Wśród innych ekspertów wyraził to organ doradczy ONZ obawy że treści rasistowskie, antysemickie, islamofobiczne i ksenofobiczne mogą zostać wzmocnione przez generatywną sztuczną inteligencję.

„Usługi generatywnej sztucznej inteligencji umożliwiają użytkownikom, którym brakuje zasobów lub umiejętności kreatywnych i technicznych, tworzenie angażujących treści i rozpowszechnianie pomysłów, które mogą konkurować o uwagę na globalnym rynku pomysłów” – powiedział Schwartz. „A podmioty zagrażające, po odkryciu twórczego potencjału oferowanego przez te nowe usługi, pracują nad ominięciem moderacji i uniknięciem wykrycia — i udało im się”.

Source link