Muzyk wchodzi do wirtualnego roju agentów AI

Muzyk zakłada gogle rozszerzonej rzeczywistości i widzi w pomieszczeniu grupę unoszących się wirtualnych obiektów. Każdy z nich reprezentuje autonomicznego agenta generującego dźwięk. Przesunięcie jednego elementu, zbliżenie kilku obiektów lub rozproszenie całej grupy zmienia zachowanie systemu i wpływa na powstającą muzykę.

.Z zewnątrz wykonawca wygląda tak, jakby poruszał rękami w pustym pomieszczeniu. W rzeczywistości prowadzi improwizację z cyfrowym zespołem, którego zachowania nie da się całkowicie przewidzieć.

System rozwijany przez Pedro Pablo Lucasa Bravo z RITMO Centre for Interdisciplinary Studies in Rhythm, Time and Motion na University of Oslo nosi nazwę Human-Swarm Interactive Music System. System łączy: muzykę komputerową, rozszerzoną rzeczywistość, systemy wieloagentowe i koncepcję inteligencji roju.

Proste zasady tworzą złożoną muzykę

.Inspiracją są zachowania obserwowane w naturze. Pojedyncza mrówka, ryba lub ptak wykonuje stosunkowo proste działania. Duża grupa potrafi jednak bez centralnego dowódcy stworzyć złożoną strukturę, odnaleźć drogę, omijać przeszkody lub reagować na zmianę otoczenia.

Podobnie działa cyfrowy rój. Poszczególni agenci mogą przestrzegać tych samych prostych zasad: zbliżać się do sąsiadów, utrzymywać określoną odległość, synchronizować rytm albo reagować na ruch człowieka. Żaden z nich nie zna całej kompozycji. Złożony rezultat powstaje dzięki ich lokalnym interakcjom.

W zależności od projektu ruch wirtualnych obiektów może sterować wysokością dźwięku, rytmem, barwą, głośnością lub położeniem dźwięku w przestrzeni. Gdy agenci tworzą skupisko, muzyka może gęstnieć. Kiedy muzyk ich rozprasza, struktura może stawać się luźniejsza i bardziej fragmentaryczna.

Nie jest to klasyczny program, w którym naciśnięcie określonego przycisku zawsze przynosi dokładnie ten sam efekt. Człowiek wpływa na system, ale nie kontroluje osobno każdego dźwięku.

Rój nie uczy się na cudzych nagraniach

.Popularne generatory muzyki, takie jak Suno, tworzą gotowe utwory na podstawie instrukcji tekstowych lub dźwiękowych. Wymaga to trenowania modeli na wielkich zbiorach muzyki, dzięki którym system poznaje typowe zależności między głosem, instrumentami, harmonią i strukturą piosenki.

Inteligencja roju działa inaczej. Nie musi poznawać milionów nagrań ani rekonstruować stylu wybranego wykonawcy. Jej zachowanie wynika z zestawu prostych reguł i relacji między agentami.

System nie otrzymuje więc polecenia: „stwórz trzyminutową piosenkę w określonym gatunku”. Zamiast tego uczestniczy w rozwijającej się w czasie rzeczywistym sytuacji muzycznej.

System oparty na regułach roju nie musi polegać na wielkim zbiorze cudzych utworów, choć dźwięki, instrumenty i oprogramowanie użyte w konkretnym projekcie nadal mogą podlegać ochronie prawnej.

Człowiek nie jest jedynym dyrygentem

.Najważniejszym problemem badawczym pozostaje równowaga między kontrolą, a autonomią systemu. Gdy człowiek kontroluje wszystkie parametry, rój staje się tylko skomplikowanym instrumentem. Jeśli natomiast agenci otrzymają zbyt dużą swobodę, wykonawca może stracić możliwość kształtowania muzyki.

Pedro Pablo Lucas Bravo szuka punktu pośredniego: muzyk powinien rozumieć, jak wpływać na system, ale jego działania nie powinny prowadzić do całkowicie przewidywalnych rezultatów. Dzięki temu AI może wnosić do improwizacji własne zachowanie i zaskakiwać wykonawcę.

Nie oznacza to, że system ma intencję artystyczną porównywalną z intencją człowieka. Agenci realizują zaprogramowane zasady. Ich autonomia polega na tym, że szczegółowego przebiegu interakcji nie wyznacza z góry ani programista, ani muzyk.

Twórczość rodzi się więc na styku ludzkiego zamiaru i obliczeniowej nieprzewidywalności.

Gdy jeden instrument milknie, rój gra dalej

.Jedną z zalet systemów rojowych jest odporność na awarie. Nie istnieje w nich jeden centralny agent odpowiedzialny za całość. Jeżeli pojedynczy wirtualny instrument zostanie usunięty lub przestanie działać, pozostali uczestnicy nadal reagują na siebie i podtrzymują strukturę.

Nie oznacza to, że każda awaria jest obojętna. Utrata jednego agenta może zmienić rytm, harmonię albo barwę. System nie musi jednak całkowicie przerywać działania.

Podobne cechy wykorzystuje się w robotyce, animacji komputerowej i systemach rozproszonych. W muzyce pozwalają one stworzyć cyfrowy zespół, który nie wykonuje jednej zapisanej partytury, lecz nieustannie reorganizuje własne zachowanie.

Rozszerzona rzeczywistość zmienia sposób grania

.Prototyp wykorzystuje środowisko rozszerzonej rzeczywistości, dzięki któremu muzyk widzi agentów jako obiekty umieszczone w fizycznej przestrzeni. Może oddziaływać na nie ruchami dłoni, zamiast korzystać wyłącznie z klawiatury, kontrolera lub tradycyjnego interfejsu komputera.

Platforma HS-ims została zbudowana w silniku Unity i może komunikować się z zewnętrznym oprogramowaniem muzycznym za pomocą protokołu OSC. Jej zadaniem jest nie tylko wizualizacja agentów, ale również rejestrowanie danych o ich ruchu i badanie sposobów interakcji człowieka z rojem.

Badacze łączą w projekcie obraz, dźwięk przestrzenny, ruch ciała i informacje o położeniu użytkownika. Wykonawca nie tylko słyszy rezultat, lecz także obserwuje i fizycznie kształtuje zachowanie cyfrowego zespołu.

Na obecnym etapie jest to platforma badawcza, a nie gotowy instrument przeznaczony do masowej sprzedaży.

AI nie musi zastępować artysty

.Debata o sztucznej inteligencji w kulturze często koncentruje się na automatycznym tworzeniu gotowych piosenek, obrazów i tekstów. System rozwijany w Oslo przedstawia inną wizję: AI jako partnera uczestniczącego w procesie, a nie maszynę dostarczającą skończony produkt po wpisaniu polecenia.

Taki model może znaleźć zastosowanie w improwizacji, komponowaniu, instalacjach artystycznych i występach na żywo. Pozwala też badać, jak człowiek reaguje na system, który posiada ograniczoną autonomię i nie zawsze wykonuje dokładnie to, czego oczekuje użytkownik.

Najciekawsze pytanie nie brzmi więc, czy rój agentów potrafi sam stworzyć dobrą muzykę. Dotyczy tego, czy człowiek potrafi potraktować nieprzewidywalność systemu jako materiał artystyczny.

Muzyk nie steruje tu maszyną tak jak syntezatorem. Nie oddaje jej również całej odpowiedzialności za utwór. Wchodzi z nią w dialog, którego rezultat powstaje dopiero podczas wspólnego działania.

Szymon Ślubowski