A kódnyelv a matéria, a művészet a mondanivaló – interjú Nagy Ágoston audiovizuális alkotóval

Nagy Ágoston, a Binaura alkotója választ ad a kérdéseinkre, valamint bemutatja és kipróbálhatóvá teszi legújabb kísérleti játékát, a Songlinest is az e-Trafó Fülbevaló-sorozatában. Az április 20-án este online streamelt lecture performansz élőben is kommentelhető.

Hogy született meg a Songlines lecture ötlete?

A Songlines az elmúlt időszakban készült munkáink ötvözete. Az MIT, azaz a Massachusetts Institute of Technology The Art and Science of Contemporary Computation szimpóziumra készítettük, ahol a művészetek és a mesterséges intelligencia kapcsolatát kutatják. A Binaurával kép-hang átjárásokat alkotunk meg szoftveres és fizikai installációk formájában, készült többféle tableten játszható vizuális hangszer, amiket kiadtunk az App Store-on. Ezt a műfajt az elmúlt években sokat kutattuk – ebből a témából írtam a doktorimat, és azóta több helyen, több kutatásban is részt vettem. A vizualizáció, a hanggá alakítás, a szonifikáció, a játékok témaköre tartozik ide.

Honnan jött a Songlines név? 

A Songlines dallamvonalakat jelent. A kirajzolt vonalak mentén dallamvonalak alakulnak ki, ami vizuálissá teszi magát a zenét. Emellett a „songlines” kifejezés egy kulturális jelenségre is utal: Ausztráliában tudásmegosztásra használják ezt a technikát több száz éve. Nem írással, hanem dallamok és a táj összekapcsolásával adnak át történeteket egymásnak az emberek. Ahogy a gép megtanul a táj által navigálni, úgy osztják meg egymással az emberek a tudást. A mesterséges intelligencia és a hozzá kapcsolódó fogalmak kissé technokratának hangozhatnak, és pont ezt szeretnénk ellensúlyozni azzal, hogy megmutatjuk, ilyen módszereket már régen is használtak az ősi kínaiak vagy az aboriginálok. Ezek a spekulatív módszerek mindig is jelen voltak az emberiség történetében.

Akkor van ebben egyfajta hagyományőrző szándék is?

Igen, talán médiaarcheológiának nevezném. Ezek a mediális eszközök gyakran kapcsolódnak a navigáció témaköréhez, és megtalálhatók a történelem minden szakaszában, például a térképekhez alkalmazott iránytűknél vagy a telefonokba integrált giroszkópoknál. Minden korban próbálták ezt a világképet valamelyest hozzáférhetővé tenni, mi ennek kutatjuk az eredetét és a jövőbeni lehetőségeit.

Hogy kell elképzelni ezt a játékot?

A Songlines egy egyszerű, minimál játék egy online felületen. Egy kiállítás részeként készült el, ahol tizennégy további művész munkája lesz kitéve, ezek mindegyike látható és kipróbálható a böngészőben. A közös metszéspont a generatív művészet, ami annyit tesz, hogy nem várt formák és összefüggések jönnek létre valós időben. Van, aki nyelvi modellekkel foglalkozik, én a hangokat és hangok szervezését fogtam meg a játékon keresztül. Ebben a játékban azt lehet megnézni, ahogyan egy algoritmus megtanul navigálni a környezetében. A játékosok – akiket ágenseknek hívunk – egy egyszerű térben mozognak, őket lehet segíteni abban, hogy tanuljanak, mozogjanak. Ha etetjük őket, eljutnak A-ból B-be, így egy különleges hangi generatív kompozíció jön létre, és van hozzá egy sajátságos, minimalista grafikai világ is.

Mi az, amit a mesterséges intelligencia és mi az, amit a játékos irányít?

Van egy előre megtanított, neurális háló, amin keresztül a külvilágukat érzékelik a lények. Ezt egy felületen keresztül tudjuk hangolni, így kívülről, harmadik félként nézünk rá a játékra. Kicsit hasonló ahhoz, mint ahogy a Sims működik: a játékmenet történik, de kívülről beleszólhatunk különböző módszerekkel. A mesterséges intelligencia pedig a sakkjátékokhoz hasonlítható, amelyek megtanulnak a nulláról játszani, és képesek felvenni a versenyt emberekkel. Ott is a megerősítéses tanulás elve működik – a rendszer jó és rossz visszajelzéseket kap, így fejlődik.

Egy ilyen játék megalkotása mennyiben igényel programozói és mennyiben művészeti gondolkodásmódot?

Szerintem a mi szcénánkban fontos, hogy tudjunk natív módon bánni az eszközökkel. A programozás és a kódnyelv elengedhetetlen, az maga a matéria – akárcsak az olajfesték egy festménynél vagy a koreográfia egy táncelőadásnál. A művészet és az esztétikai vonatkozás pedig behatárolja a megfogalmazást és a mondandót. Mindkettő egyaránt hangsúlyos ebben a szcénában.

Te zenét és programozást is tanultál?

Mindig is lavíroztam a zenei és a vizuális szakok között, többször is váltottam, végül a MOME videós szakán végeztem. Nem tanultam programozni, útközben, autodidakta módon jött ez a tudás. Sokat dolgozunk együtt mérnökökkel és programozókkal, de én inkább az alkotói, kreatív oldalról szemlélem ezeket a munkákat.

Mit gondolsz, mit vetíthet előre egy ilyen projekt? Hova nőheti ki magát?

Ha a bennünket körülvevő kulturális teret nézzük, sok performanszban, kiállításon, szimpóziumon találkozhatunk már technológiai megoldásokkal. A dinamikus média rengeteg területen van jelen a reklámoktól kezdve a banki ügyintézésen át a játékokig. Jelenleg például azt kutatjuk a MOME-n, hogyan hatnak egymásra ökológiai rendszerek, milyen hatással vannak a zöld környezetre a mesterséges tanulórendszerek. Rengeteg területen van felhasználási módja az algoritmikus módszereknek.

A technológia túlzott térnyerése mindig ambivalens kérdés. Szerinted hozzáad a művészethez vagy inkább veszélyezteti azt?

Nekem is ambivalensek az érzéseim ezzel kapcsolatban. Olyan frekventált és kvantumszerű világban élünk, ahol semmi sem fekete-fehér, hiszen sokféle vonatkozása van minden kérdésnek. Az igazság utáni politikai világban nehéz dualisztikus módszerekkel állást foglalni, és ugyanez igaz a mesterséges intelligenciára is. Nem feltétlenül egy központi agy, hanem elosztott rendszerek között intelligens együttműködések szemtanúi vagyunk. Szerintem ez kiegészíti a kreativitást, új lehetőséget ad ahhoz, hogy feldolgozzuk azt a rengeteg túlszaturált adatmennyiséget, ami körbevesz minket. Nem gondolnám, hogy ez veszély, inkább csak egy változás. A mediális művészetektől mindig is tartottak az emberek, a művészet technológiai fejlődése sokszor szkeptikus felütéseket vont maga után.

Én úgy látom, hogy a kollaboratív alkotás, az emberi kogníció kiterjesztése történik ezekkel az eszközökkel. Ez egy érdekes dolog, amit nagyon izgalmas kutatni. A veszélyt inkább abban látom, hogy nagyon nagy döntést kapnak ezek a rendszerek, és nem biztos, hogy fel tudjuk mérni, mivel járhat, ha hibás adatbázissal tanítunk be egy algoritmust, és emiatt rosszul dönt egy önvezető autó a zebránál. Nehéz előre megtippelni azokat a szcenáriókat, amikkel találkozhat egy rendszer.

Mivel készülsz a trafós eseményre?

A résztvevők kipróbálhatják a Songlinest az online felületen – ez már publikusan elérhető –, és egy korábbi interaktív játéksorozatot, ami a Songlines előképe. A prezentációmban és az azt követő élő beszélgetésen arról fogok mesélni, honnan jönnek ezek a fejlesztések és milyen kérdéseket járnak körbe, hiszen ezek mind egy kutatási folyamat részei.

Az interjú eredetileg a Trafó blogján jelent meg.