NTT Research i Harvard: zespoły agentów AI działają najlepiej do 16 uczestników. Więcej oznacza spadek wydajności
Fizycy z NTT Research i neuronaukowcy z Uniwersytetu Harvarda sprawdzili w eksperymencie Flag Game, ilu agentów AI może wspólnie pracować nad zadaniem, zanim dodawanie kolejnych zacznie szkodzić. Zespoły radzą sobie najlepiej przy około 16 agentach — powyżej tej liczby zaczynają dzielić się na przeciwstawne obozy zamiast wypracowywać wspólną odpowiedź.
Badanie przeprowadzili dr Hidenori Tanaka i Elizabeth Pavlova z Physics of Artificial Intelligence (PAI) Lab przy NTT Research, we współpracy z Center for Brain Science Uniwersytetu Harvarda. Naukowcy sprawdzali, czy w pracy zespołowej agentów AI obowiązuje prosta zasada „więcej znaczy lepiej“ — i doszli do wniosku, że nie. Wydajność zbiorowa rośnie wraz z liczbą agentów tylko do około 16 uczestników zespołu; powyżej tego progu zaczyna spadać. Wyniki opisał komunikat NTT Research opublikowany 28 lipca przez Business Wire.
Na czym polegał eksperyment Flag Game?
Do testu posłużyła gra o nazwie Flag Game. Każdy agent w zespole widzi tylko fragment flagi — nikt nie ma dostępu do całego obrazu — a zadaniem grupy jest wspólne ustalenie, co przedstawia flaga jako całość. Gra kończy się sukcesem tylko wtedy, gdy przynajmniej 85 proc. agentów zgodzi się na jedną, tę samą odpowiedź. To zmusza zespół do realnej wymiany informacji i wypracowania konsensusu, a nie tylko zsumowania indywidualnych zgadywań.
Dlaczego 16 agentów to punkt zwrotny?
Mechanizm opisany przez badaczy działa w dwie strony. Przy mniej niż 16 agentach zespół często nie zbiera wystarczająco dużo fragmentarycznych dowodów, by dojść do wiarygodnego konsensusu — brakuje po prostu danych. Powyżej tej liczby pojawia się inny problem: agenci zaczynają się polaryzować i dzielić na przeciwstawne obozy, a komunikacja między nimi robi się mniej efektywna, mimo że teoretycznie mają więcej „rąk do pracy“. Krzywa wydajności ma więc kształt odwróconej litery U, a nie rosnącej linii prostej.
Co to oznacza dla firm budujących agentowe AI?
Wniosek autorów badania jest praktyczny: skuteczność „organizacji AI“ nie zależy wyłącznie od liczby uruchomionych agentów, lecz od tego, jak są zorganizowani, jak się komunikują i jak ludzie nadzorują ich współpracę. To pytanie przestaje być akademickie w momencie, gdy laboratoria AI same testują takie architektury na dużą skalę — według wcześniejszych doniesień The Information kolejna duża rodzina modeli OpenAI, robocza nazwa Astra, ma opierać się na wielu agentach współpracujących nad jednym problemem nawet przez kilka dni. Kilka dni wcześniej Google w raporcie AI & Economy ATLAS pokazał z kolei, że dziś AI automatyzuje głównie pojedyncze zadania, a nie całe stanowiska pracy — pisaliśmy o tym osobno. Badanie NTT i Harvardu dokłada do tej układanki istotny element: sama skala zespołu agentów ma swoje granice, a przekroczenie ich bez przemyślanej struktury komunikacji może obniżyć, a nie podnieść efektywność.
Komentarze