A modern MI-rendszerek egyik legnagyobb értékesítési érve az a képességük, hogy képesek alkalmazkodni a felhasználókhoz. Minden alkalommal, amikor egy MI-asszisztens elvégez neked egy feladatot, egyúttal a te stílusodhoz és preferenciáidhoz is igazodik, amelyeket kontextusként épít be a jövőbeli feladatokba. A nagyobb kontextusnak és a felhasználó jobb megértésének köszönhetően a modellnek minden egyes használattal egyre jobbnak kellene válnia – legalábbis elméletben.
Új kutatások azonban arra utalnak, hogy a modellek ezen alkalmazkodási képessége kétélű fegyver lehet. A Writer nevű MI-cég kutatói szerdán két tanulmányt is közzétettek, amelyek bemutatják, hogyan képesek a népszerű emlékezeti rendszerek rontani a modellek teljesítményét: a felhasználó által bevitt tévhitek vagy félreértések irányába rángatják el őket. Ahogy a felhasználói input egyre inkább megtölti a modell kontextusablakát (context window), a modell egyre hízelgőbbé – és a pontosság iránt egyre kevésbé elkötelezetté – válik.
„Szerettük volna pontosan meghatározni, hogy egy modell milyen gyakran figyel hasznos módon a felhasználói preferenciákra, és mikor ad inkább egy potenciálisan hibás választ” – mondta Dan Bikel, a Writer MI-részlegének vezetője, a tanulmányok társszerzője. Mint azt Bikel a TechCrunch-nak nyilatkozta: „A felhasználói preferenciák minden egyes újabb tárolásával és előhívásával egyre nagyobb kockázatot vállalunk.”
A „Station Eleven” teszt
Az egyik kísérletben a kutatók úgy tesztelték az MI-modelleket, hogy rögzítették bennük: a felhasználó kedvenc könyve a „Station Eleven”. Ezután arra kérték a modellt, hogy nevezzen meg egy bestseller disztópikus könyvet. A modellek sokkal nagyobb valószínűséggel nevezték meg a „Station Eleven”-t a válaszukban, annak ellenére, hogy a kérdés nem a felhasználó kedvenc könyvére vonatkozott. Ez a hajlam még tovább erősödött az olyan emlékezet-tömörítő eszközök használatával, mint a Mem0 és a Zep.
Ahogy a tanulmány fogalmaz: „Minden emlékezeti rendszer alapvetően küzd azzal, hogy megkülönböztesse a releváns kontextust az irreleváns horgonyoktól (anchors). Ez súlyosan aláássa a sokszínűséget és a kreativitást, valamint a torzítások olyan nem szándékolt útjait nyitja meg, amelyek korlátozhatják a rendszer hasznosságát.”
Amikor az AI inkább bólogat a hülyeségre
A második tanulmány rávilágít, hogy ugyanez a dinamika hogyan képes aktívan rontani a teljesítményt. A teszt során a felhasználó pénzügyi tévhiteket mutatott be, majd arra kérte a modellt, hogy elemezze egy vállalat teljesítményét. Minél több kontextussal rendelkezett a modell, annál rosszabbul teljesített.
„Emlékezet vagy személyre szabás nélkül az MI-modell helyesen állapítja meg, hogy a vállalat egy tőkeigényes üzletág, amely magas ügyfélelhagyási (churn) rátától szenved” – olvasható a bejegyzésben. „Ám ha ezek a funkciók be vannak kapcsolva, a modell boldogan megváltoztatja a válaszát, hogy egyetértsen a felhasználó hibájával, vagy hibás választ adjon neki a korábbi preferenciák értékelése alapján.”
Fontos kivétel: A kutatás nem vizsgálta az Anthropic legújabb Opus 4.8-as modelljét, amelyet kifejezetten arra képeztek ki, hogy aktívan fellépjen a bemutatottakhoz hasonló input-hibák ellen. A kutatók által felfedezett mintázatok azonban a különböző modellek mindegyikére igaznak bizonyultak. Ez jól mutatja, milyen kényes egyensúlyon múlik az MI kontextusa, és hogy a hasznos eszközöknek milyen nem kívánt következményei lehetnek, ha felborítják ezt az egyensúlyt. – írja a TechCrunch.
Kép forrása: x.com/@AI_in_Asia
Leave feedback about this