LegoGPT: Az AI szöveges utasításokat alakít át Lego alkotásokká

A Carnegie Mellon Egyetem kutatói bemutatták a LegoGPT-t, egy új mesterséges intelligencia rendszert, amely írott leírások alapján valós világbeli Lego alkotásokat épít.

Ez az első ilyen jellegű mesterséges intelligencia, amely nem csupán szöveges utasítást követ, mint például egy “karcsú, hosszúkás tartály”, de arra is ügyel, hogy az eredményül kapott szerkezet fizikailag stabil legyen és téglánként felépíthető.

“Ennek eléréséhez nagy volumenű, fizikailag stabil LEGO tervek adatbázisát hoztuk létre, a hozzájuk tartozó feliratokkal együtt”, magyarázta a csapat kutatási tanulmányukban.

A LegoGPT-t több mint 47 000 stabil Lego modell felhasználásával képezték, amelyekhez részletes feliratokat generált a GPT-4o. Ezeket 3D formákból építették fel Lego szerkezetekké, majd a valós világban való stabilitást fizikai szimulációk segítségével tesztelték.

Minden szerkezetet 24 szögből is leírtak, hogy az AI megérthesse, milyennek kell kinéznie a különböző terveknek szavakban.

A csapat egy speciális technikát alkalmazott, amit „fizika-tudatos visszatekerésnek” neveznek, ahol a tervezés instabil részeit eltávolítják és újraépítik, amíg az egész szerkezet össze nem áll. Ez a módszer a sikeres építések arányát 24%-ról 98,8%-ra növelte.

Az AI modell, amely a Meta LLaMA-3.2-Instruct alapján készült, előrejelzi, melyik Lego kockát kell a következőnek lerakni – hasonlóan ahhoz, ahogy a ChatGPT a következő szót jósolja meg. Minden javasolt kockát ellenőriznek a helyének, méretének és potenciális ütközéseknek megfelelően, mielőtt hozzáadnák a modellhez.

A LegoGPT alkotásait emberek és robotok is megépíthetik. „Kísérleteink azt mutatják, hogy a LegoGPT stabil, változatos és esztétikailag kellemes Lego terveket hoz létre, amelyek szorosan illeszkednek a bemeneti szöveges felhívásokhoz” – írták a kutatók.

Egyelőre a LegoGPT csupán nyolc alapvető épitőelemet használ, és egy 20×20×20-as térben dolgozik, de a csapat tervei között szerepel annak bővítése.

Teljes adatbázisuk, kódjuk és modelljük ingyen elérhető, így mások is építhetnek erre a kutatásra. Vagy egyszerűen csak játszhatnak a bemutatójukkal.