Mi az a Pixtral – Az új multimodális nagynyelvi modell

A Mistral, egy francia mesterséges intelligencia (AI) startup megerősítette pozícióját az AI-ipar jelentős bomlasztójaként. És ezt egy modellnek köszönhetjük – a Pixtral Large-nek. Itt van minden, amit tudnia kell róla.

Mi az a Pixtral?

A Pixtral egy kifinomult multimodális nyelvi modell. A Pixtral család eddig két modellből áll – Pixtral 12B és Pixtral Large. Mivel a Pixtral Large gyakorlatilag az elődje – a Pixtral 12B – erősebb változata, ez az útmutató elsősorban annak képességeire összpontosít.

Ez a 124B-s paraméterű Pixtral modell két részből áll – egy szövegdekódolóból és egy látásdekódolóból. Az előbbi az írott nyelv megértésére összpontosít. Ez utóbbi segít a modellnek a képek megértésében. Ez a kombináció egyedülálló képességet ad a Pixtral Large-nek, hogy egyszerre dolgozzon szöveggel és képekkel, ami a „multimodális” modell hízelgő címét érdemli.

A Pixtral Large hatalmas mennyiségű információt képes kezelni – akár 30 nagy felbontású képet vagy egy 300 oldalas könyvnek megfelelő képet egyetlen mozdulattal. Emiatt teljesítményében hasonló más vezető AI-modellekhez, mint például az OpenAI modelljeihez.

Melyek a Pixtral Large főbb jellemzői?

Ennek a Pixtral modellnek néhány fő jellemzője nyilvánvaló a leírásából. Mégis, bontsuk le ezeket a funkciókat, és ássunk egy kicsit mélyebbre.

Kiterjedt kontextusablak összetett feladatokhoz

A kontextusablak arra a szövegmennyiségre utal, amelyet a modell egyszerre képes „emlékezni” vagy feldolgozni. Ebben a tekintetben a Pixtral Large hű marad nevéhez. Nagy, 128 000 tokenből álló kontextusablakkal rendelkezik. Ez azt jelenti, hogy nagy adatdarabokat tud feldolgozni anélkül, hogy azokat kisebb részekre osztaná fel.

Rugalmas látásfeldolgozás a különböző felbontásokban

Mint említettük, a Pixtral Large látáskódolóval van felszerelve. Nos, ez a kódoló képes különböző felbontású képeket feldolgozni. Ez a rugalmasság lehetővé teszi, hogy a modell alkalmazkodjon a különböző típusú feladatokhoz. Gyors képfeldolgozás vagy nagy pontosságú elemzés… ez mindegy ennél a Pixtral modellnél.

Szabványos teljesítmény MM-MT-Bench segítségével

A Mistral kifejlesztett egy nyílt forráskódú benchmarkot, az MM-MT-Bench nevet. Ennek az eszköznek az a célja, hogy következetes értékelési szabványokat biztosítson az olyan multimodális modellekhez, mint a Pixtral Large. Ennek eredményeként a kutatók felmérhetik, hogy a Pixtral Large milyen jól teljesít más modellekhez képest.

Speciális multimodális érvelés

A Pixtral Large olyan adathalmazokra lett kiképezve, amelyek szöveget és képet egyaránt kombinálnak. Képzett – és finomhangolt. Ez lehetővé teszi, hogy olyan összetett utasításokat kövessen, amelyek mindkét típusú adatot egyszerre érintik. Például egy ügyfélszolgálati chatbot egyszerre elemezhet egy sérült termék képét és az ügyfél üzenetét, amely elmagyarázza a problémát. A Pixtral Large lehetővé teszi a probléma alapos megértését és a kontextus fenntartását több cserén keresztül. Arról nem is beszélve, hogy a végén pontos megoldást adunk.

Skálázhatóság az alkalmazások között

A Pixtral Large segítségével gyakorlatilag bármilyen feladattal megbirkózhat. Csinálhat valami apró és konkrét dolgot, például elemezhet egy szerződést. Vagy a Pixtral Large segíthet multimodális keresőmotor felépítésében az e-kereskedelemhez. Egyszerűen olyan sokoldalú. Ez a sokoldalúság teszi ezt a Pixtral modellt ideálissá az iparágak és felhasználási területek széles skálájához. Gyakori valós példák a következők:

• Dokumentumelemzés és -kezelés a jogi és pénzügyi szektorban
• Adatvizualizáció és -elemzés a kutatásban és az adattudományban
• Ügyfélszolgálat az e-kereskedelem és a technológia területén

Hogyan viszonyul a Pixtral Large a főbb multimodális versenytársakhoz?

A Mistral viszonylag új játékos lehet az AI-térben. Az AI-óriásokkal azonban már felveheti a versenyt. Nem csak ez, de felülmúlhatja őket.

A Pixtral Large folytatja ezt a trendet. Ez a Pixtral modell kiválóan teljesített a benchmark teszteken a legjobb multimodális modellekkel szemben. Íme csak néhány kiemelés.

• A vizuális adatokkal végzett matematikai érvelésben felülmúlta a Claude-3.5-öt, a Sonnet-et és a Llama-3.2-t
• Meghaladta a GPT-4o-t és a Gemini-1.5 Pro-t a diagramok, táblázatok és szkennelt dokumentumok megértésében és érvelésében
• Meghaladta a Claude-3.5-öt, a Sonnet-et, a Gemini-1.5 Pro-t és a GPT-4o-t a valós multimodális alkalmazásokban szöveggel és képpel