Legfontosabb elvitelek:
- Használhat olyan eszközöket, mint például az Ollama, hogy a nyílt forráskódú mesterséges intelligencia modellek képességeit közvetlenül az eszközén aknázza ki.
- Ha ezeket az AI-modelleket helyileg futtatja, akkor megkerüli a felhőalapúságot, és olyan előnyökhöz juthat, mint a magánélet és a gyorsabb következtetés.
AI modellek helyi futtatása Windows rendszeren az Ollama segítségével
Az AI modelleket, például a ChatGPT-t, helyileg futtathatja számítógépén internetkapcsolat nélkül. Számos szolgáltatás segít ebben a folyamatban. Azonban az Ollama segítségével bemutatjuk.
Töltse le és telepítse az Ollamát
1. lépés: Keresse meg a Ollama honlapja és kattintson a Letöltés gombra.
2. lépés: Válassza ki az operációs rendszert, és kattintson a Letöltés gombra.
3. lépés: Kattintson duplán a letöltött fájlra, majd kattintson a Telepítés gombra, majd kövesse a telepítési utasításokat.
A telepítés után egy felugró ablaknak kell megjelennie, amely szerint az Ollama fut.
4. lépés: Indítsa el a terminált. Windows rendszerben nyomja meg a Windows + R billentyűket, írja be a cmd-t, és nyomja meg az Enter billentyűt.
5. lépés: Töltse le első AI-modelljét az alábbi paranccsal. Győződjön meg róla, hogy a modellt egy tényleges modellre cserélte az Ollama-n; ezek lehetnek Llama 3, Phi 3, Mistral, Gemma stb. Légy türelmes; ez eltarthat egy ideig.
Ollama pull model
Hogyan kommunikáljunk letöltött modellekkel az Ollamán
Most, hogy telepítette az AI-modellt, kommunikálhat vele. Ez hasonló a Gemini vagy ChatGPT AI-kkal való kommunikációhoz a webes felületekről. Kövesse az alábbi lépéseket.
1. lépés: Indítsa el a Terminált a számítógépén.
2. lépés: Írja be az alábbi parancsot. A letöltött modell neve helyett a llama3 szót helyettesítheti a parancsban.
Ollama run llama3
3. lépés: Végül írja be a promptot, és nyomja meg az Enter billentyűt, ahogyan azt a ChatGPT vagy a Gemini esetében tenné. Ezután képesnek kell lennie kölcsönhatásba lépni az AI-val.
GYIK
Futtatható helyileg a generatív AI?
Igen, megteheti, és jelenleg a Stable Diffusion a legmegbízhatóbb eszköz. Olyan eszközök, mint Stabil diffúziós WebUI és InvokeAI hozzáférést biztosít a Stable Diffusion szolgáltatáshoz a helyi képgeneráláshoz.