Llama.cpp, Meta'nın geliştirdiği Llama dil modellerini CPU üzerinde çalıştırmak için kullanılan hafif ve hızlı bir C++ kütüphanesidir. GPT-4 veya ChatGPT gibi büyük yapay zeka modellerini, güçlü bir GPU olmadan bile yerel olarak (offline) çalıştırmana olanak tanır.
Özellikleri:
✅ Tamamen offline çalışır – İnternet bağlantısına gerek yok.
✅ Hafif ve optimize edilmiş – Düşük donanımda bile performanslı çalışır.
✅ Komut satırından kullanılabilir – Terminal tabanlı bir AI sohbet botu yapabilirsin.
✅ Farklı model boyutlarını destekler – 7B (küçük), 13B (orta), 30B+ (büyük).
Llama.cpp, Python gerektirmez, direkt olarak terminal üzerinden çalıştırılabilir. Ancak Python bağlayıcısı ile de kullanılabilir.
GitHup Adresi : GitHub - ggml-org/llama.cpp: LLM inference in C/C++
Öğrendikce Devamı Gelecek !
Makale yazısı : https://www.bilgiveteknoloji.com/2025/03/15/offline-yapay-zeka-llama-cpp/_