Offline Yapay Zeka Llama.cpp

Llama.cpp, Meta’nın geliştirdiği Llama dil modellerini CPU üzerinde çalıştırmak için kullanılan hafif ve hızlı bir C++ kütüphanesidir. GPT-4 veya ChatGPT gibi büyük yapay zeka modellerini, güçlü bir GPU olmadan bile yerel olarak (offline) çalıştırmana olanak tanır.

Özellikleri:

✅ Tamamen offline çalışır – İnternet bağlantısına gerek yok.
✅ Hafif ve optimize edilmiş – Düşük donanımda bile performanslı çalışır.
✅ Komut satırından kullanılabilir – Terminal tabanlı bir AI sohbet botu yapabilirsin.
✅ Farklı model boyutlarını destekler – 7B (küçük), 13B (orta), 30B+ (büyük).

Llama.cpp, Python gerektirmez, direkt olarak terminal üzerinden çalıştırılabilir. Ancak Python bağlayıcısı ile de kullanılabilir.

GitHup Adresi : GitHub – ggml-org/llama.cpp: LLM inference in C/C++

🛠️ Kali Linux’ta Llama.cpp Kurulumu

Aşağıdaki adımları takip ederek Kali Linux’ta offline çalışan bir yapay zeka sohbet botu oluşturabilirsin.

1️⃣ Gerekli Bağımlılıkları Kur

İlk olarak, Llama.cpp’nin derlenmesi için gerekli araçları yükleyelim:

sudo apt update && sudo apt install build-essential git cmake


2️⃣ Llama.cpp’yi İndir ve Derle

Şimdi Llama.cpp deposunu klonlayıp derleyelim:

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make


Bu işlem birkaç dakika sürebilir. Başarıyla tamamlanınca, main adlı çalıştırılabilir bir dosya oluşacaktır.

3️⃣ Llama Model Dosyasını İndir

Llama.cpp tek başına çalışmaz, bir Llama modeli gerektirir. Modelleri Meta’nın resmi Llama 2 veya açık kaynaklı Mistral AI gibi yerlerden edinebilirsin.

🔹 Resmi Llama 2 Modeli (Meta’dan) almak için:
Meta’nın Llama modellerini kullanabilmek için önce Meta AI sayfasından erişim istemelisin. Ancak açık kaynak alternatifleri daha kolaydır.
Meta, Llama 2 modellerini kullanabilmen için bir erişim izni süreci uyguluyor. Yani, bu modeli doğrudan indirip kullanmak için önce Meta’nın resmi web sitesinden bir başvuru yapman gerekiyor..

Meta, Llama 2 modellerini kullanabilmen için bir erişim izni süreci uyguluyor. Yani, bu modeli doğrudan indirip kullanmak için önce Meta’nın resmi web sitesinden bir başvuru yapman gerekiyor. 📌 Meta’nın Llama 2 Modeline Erişim Nasıl Alınır? 1️⃣ Meta AI’nin resmi web sitesine git: 👉 https://ai.meta.com/resources/models-and-libraries/llama-downloads/ 2️⃣ “Get Access” (Erişim Al) butonuna tıkla. 3️⃣ Giriş yap veya kaydol: Eğer bir Meta hesabın yoksa, önce bir hesap oluşturmalısın. Alternatif olarak, GitHub veya Microsoft hesabınla da giriş yapabilirsin. 4️⃣ Başvuru formunu doldur: Modeli ne amaçla kullanacağını belirtmelisin. Akademik, ticari veya bireysel kullanım gibi seçeneklerden birini seçebilirsin. 5️⃣ Onay bekle: Genellikle birkaç saat ile birkaç gün arasında bir süre alabilir. Onay alındığında, model dosyalarını Hugging Face veya Meta’nın kendi sunucularından indirebilirsin. 💡 Alternatif: Eğer uğraşmak istemezsen, Meta’nın erişim sürecine girmeden Mistral 7B, GPT4All veya OpenHermes gibi açık kaynaklı alternatifleri doğrudan kullanabilirsin. Bu modelleri Hugging Face veya diğer topluluk kaynaklarından indirebilirsin.

🔹 Alternatif: Mistral 7B veya GPT4All Modelleri

Bu modelleri kullanmak için de Hugging Face sitesinden bir token almak gerekli bu token tamamen ücretsizdir. Hugging Face nedir Öğrenmek için tıkla

Hugging Face Üye olduktan sonra nasıl token alınır ?

Hugging Face API Anahtarı (Token) Oluşturma Adımları: Hugging Face Hesabınızla Giriş Yapın Hugging Face üzerinde bir API anahtarı (token) oluşturabilmek için bir hesabınızın olması gerekmektedir. Hugging Face hesabınız yoksa, buradan kaydolabilirsiniz. Hugging Face Hesabınıza Giriş Yapın Hugging Face web sitesine gidin ve sağ üst köşedeki “Log In” butonuna tıklayın. Hesabınıza giriş yapın. Ayarlar Sayfasına Gidin Giriş yaptıktan sonra, sağ üst köşede kullanıcı adınıza tıklayın ve açılan menüden “Settings” (Ayarlar) seçeneğine tıklayın. API Token Oluşturun Ayarlar sayfasına girdikten sonra, sol menüde “Access Tokens” (Erişim Jetonları) sekmesine tıklayın. Bu sayfada, yeni bir API token oluşturmak için “New token” butonuna tıklayın. Token Adını ve İzinleri Seçin Token için bir isim girin ve hangi izinlere sahip olmasını istediğinizi seçin. Genellikle, “Read” (Okuma) izinleriyle başlayabilirsiniz, ancak ihtiyaçlarınıza göre farklı izinler seçebilirsiniz. Token’ı Kaydedin API token’ınızı oluşturduktan sonra, “Generate” butonuna tıklayın. Hugging Face, size bir API token sağlayacaktır. Bu token’ı güvenli bir yerde sakladığınızdan emin olun, çünkü token sadece bir kez gösterilir ve sonrasında yeniden görüntülenemez.

•