كنت اشاهد ندوة على اليوتيوب من تقديم الرائع Simon Willison عن اداة تسمى Language models on the command-line وهي اداة عبر سطر الاوامر تساعدك في تشغيل النماذج اللغوية الكبيرة عبر الTerminal.
وتطرق في حديثه لتطبيقين على سطح المكتب يساعدك في تشغيل النماذج اللغوية الكبيرة امثال ChatGPT على الحاسوب الخاص بك احدهما هو GPT4ALL و الآخر هو ollama
في البداية سوف ل GPT4ALL كونه تطبيق جميل وسهل الاستخدام
أولا، حمّل التطبيق من هنا واختر النسخة المناسبة لنظام التشغيل الخاص بك. (ويندوز، ماكنتوش، لينكس)
هنا استعراض سريع لسرعة النموذج على حاسوب ماكنتوش M1
بعد تحميل البرنامج، تختار النموذج المراد تحميله، على سبيل المثال اخترت LLama 7B وكانت النتائج الاولية ممتازة جدًا. جربته في اعادة صياغة ايميل، ولاقتراح طريقة لعمل برنامج.
بخصوص استخدامه مع اللغة العربية ، اختبار بسيط لم يعطي نتائج جيدة، ولكن لا استطيع الحكم تمامًا.
الميزة في تشغيل النموذج اللغوي بدون الحاجة للاتصال في الانترنت هو امر مذهل والاستخدامات كثيرة من اهمها التعامل مع معلومات ذات خصوصية التي لاتستطيع مشاركتها مع نموذج متصل في الانترنت.
اقتباسًا من موقع GPT4ALL لاستخدامات مختلفة:
الخيار الآخر هو استخدم Ollama مع OpenWebUI حيث يقدم لك واجهة ويب مشابهة لChatGPT ويسمح لك برفع المستندات والصور التي يمكنك استخدامها في اسئلتك.
فالطريقة كالآتي، مبدئيًا تقوم بتحميل برنامج ollama من خلال هذا الرابط
لكن قبل ذلك تأكد من وجود Docker desktop ويمكنك تحميله من خلال هذا الرابط
ومن ثم تقوم بتحميل واجهة OpenWebUI من خلال هذا الرابط
عندما تستوفي جميع هذه الشروط، فقط قم بإدخال الأمر التالي:
docker run -d -p 3000:8080 –add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data –name open-webui –restart always ghcr.io/open-webui/open-webui:main
ومن توجه الى متصفحك الشخصي وضع هذا الرابط
localhost:3000
تحتاج ان تنشئ حساب لأول مرة، ومن ثم سوف تجد هذه الواجهة
قد تختلف الخطوات التي تمر فيها لانني قمت بتركيب كل هذا البرامج في وقت مختلف عن الآخر فربما الخطوات لاتكون بنفس التسلسل.
التدوينة القادمة سوف اقوم بتغطية استخدام النماذج اللغوية من خلال موجه الاوامر عن طريق هذه الاداة.