LM Studio – это удобная десктопная приложения, которая позволяет вам скачивать, устанавливать и запускать крупные языковые модели (LLMs) локально на вашем компьютере с Linux.
Используя LM Studio, вы можете избавиться от ограничений и озабоченности по поводу конфиденциальности, связанных с облачными AI-моделями, в то же время наслаждаясь знакомым интерфейсом, похожим на ChatGPT.
В этой статье мы вас проведем через процесс установки LM Studio на Linux в формате AppImage и предоставим пример запуска локально определенной LLM модели.
Системные требования
Минимальные требования к оборудованию и программному обеспечению для запуска LM Studio под Linux:
- Отдельная видеокарта NVIDIA или AMD с至少8GB VRAM.
- Процессор с поддержкой AVX2 и как минимум 16GB RAM.
Установка LM Studio в Linux
Для начала вам нужно скачать последнюю LM Studio AppImage с официального сайта или репозитория.
Когда AppImage загружен, вам нужно сделать его исполняемым и извлечь содержимое AppImage, который сам распакуется в каталог с именем squashfs-root.
chmod u+x LM_Studio-*.AppImage ./LM_Studio-*.AppImage --appimage-extract
Теперь перейдите в распакованный каталог squashfs-root и установите соответствующие разрешения для файла chrome-sandbox, который является помощничким двоичным файлом, который нужен для безопасного запуска приложения.
cd squashfs-root sudo chown root:root chrome-sandbox sudo chmod 4755 chrome-sandbox
Теперь вы можете запускать приложение LM Studio прямо из выделенных файлов.
./lm-studio
Это все! LM Studio теперь установлен на вашем Linux-системе, и вы можете начать исследование и запуск локальных ЛЛМ.
Запуск языковой модели локально в Linux
После успешной установки и запуска LM Studio вы можете использовать его, чтобы запускать локальные языковые модели.
Например, для запуска предварительно обученной языковой модели под названием GPT-3 нажмите на поисковую строку вверху и напечатайте “GPT-3” и загрузите ее.
После завершения загрузки нажмите на вкладку “Чат” в левом pane. В вкладке “Чат” нажмите на下拉 меню вверху и выберите загруженную GPT-3 модель.
Теперь вы можете начать общаться с моделью GPT-3 путем ввода сообщений в поле ввода внизу окна чата.
Модель GPT-3 обрабатывает ваши сообщения и поставляет ответы на основе ее обучения. Помните, что время ожидания ответа может варьироваться в зависимости от hardware вашей системы и размера загруженной модели.
Заключение
Установив LM Studio на вашей Linux-системе с использованием формата AppImage, вы можете легко загружать, устанавливать и запускать крупные языковые модели локально, не завися от облачных услуг.
Это赋予您在数据和隐私方面更大的控制权，同时让您能够享受先进AI模型的优势。请始终尊重知识产权，并遵守您下载和使用LLMs时LM Studio的条款。