Архив метки: ollama

Shorts, Системное администрирование

Ollama 0.30+ и CUDA на Debian 13

PUB: / EDIT: Оставить комментарий

Только что игрался с апдейтами ollama на своем ИИ-хосте — выяснилось, что свежие версии перестали использовать CUDA и работают только на CPU.

Если заглянуть в journalctl:

msg="NVIDIA driver too old" device="NVIDIA GeForce GTX 1080 Ti" compute=6.1 driver=550 required_driver="570 or newer"

И, собственно, да, в репозитории Debian stable есть только 550-й драйвер. В бэкпортах чего-то более нового не вижу. Так что или ставить драйвер вручную, или пока что сидеть на старой ollama. Последняя «рабочая» версия — 0.24. Поставить определенную версию можно так:

curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.24.0 sh

instant messaging, Блог, Компьютерное, Системное администрирование

Debian 13, Ollama + OpenwebUI и Fluux Agent: заводим персональный AI в Jabber

PUB: / EDIT: 2 комментария

Первый раз щупаю эту тему.

В целом, не так давно на слуху появился jabber-клиент Fluux Messenger — примечателен тем, что от Process One, разработчиков одного из самых популярных jabber-серверов. Как минимум, находится среди их репозиториев.

А еще там появился Fluux Agent. Роадмап многообещающий: на сейчас он уже может выступать интерфейсом к Ollama или работать с «облачными» сервисами; может работать 1 на 1 или через конференцию; выступать в качестве бота или компонента сервера. А в будущем планируется возможность сделать общение между такими ботами — федеративную AI-сеть.

Идеей заинтересовался; возможностью попробовать запустить локального AI-агента и посмотреть, на что оно вообще годно — тоже. Подсобрал по разным уголкам дома железо и решил развернуть все на нем. В ход пошла старая основа от NAS’а — Athlon 740 и 32 ГБ оперативки с той же материнкой, на которой все было установлено. А в качестве GPU-основы для вычислений — пара видеокарт от майнинг-ригов. Самыми мощными у меня в хозяйстве были Nvidia 1080TI с 11 ГБ памяти, пару из них и задействовал.

Читать далее Debian 13, Ollama + OpenwebUI и Fluux Agent: заводим персональный AI в Jabber →