Статья

Нейросеть у себя на компьютере: что может открытая модель

Нейросеть у себя на компьютере: что может открытая модель

Кира НейманКира Нейман·7 ноября·
23
··1·
Если коротко: открытая модель на вашем компьютере умеет почти то же, что облачный чат-бот в бытовых задачах: отвечать на вопросы, писать и править текст, объяснять код, разбирать документы, а некоторые версии ещё и понимают картинки. Но чем модель больше, тем больше нужно видеопамяти или оперативной памяти, и до самых крупных облачных систем маленькая локальная модель по качеству не дотягивает. Взамен вы получаете приватность, работу без интернета и отсутствие подписки.
Я Кира Нейман, пишу про нейросети по-человечески. Разберём, что значит «открытая модель», что реально делает такая нейросеть дома и где её потолок.

Что значит «открытая модель»

Обычный чат-бот живёт на чужом сервере: вы отправляете текст, а ответ приходит из облака. Открытая модель устроена иначе: разработчик публикует файл с весами, то есть с числами, в которых «записано» то, чему сеть научилась. Этот файл можно скачать и запустить у себя.
Слово «открытая» здесь означает «веса доступны для скачивания», но не всегда «можно делать что угодно». У каждой модели своя лицензия: где-то разрешена коммерция, где-то есть ограничения. Перед использованием в работе прочитайте условия на странице модели.
В каталоге Ollama видно, как широко представлены такие семейства: Llama от Meta, Gemma от Google, Qwen от Alibaba, Mistral, Phi, DeepSeek и gpt-oss, причём почти у каждой есть несколько размеров, от моделей в доли миллиарда параметров до сотен миллиардов. Часть версий в каталоге помечена как способная принимать изображения.

Как это запускается

Для запуска нужна программа, которая умеет загружать веса и выдавать ответы. Самые известные варианты:
- Ollama. Скачиваете программу, пишете в командной строке название модели, и она загружается и запускается. Подходит для начала. - llama.cpp. Открытый движок на C/C++, на котором держатся многие локальные решения, его код доступен в репозитории проекта. Он умеет работать и на процессоре, и на видеокарте. - Программы с окном и кнопками. Они сами скачивают модель и дают интерфейс как у обычного чата.
Принцип один: файл модели загружается в память, ваш запрос превращается в токены, сеть шаг за шагом предсказывает следующий токен. Что такое токены, мы объясняли простыми словами в отдельной статье.

Что открытая модель умеет на практике

Тексты. Черновики писем, переписывание, сокращение, перевод, объяснение сложного простыми словами. Для этого достаточно моделей среднего размера.
Код. Объяснить фрагмент, найти очевидную ошибку, набросать функцию. Для сложных проектов качество зависит от размера модели.
Работа с документами. Можно подгрузить свои заметки или договор и задавать вопросы по тексту. Данные не покидают компьютер, и это главная причина, по которой люди вообще ставят локальные модели.
Картинки на входе. В каталоге Ollama у семейств Gemma, Qwen, Llama и LLaVA есть версии, помеченные как работающие с изображениями. Они умеют описать фото, прочитать надпись, ответить на вопрос о схеме. Это не значит, что результат идеален: на мелком тексте и сложных графиках ошибки случаются.
Работа без интернета. Самолёт, дача, закрытая сеть в офисе: модель отвечает без соединения.

Что от железа зависит

Модель нужно целиком, или почти целиком, разместить в памяти. Размер её файла зависит от числа параметров и от «квантизации», то есть сжатия чисел: после сжатия модель занимает меньше места ценой небольшой потери качества. Ориентиры из практических гайдов, которые к тому же расходятся между собой, такие: модель на 7–8 миллиардов параметров в популярном сжатом виде занимает порядка 5 ГБ памяти, а модель на 70 миллиардов параметров требует десятки гигабайт. К этому добавляется память под контекст, то есть под историю диалога и загруженные документы. Поэтому точные цифры ищите на странице конкретной модели и проверяйте на своём железе.
Из этого следует простая логика выбора:
1. Если у вас обычный ноутбук без мощной видеокарты, берите маленькие модели в 1–4 миллиарда параметров. Они ответят, но проще и с ошибками. 2. Если есть видеокарта с 8–12 ГБ памяти, комфортнее всего работают модели в 7–14 миллиардов параметров. 3. Для моделей на десятки миллиардов нужна видеокарта с очень большой памятью или несколько карт, либо компьютер с большим объёмом оперативной памяти и терпение к медленной генерации.
Подробнее о железе для таких задач: «Сборка ПК для ИИ в 2026 году».
Какую открытую модель запускать локально в зависимости от железа: ноутбук, видеокарта на 8–12 ГБ или мощная система

Честные минусы

Качество ниже у маленьких моделей. Они чаще ошибаются в фактах и придумывают детали. Об этом явлении мы писали в статье про галлюцинации нейросетей.
Знания устарели. У модели есть дата отсечки знаний, после неё она ничего не знает, пока вы не дадите ей текст сами. Подробнее: почему нейросеть не знает новостей.
Скорость. На слабом железе ответ приходит по слову в секунду, а то и медленнее.
Настройка. Придётся разобраться с форматами, версиями и обновлениями. Это не сложно, но это время.
Безопасность скачивания. Берите модели только с известных площадок и страниц разработчиков, проверяйте автора и лицензию.

Как оценить модель за один вечер

Не верьте таблицам рейтингов, проверяйте на своих задачах. Возьмите пять типичных запросов из вашей жизни: письмо, которое надо сократить, абзац для перевода, кусок кода, длинный документ для краткого пересказа, вопрос, на который вы сами знаете ответ. Задайте их двум-трём моделям разного размера и сравните три вещи: правильность, скорость и то, насколько удобно читать ответ.
Отдельно проверьте, как модель ведёт себя, когда не знает ответа. Хорошая модель признаёт неопределённость, плохая уверенно выдумывает. Спросите что-нибудь, на что точно нет ответа в её знаниях, например про вашу личную ситуацию, и посмотрите на реакцию. Так вы быстро поймёте, можно ли ей доверять в проверяемых делах и где всегда нужна ваша проверка.
И последнее: пробуйте несколько размеров. Часто модель в два раза меньше отвечает почти так же хорошо, но работает вдвое быстрее. Об этом мы писали в разборе «Почему маленькая нейросеть часто лучше большой».
Как за один вечер проверить локальную нейросеть на своих задачах и сравнить модели разного размера

Кому это подходит

Локальная модель подойдёт тем, кому важна приватность: юристам, врачам, журналистам с заметками, предпринимателям с внутренними документами. А ещё тем, кто хочет понять, как это устроено, и любит экспериментировать. Если же вам нужна максимальная точность, свежие данные и работа с очень длинными документами, облачный сервис по-прежнему удобнее. Разумная схема для многих: дома держать небольшую модель для приватных задач, а за сложным обращаться в облако.
Хорошая новость в том, что порог входа ниже, чем кажется. Попробуйте маленькую модель на текущем компьютере, оцените скорость и качество на своих задачах и только после этого думайте об апгрейде железа. Не покупайте видеокарту «под нейросети», пока не поймёте, что вам на самом деле нужно.

Коротко

- Открытая модель это файл с весами, который можно скачать и запустить на своём компьютере. - Она хорошо справляется с текстом, кодом, вопросами по документам, а часть моделей работает и с картинками. - Качество определяется размером модели, а размер упирается в память видеокарты или оперативную. - Плюсы: приватность, работа без интернета, нет подписки. Минусы: ошибки у малых моделей, устаревшие знания, настройка. - Начните с маленькой модели на своём компьютере, а железо докупайте по факту.
1

Пока нет комментариев

Нейросеть на своём компьютере: что умеет открытая модель