На что способны локальные моделиWhat local models can actually handle
Сергей ПакSergei Pak · проектирует AI-операционные системы
Вопрос, с которого всё началось: можно ли вести реальную операционку бизнеса – почту, банк, договоры – на модели, которая крутится на вашем железе, и не отправлять данные наружу? И если да, где проходит граница: что локальная модель тянет сама, а что всё ещё требует большой облачной.
Год на живой системе, которая ведёт данные пяти компаний, дал замеры. Вот что из них видно.
Что локальная модель закрывает сама
92% запросов уходит локальной модели на обычном железе и не покидает машину. Это ровно та рутина, из которой состоит операционка: триаж входящих писем, классификация, выжимки из длинных переписок, сверка строк выписки с учётом. Для этого хватает модели того уровня, что ставится на рабочий ноутбук – год назад тянула заметно меньше.
Где всё ещё нужен облако
Оставшиеся 8% – задачи, где маленькой модели не хватает: плотный юридический документ, длинная цепочка рассуждений, редкая формулировка. Тогда подключается большая облачная модель. Наружу при этом уходит только урезанный фрагмент под одну задачу, через единственный шлюз, и каждый вызов пишется в лог: кто, какая модель, сколько токенов.
Пропорцию видно в счёте: система тратит на облако около $2,4 в неделю. Уходи каждое письмо и каждая выписка в чужой API, счёт был бы в сотни раз больше. Как устроена эта экономика – в отдельном посте.
Что из этого следует для данных
Раз бóльшая часть работы не покидает железо, вопрос «где живут данные» решается арифметикой: основной поток просто никуда не едет. Система ставится подписанным пакетом на ваш сервер или ноутбук, файлы и выписки остаются у вас. У первого клиента всё встало на ноутбук руководителя за день, вход – Telegram-бот, и ни один файл не уехал.
Сравните с привычным способом попробовать ИИ: договор вставили в ChatGPT – и копия уже там, а где она теперь, вы не решаете. Локальная модель не видит ничего за пределами вашей машины. Тихого канала «в фон» тоже нет: любой прямой вызов мимо шлюза ловится ещё на коммите, а лог раз в неделю поднимается списком – видно, что именно ушло.
Граница двигается в сторону локального
Открытые модели прибавляют быстрее, чем дорожает облако. Доля, которую можно держать на своём железе, растёт вместе с ними, а доля, ради которой приходится выходить наружу, тает. Это и есть ответ на вопрос про данные: чем больше тянет локальная модель, тем меньше поводов вообще что-то отправлять.
Это подтверждают и замеры со стороны. Stanford HAI в AI Index 2025 зафиксировал, что отставание открытых моделей от закрытых на части бенчмарков за год сжалось с 8% до 1,7%, а инференс уровня GPT-3.5 подешевел более чем в 280 раз с ноября 2022 по октябрь 2024. Для собственника, который считает риски, это меняет расклад: в опросе McKinsey про агентные системы безопасность и риск называют главным барьером масштабирования почти две трети респондентов (State of AI). Локальный контур снимает бóльшую часть этого барьера ещё до разговора про политики доступа.
Модули при этом остаются подписанными пакетами у вас на машине. Перестанем работать вместе – продолжат крутиться, данные и логика остаются вашими.
The question this started from: can a business run its real operations – mail, bank, contracts – on a model that sits on your own hardware, without sending the data out? And if so, where is the line: what does a local model handle on its own, and what still needs a big cloud one?
A year on a live system that runs five companies' data produced the numbers. Here is what they show.
What a local model handles on its own
92% of requests go to a local model on ordinary hardware and never leave the machine. This is exactly the routine that operations are made of: triaging incoming mail, classification, summaries of long threads, reconciling statement lines against the books. A model of the level that installs on a work laptop is already enough for this – a year ago it carried noticeably less.
Where the cloud is still needed
The remaining 8% are tasks where a small model falls short: a dense legal document, a long chain of reasoning, a rare phrasing. That's when a big cloud model comes in. Even then, only a trimmed slice for that one task goes out, through a single gateway, with every call logged: who, which model, how many tokens.
The proportion shows in the bill: the system spends about $2.40 a week on the cloud. If every email and every statement went out to someone's API, that bill would be hundreds of times larger. How that economy works is in a separate post.
What this means for the data
Since most of the work never leaves the hardware, the question of where the data lives is settled by arithmetic: the main flow simply doesn't travel. The system installs as a signed package on your server or laptop, and files and statements stay with you. For the first client the whole thing landed on the manager's laptop in a day, the way in was a Telegram bot, and nothing left.
Compare it to the usual way people try AI: you paste a contract into ChatGPT, and now the copy is there, and where it lives is no longer your call. A local model sees nothing past your machine. There's no quiet background channel either: any direct call that skips the gateway is caught at commit time, and once a week the log can be pulled as a list, showing exactly what left.
The line keeps moving toward local
Open models improve faster than the cloud gets cheaper. The share you can keep on your own hardware grows with them, while the share that forces you to reach out shrinks. That is the answer to the data question: the more a local model handles, the fewer reasons to send anything out at all.
Outside measurements say the same. Stanford HAI's AI Index 2025 recorded the gap between open-weight and closed models narrowing from 8% to 1.7% on some benchmarks in a single year, while inference at GPT-3.5 level fell more than 280-fold between November 2022 and October 2024. For an owner pricing risk, that changes the maths: in McKinsey's survey on agentic systems, close to two thirds name security and risk as the top barrier to scaling (State of AI). A local setup removes most of that barrier before the access-policy conversation even starts.
The modules, meanwhile, stay signed packages on your side. Stop working with me and they keep running, the data and the logic staying yours.
Частые вопросы
- Где физически хранятся данные бизнеса при работе AIOS?
- На вашем сервере или ноутбуке. Система ставится подписанным пакетом в вашу инфраструктуру, а не работает как сервис в чужом облаке. Файлы, переписка и выписки остаются у вас и по умолчанию никуда не копируются.
- Уходят ли данные в ChatGPT или другое облако?
- 92% запросов обрабатывает локальная модель на вашем железе, эти данные не покидают машину. В облако уходит урезанный фрагмент только под сложную задачу, через единственный шлюз и с логом каждого вызова. Поэтому весь счёт за облако выходит около $2,4 в неделю.
- Что будет с данными, если перестать пользоваться системой?
- Данные и логика остаются у вас. Модули – подписанные пакеты на вашей машине, они продолжают работать без меня. Lock-in и «наше облако с вашими данными» в этой архитектуре отсутствуют.
FAQ
- Where is business data physically stored with an AIOS?
- On your own server or laptop. The system installs as a signed package inside your infrastructure rather than running as a service in someone else's cloud. Files, chats and statements stay with you and aren't copied anywhere by default.
- Does the data go to ChatGPT or another cloud?
- A local model on your hardware handles 92% of requests, and that data never leaves the machine. Only a trimmed slice goes to the cloud for hard tasks, through a single gateway and with every call logged. That's why the whole cloud bill is about $2.40 a week.
- What happens to the data if I stop using the system?
- The data and the logic stay with you. The modules are signed packages on your machine and keep running without me. There's no lock-in and no 'our cloud with your data' in this architecture.