Token economy: LLM-инфраструктура за полтора доллара в неделюToken economy: an LLM infrastructure for a dollar and a half a week
~5 400 вызовов за неделю, счёт около полутора долларов. Как устроена инфраструктура, где локальная модель берёт 81% работы по объёму, а на платные модели уходит только сложное.~5,400 calls in a week, about a dollar-and-a-half bill. How an infrastructure works where a local model takes 81% of the load by volume and only the hard tasks go to paid models.
llmэкономикаархитектура
читать →