Token economy: LLM-инфраструктура меньше чем за три доллара в неделюToken economy: an LLM infrastructure for under three dollars a week
Около 4 800 вызовов в неделю, счёт $2,4. Как устроена инфраструктура, где локальная модель берёт 92% работы по объёму, а на платные модели уходит только сложное.About 4,800 calls a week, a $2.40 bill. How an infrastructure works where a local model takes 92% of the load by volume and only the hard tasks go to paid models.
llmllmэкономикаeconomicsархитектураarchitecture
читать →