«Unable to access non-serverless model» в Together.AI — что это значит?

Если у вас появляется такой ответ от сервиса Together AI:

Unable to access non-serverless model teknium/OpenHermes-2p5-Mistral-7B. Please visit https://api.together.ai/models/teknium/OpenHermes-2p5-Mistral-7B to create and start a new dedicated endpoint for the model.

(для примера, здесь мы использовали модель OpenHermes-2p5-Mistral-7B. Однако в ошибке может быть и любая другая.)

Это означает, что вы выбрали редкоиспользуемую модель, для которой нужно оплачивать отдельный сервер.

В together.ai два вида моделей: serverless (стандартные, по API) и dedicated (для которых нужно заказывать у них сервера и платить за время использования). Соответственно, всё, что вам нужно сделать для работы с TogetherAI — выбрать serverless модель.