Anthropic запустила в Claude функцию Message Threads: для длинных диалогов первый ответ приходит примерно на 35% быстрее

Anthropic выпустила Message Threads в статусе публичной беты на платформе Claude. Раньше каждый запрос через API должен был заново передавать всю историю разговора; теперь отправляется только то, что изменилось с момента последнего сообщения. По оценке Anthropic, для запросов объёмом от 500 тысяч до 1 млн токенов это сокращает время до первого токена примерно на 35%.

По словам компании, наибольшую пользу получат инструменты, которые пишут код, управляют компьютером по командам ИИ и обрабатывают много документов или изображений. Токен — это единица текста, которой оперирует модель, а время до первого токена — задержка перед началом ответа. Anthropic уточняет: общий расход токенов не меняется, поскольку модель всё равно читает всю историю переписки.

Уточнение сохраняется в виде зашифрованной памяти между запросами и истекает после пяти минут без активности. Функция доступна на платформе Claude, а также через AWS, Microsoft Foundry и Google Cloud.