Мы — команда, которая строит и развивает LLM-агентов для поддержки пользователей и внутренних бизнес-процессов. Делаем решения «под ключ»: от прототипов и экспериментов до промышленных сервисов с мониторингом качества, метриками и стабильной эксплуатацией.

Работаем на стыке ML/LLM и backend-разработки: проектируем пайплайны, интегрируемся с продуктами и инфраструктурой, строим RAG-системы и агентные сценарии, измеряем качество (precision/recall/F1, macro-F1), ведём эксперименты и улучшаем модели на данных. Используем Python, LangGraph/LangChain-подходы, Langfuse для наблюдаемости, Git и внутренние платформы хранения/обработки данных (в том числе YTsaurus), а также очереди и хранилища (Kafka/Redis).

Задачи

- Разрабатывать и развивать LLM-агентов: сценарии, инструменты (tools), оркестрацию, память, маршрутизацию, обработку ошибок и fallback-логики

- Проектировать и внедрять RAG: индексация, эмбеддинги, ретриверы, ранжирование, чанкинг, оценка качества поиска и ответа

- Интегрировать агентные решения в прод: сервисы, API, взаимодействие с Kafka/Redis и другими компонентами инфраструктуры

- Настраивать наблюдаемость и контроль качества: логирование/трейсинг, Langfuse, дашборды, алерты, анализ деградаций

- Проводить офлайн/онлайн-оценку качества: считать precision/recall/F1/F1-macro, строить датасеты, проводить A/B или квазиэксперименты, формулировать гипотезы улучшений

- Участвовать в улучшении пайплайнов данных и экспериментов: подготовка данных, разметка/валидация, хранение и воспроизводимость

- Писать поддерживаемый код: ревью, тесты, документация, CI/CD, участие в архитектурных решениях

Требования

- Уверенный Python (проектирование модулей, типизация, тестирование, работа с API/сервисами)

- Практический опыт работы с LLM/agentic-подходами: промптинг, tool calling, цепочки/графы, управление контекстом, обработка галлюцинаций и ограничений моделей

- Понимание и опыт оценки качества: precision/recall/F1, macro-F1, построение датасетов и интерпретация метрик

- Опыт построения или внедрения RAG (retrieval, embeddings, индексация, ранжирование, чанкинг, оценка retrieval-качества)

- Опыт разработки и эксплуатации сервисов: REST/gRPC, асинхронность, логирование, мониторинг, работа с Git

- Понимание очередей/кэшей/хранилищ (Kafka, Redis или аналоги), опыт интеграций

Будет плюсом

- Опыт с LangGraph / LangChain, Langfuse (трейсинг, промпт-менеджмент, датасеты, evaluation)

- Опыт с YTsaurus или другими распределёнными системами хранения/обработки данных

- Опыт low-code/конструкторов пайплайнов и быстрых прототипов, доведение их до production

- Знание подходов к ранжированию, rerank, hybrid search, query rewriting, guardrails/safety

- Опыт A/B-тестов, построения продуктовых метрик и причинно-следственного анализа

- Опыт работы с контейнеризацией и деплоем (Docker/K8s), CI/CD