Наша команда разрабатывает AI-агентов и AI-ассистентов, которые помогают клиентам получать консультации и информацию по продуктам компании. Решения построены на LLM-моделях и работают как единая система интеллектуальных ассистентов.

Обязанности

* Проектирование и внедрение системы качества AI-агентов: разработка и поддержка единой методологии тестирования LLM-агентов (от юнит-тестов логики до end-to-end сценариев);

* Внедрение метрик качества (Quality Gates) для релизов: релевантность, галлюцинации, безопасность, время отклика;

* Построение процесса непрерывной оценки качества в рамках CI/CD;

* Организация различных видов тестирования, проведение приёмо-сдаточных испытаний (ПСИ) и защита релизов перед выводом в прод;

* Анализ логов, метрик инцидентов и пользовательских фидбеков для выявления системных паттернов ошибок;

* Подготовка аналитических отчётов о качестве для стейкхолдеров (не просто «есть баги», а «какой процент сценариев деградирует и почему»);

* Автоматизация проверки API, UI и бизнес-логики агентов;

* Участие в код-ревью тестовой инфраструктуры, обеспечение читаемости и сопровождаемости кода;

* Взаимодействие с ML-инженерами: понимание ограничений моделей, работа с векторными БД и промптами;

* Работа с требованиями и заказчиком, выявление юзер-кейсов и юзер-стори (полноценное обеспечение качества).

Требования

* Понимание специфики тестирования вероятностных систем (LLM/AI): осознание, что тестирование «по шагам» не работает, знание современных подходов к оценке качества AI (метрики, LLM-as-a-Judge, A/B тесты качества);

* Умение выстраивать процессы с нуля или масштабировать существующие: от выбора инструментов до наставничества и постановки задач;

* О работы с Python — это основной язык для автоматизации и анализа данных; Java — желателен для работы с backend-инфраструктурой;

* Уверенное владение SQL для извлечения и анализа метрик качества и логов;

* Опыт работы с Git, CI/CD (Jenkins/GitLab CI) и понимание принципов DevOps;

* Работа с требованиями, работа с заказчиком, выявление юзер-кейсов, юзер-стори;

* Глубокое понимание подходов к тестированию AI-систем: специфики вероятностных моделей, метрик качества и методов оценки LLM;

* Инструментальное владение AI для анализа, генерации и автоматизации.

**Будет плюсом:**

* Опыт тестирования LLM, чат-ботов, RAG-систем или рекомендательных движков;

* Знакомство с инструментами мониторинга LLM;

* Опыт работы в финтехе/банковском секторе (понимание требований к безопасности и отказоустойчивости).

Условия

* Гибридный формат работы;

* Льготные ипотечные условия кредитования;

* Подписка Прайм с возможностью совместного использования на трёх близких;

* ДМС с первого дня и скидки на страхование для близких;

* Корпоративная пенсионная программа;

* Детский отдых и подарки за счет Компании;

* Обучение за счет Компании: онлайн курсы, неограниченный доступ к библиотеке и обучение на базе Корпоративного университета, тренинги, митапы и возможность получить новую квалификацию.