Разработка и развитие интеллектуального помощника в экосистеме СберБизнес. Фокус на оценке качества LLM-решений, проектировании экспериментов и оптимизации работы AI-агентов.
что делать
Разработка системы метрик для оценки LLM-агентов и промптов
Проектирование офлайн- и онлайн-экспериментов для проверки гипотез
Создание синтетических датасетов для оценки моделей
Внедрение фреймворков Ragas, LangSmith, DSPy и GEPA
Перевод бизнес-критериев в измеримые технические метрики
требования
Опыт работы с LLM от 1.5–2 лет
Знание техник промптинга: Few-shot, Chain-of-Thought, ReAct
Практический опыт с фреймворками оценки качества генеративных систем
Понимание метрик NLP и основ математической статистики
Опыт создания AI-агентов с использованием GigaChat или аналогов