Lead AI Quality & Benchmarking

Сбер2 дн назад
зарплата
вилка не указана
формат
Гибкий · Москва
грейд
Lead
стек
PythonSQLPandasNumPySciPyGenerative AIModel evaluationBenchmarkingHuman evaluationStatistics
от iinaimi · ai-выжимка

Лид направления AI Quality & Benchmarking в команде Kandinsky. Фокус на оценке качества генеративных моделей, развитии метрик и бенчмарков, анализе регрессий и решениях по релизам.

что делать

  • Отвечать за оценку качества Image, Video и Multimodal
  • Развивать бенчмарки качества и систему метрик
  • Поддерживать лидерборды по качеству, latency и стоимости
  • Анализировать регрессии и причины деградаций
  • Принимать go/no-go решения по релизам

требования

  • 4+ года в Data Science, ML или Applied Research
  • Опыт оценки качества моделей
  • Опыт построения evaluation-пайплайнов
  • Глубокое понимание генеративных моделей
  • Уверенное владение Python и SQL

что предлагают

  • Гибридный или офисный формат работы
  • Ежегодный пересмотр зарплаты
  • Годовая премия
  • Расширенный ДМС
  • Льготное страхование для семьи

похожие вакансии

Руководитель отдела сетевой безопасности

МТС Банк·Lead·Офис · Москва
вилка не указана
5 ч назад
Руководитель отдела сетевой безопасности в МТС Банке. Управление защитой сети и инфраструктуры банка, координация работы команды.

Аналитик / DS (направление Путешествия)

Т-Банк·Middle·Гибкий · Москва
вилка не указана
5 ч назад
Аналитик или Data Scientist в команду эффективности нефинансовых сервисов Т-Банка. Работа в направлении «Путешествия» над DS-проектами и аналитическими задачами.

Data Scientist

JuicyScore·Middle·Гибрид · Москва
вилка не указана
5 ч назад
Data Scientist в аккредитованную финтех-компанию. Работа над риск-моделями и системами антифрода, выявление аномалий и проверка гипотез с помощью ML.

Руководитель программы проектов по внедрению бизнес-систем

КОРУС Консалтинг·Lead·Офис · Москва
вилка не указана
5 ч назад
Руководитель программы проектов по внедрению бизнес-систем. Управление цифровой трансформацией и автоматизацией бизнес-процессов в консалтинговой компании.