LLMPythonGPUPre-trainingFine-tuningInference optimizationMLOpsPyTorchDistributed training
от iinaimi · ai-выжимка
Разработка и оптимизация LLM для банковских сценариев в Центре практического ИИ. Работа над полным циклом: от подготовки данных и дообучения моделей до внедрения в production.
что делать
Обучение LLM на GPU-кластерах
Подготовка датасетов для pre-training и fine-tuning
Анализ экспериментов и улучшение качества моделей
Оптимизация инференса и нагрузочное тестирование
Внедрение обученных моделей в production
требования
Опыт обучения LLM в исследовательских или production-задачах
Глубокое понимание архитектуры и пайплайнов LLM
Опыт разработки на Python от 3 лет
Знание методов распределенного обучения и оптимизации