Хоттабыч
Местный
[Vizuara AI Labs] Dr. Sreedath Panat → Малые языковые модели (SLM): полный процесс создания и внедрения (2026)
SLM Engineering — практический курс по созданию малых языковых моделей (Small Language Models, SLM) корпоративного уровня. За четыре недели вы пройдете полный цикл разработки: от подготовки данных и обучения токенизатора до предварительного обучения (Pretraining), Fine-Tuning, RLHF, реализации RAG, оптимизации инференса и развертывания модели в локальной инфраструктуре предприятия. Курс ориентирован на разработчиков и ML-инженеров, желающих самостоятельно создавать, обучать и внедрять современные AI-системы без зависимости от облачных сервисов.
Для кого предназначен курс
Разработчиков, переходящих в сферу LLM Engineering, NLP и Enterprise AI.
Инженеров, создающих чат-ботов, интеллектуальный поиск и системы анализа документов.
Специалистов, которые хотят научиться самостоятельно обучать языковые модели, а не только использовать готовые API.
Исследователей, которым необходимы практические навыки промышленной разработки AI.
Чему вы научитесь
Архитектура Transformer
Подробно изучите внутреннее устройство современных языковых моделей: механизм внимания (Attention), Feed Forward-блоки, RMSNorm, Rotary Positional Encoding, эмбеддинги и взаимодействие всех компонентов архитектуры Transformer.
Подготовка данных и обучение токенизатора
Научитесь собирать, очищать и дедуплицировать датасеты, формировать корпуса данных, обучать собственные токенизаторы на основе BPE и SentencePiece, а также готовить данные для предварительного обучения и последующей настройки моделей.
Предварительное обучение (Pretraining)
Построите полноценный цикл обучения языковой модели с нуля, познакомитесь с законами масштабирования (Scaling Laws), научитесь анализировать функции потерь и оценивать эффективность процесса обучения.
Fine-Tuning с LoRA и QLoRA
Освоите современные методы параметроэффективной настройки моделей, включая LoRA, QLoRA, Supervised Fine-Tuning и 4-битную квантизацию. Узнаете, в каких случаях лучше использовать дообучение модели, а когда предпочтительнее применять RAG или инженерный подход к проектированию промптов.
Выравнивание моделей и безопасность
Изучите методы Reward Modeling, DPO и RLHF, научитесь реализовывать защиту от Prompt Injection, механизмы безопасных отказов, модерацию ответов и другие элементы безопасной эксплуатации языковых моделей.
RAG и оценка качества моделей
Создадите полноценную систему Retrieval-Augmented Generation с гибридным поиском, ранжированием результатов, ссылками на
Скачать:
SLM Engineering — практический курс по созданию малых языковых моделей (Small Language Models, SLM) корпоративного уровня. За четыре недели вы пройдете полный цикл разработки: от подготовки данных и обучения токенизатора до предварительного обучения (Pretraining), Fine-Tuning, RLHF, реализации RAG, оптимизации инференса и развертывания модели в локальной инфраструктуре предприятия. Курс ориентирован на разработчиков и ML-инженеров, желающих самостоятельно создавать, обучать и внедрять современные AI-системы без зависимости от облачных сервисов.
Для кого предназначен курс
Разработчиков, переходящих в сферу LLM Engineering, NLP и Enterprise AI.
Инженеров, создающих чат-ботов, интеллектуальный поиск и системы анализа документов.
Специалистов, которые хотят научиться самостоятельно обучать языковые модели, а не только использовать готовые API.
Исследователей, которым необходимы практические навыки промышленной разработки AI.
Чему вы научитесь
Архитектура Transformer
Подробно изучите внутреннее устройство современных языковых моделей: механизм внимания (Attention), Feed Forward-блоки, RMSNorm, Rotary Positional Encoding, эмбеддинги и взаимодействие всех компонентов архитектуры Transformer.
Подготовка данных и обучение токенизатора
Научитесь собирать, очищать и дедуплицировать датасеты, формировать корпуса данных, обучать собственные токенизаторы на основе BPE и SentencePiece, а также готовить данные для предварительного обучения и последующей настройки моделей.
Предварительное обучение (Pretraining)
Построите полноценный цикл обучения языковой модели с нуля, познакомитесь с законами масштабирования (Scaling Laws), научитесь анализировать функции потерь и оценивать эффективность процесса обучения.
Fine-Tuning с LoRA и QLoRA
Освоите современные методы параметроэффективной настройки моделей, включая LoRA, QLoRA, Supervised Fine-Tuning и 4-битную квантизацию. Узнаете, в каких случаях лучше использовать дообучение модели, а когда предпочтительнее применять RAG или инженерный подход к проектированию промптов.
Выравнивание моделей и безопасность
Изучите методы Reward Modeling, DPO и RLHF, научитесь реализовывать защиту от Prompt Injection, механизмы безопасных отказов, модерацию ответов и другие элементы безопасной эксплуатации языковых моделей.
RAG и оценка качества моделей
Создадите полноценную систему Retrieval-Augmented Generation с гибридным поиском, ранжированием результатов, ссылками на
Скачать:
📥 Скрытое содержимое! Войдите или Зарегистрируйтесь
