Optimization Algorithm

Алгоритм оптимизации служит основным вычислительным ядром, которое управляет процессом обучения моделей машинного обучения (ML) и глубокого обучения (DL). Его главная задача — итеративно корректировать внутренние веса модели и смещения, чтобы минимизировать ошибку между предсказанными результатами и фактическими целевыми значениями. Ты можешь представить этот процесс как путешественника, пытающегося спуститься с туманной горы, чтобы добраться до самой низкой точки в долине. Алгоритм оптимизации выступает в роли проводника, определяющего направление и размер шага, который должен сделать путешественник, чтобы достичь дна, что соответствует состоянию, при котором функция потерь минимизирована, а предсказательная точность модели максимизирована.

Link to this sectionКак работают алгоритмы оптимизации#

Обучение нейронной сети включает повторяющийся цикл предсказания, вычисления ошибки и обновления параметров. Алгоритм оптимизации управляет фазой «обновления» этого цикла. Как только пакет обучающих данных обработан, система вычисляет градиент — вектор, указывающий в направлении наиболее крутого возрастания ошибки — используя метод, называемый обратным распространением ошибки.

Затем оптимизатор обновляет параметры модели в направлении, противоположном градиенту, чтобы уменьшить ошибку. Величина этого обновления определяется важным гиперпараметром, известным как скорость обучения (learning rate). Если шаг слишком велик, модель может «перескочить» глобальный минимум; если он слишком мал, обучение может стать неоправданно медленным или застрять в локальном минимуме. Продвинутые ресурсы, такие как заметки по оптимизации Stanford CS231n, предлагают более глубокое техническое понимание этой динамики.

Link to this sectionРаспространенные типы алгоритмов оптимизации#

Разные задачи требуют разных стратегий. Хотя существует множество вариаций, в современной разработке ИИ доминируют несколько ключевых алгоритмов:

• Стохастический градиентный спуск (SGD): классический подход, который обновляет параметры, используя один пример или небольшой пакет (batch), а не весь набор данных. Этот метод вычислительно эффективен и широко используется в библиотеках, таких как Scikit-learn.
• Оптимизатор Adam: аббревиатура от Adaptive Moment Estimation (адаптивная оценка моментов), Adam корректирует скорость обучения для каждого параметра индивидуально. Он подробно описан в фундаментальной научной работе об Adam авторов Кингма и Ба и часто является выбором по умолчанию для обучения общего назначения благодаря своей скорости и свойствам сходимости.
• AdamW: вариация Adam, которая отделяет затухание весов (weight decay) от обновления градиента, что ведет к лучшей обобщающей способности. Это часто предпочтительный оптимизатор для обучения передовых архитектур, таких как Transformers, и высокопроизводительных моделей Ultralytics YOLO26.

Link to this sectionРеальные приложения#

Алгоритмы оптимизации работают незаметно за кулисами почти каждого успешного ИИ-решения, превращая данные в практический интеллект.

1. Автономные транспортные средства: в технологиях беспилотного вождения системы обнаружения объектов должны мгновенно распознавать пешеходов, светофоры и другие автомобили. Во время обучения таких систем для ИИ в автомобильной отрасли алгоритм оптимизации обрабатывает миллионы изображений дорог, тонко настраивая сеть для минимизации ошибок обнаружения. Это гарантирует, что автомобиль надежно остановится при виде человека, предотвращая аварии.

2. Анализ медицинских изображений: для приложений в области ИИ в здравоохранении, таких как выявление опухолей на снимках МРТ, точность является обязательным требованием. Оптимизаторы направляют обучение сверточных нейронных сетей (CNNs), чтобы различать злокачественные и здоровые ткани с высокой чувствительностью, снижая риск ложноотрицательных результатов при постановке критически важных диагнозов.

Link to this sectionРазграничение похожих концепций#

Важно отличать алгоритм оптимизации от других компонентов процесса обучения, чтобы эффективно понимать рабочий процесс.

• Алгоритм оптимизации против функции потерь: функция потерь выступает в роли «счетчика очков», вычисляя числовое значение (например, среднеквадратичную ошибку), которое показывает, насколько ошибочны предсказания модели. Алгоритм оптимизации — это «стратег», который использует этот показатель для настройки весов и повышения производительности в следующем раунде.
• Алгоритм оптимизации против настройки гиперпараметров: алгоритм оптимизации изучает внутренние параметры (веса) во время циклов обучения. Настройка гиперпараметров включает выбор лучших внешних настроек — таких как сам выбор оптимизатора, размер пакета или начальная скорость обучения — перед началом обучения. Автоматизированные инструменты, такие как Ray Tune, часто используются для поиска оптимальной комбинации этих внешних параметров.

Link to this sectionРеализация оптимизации на Python#

В современных фреймворках выбор алгоритма оптимизации часто делается с помощью одного аргумента. Следующий пример демонстрирует, как обучить модель YOLO26 с использованием оптимизатора AdamW в рамках пакета ultralytics. Пользователи также могут использовать платформу Ultralytics для no-code подхода к управлению такими сессиями обучения.

from ultralytics import YOLO

# Load the latest YOLO26 model (recommended for new projects)
model = YOLO("yolo26n.pt")

# Train the model using the 'AdamW' optimization algorithm
# The optimizer iteratively updates weights to minimize loss on the dataset
results = model.train(data="coco8.yaml", epochs=5, optimizer="AdamW")

Для тех, кто интересуется низкоуровневыми механизмами, фреймворки, такие как оптимизаторы PyTorch и оптимизаторы TensorFlow Keras, предлагают обширную документацию о том, как реализовывать и настраивать эти алгоритмы для пользовательских исследовательских архитектур.