Optimization Algorithm

Một thuật toán tối ưu hóa đóng vai trò là bộ máy tính toán cốt lõi thúc đẩy quá trình huấn luyện các mô hình machine learning (ML) và deep learning (DL). Trách nhiệm chính của nó là điều chỉnh lặp đi lặp lại các model weights và bias bên trong nhằm giảm thiểu sai số giữa kết quả dự đoán và mục tiêu thực tế. Bạn có thể hình dung quá trình này như một người leo núi đang cố gắng điều hướng xuống một ngọn núi đầy sương mù để đến điểm thấp nhất trong thung lũng. Thuật toán tối ưu hóa đóng vai trò là người dẫn đường, xác định hướng đi và kích thước bước chân mà người leo núi cần thực hiện để đến đích, tương ứng với trạng thái mà tại đó loss function được giảm thiểu và accuracy dự đoán của mô hình được tối đa hóa.

Link to this sectionCách thức hoạt động của các thuật toán tối ưu hóa#

Quá trình huấn luyện một neural network bao gồm một chu kỳ lặp đi lặp lại giữa dự đoán, tính toán sai số và cập nhật tham số. Thuật toán tối ưu hóa kiểm soát giai đoạn "cập nhật" của vòng lặp này. Sau khi một lô training data được xử lý, hệ thống sẽ tính toán gradient—một vectơ chỉ hướng tăng sai số dốc nhất—sử dụng một phương pháp gọi là backpropagation.

Bộ tối ưu hóa sau đó cập nhật các tham số mô hình theo hướng ngược lại với gradient để giảm sai số. Độ lớn của cập nhật này được điều khiển bởi một siêu tham số quan trọng được gọi là learning rate. Nếu bước quá lớn, mô hình có thể vượt qua global minimum; nếu bước quá nhỏ, việc huấn luyện có thể trở nên chậm chạp một cách khó chấp nhận hoặc bị kẹt trong một local minimum. Các tài nguyên nâng cao như ghi chú tối ưu hóa Stanford CS231n cung cấp những hiểu biết kỹ thuật sâu sắc hơn về các cơ chế này.

Link to this sectionCác loại thuật toán tối ưu hóa phổ biến#

Các bài toán khác nhau đòi hỏi các chiến lược khác nhau. Mặc dù có nhiều biến thể, một vài thuật toán chủ chốt đang chiếm ưu thế trong phát triển AI hiện đại:

• Stochastic Gradient Descent (SGD): Một cách tiếp cận cổ điển giúp cập nhật các tham số bằng cách sử dụng một ví dụ đơn lẻ hoặc một batch nhỏ thay vì toàn bộ tập dữ liệu. Phương pháp này hiệu quả về mặt tính toán và được sử dụng rộng rãi trong các thư viện như Scikit-learn.
• Adam Optimizer: Viết tắt của Adaptive Moment Estimation, Adam điều chỉnh learning rate cho từng tham số một cách riêng biệt. Nó được mô tả chi tiết trong bài báo nghiên cứu Adam của Kingma và Ba và thường là lựa chọn mặc định cho quá trình huấn luyện đa mục đích nhờ tốc độ và các đặc tính hội tụ của nó.
• AdamW: Một biến thể của Adam giúp tách rời weight decay khỏi quá trình cập nhật gradient, dẫn đến khả năng tổng quát hóa tốt hơn. Đây thường là bộ tối ưu hóa được ưa chuộng để huấn luyện các kiến trúc hiện đại như Transformers và các mô hình Ultralytics YOLO26 hiệu năng cao.

Link to this sectionCác ứng dụng trong thực tế#

Các thuật toán tối ưu hóa hoạt động âm thầm đằng sau hầu hết các AI solution thành công, chuyển đổi dữ liệu thành thông tin hữu ích.

1. Autonomous Vehicles: Trong công nghệ xe tự lái, các hệ thống object detection phải nhận diện tức thì người đi bộ, đèn giao thông và các xe khác. Trong quá trình huấn luyện các hệ thống này cho AI in Automotive, một thuật toán tối ưu hóa xử lý hàng triệu hình ảnh đường phố, tinh chỉnh mạng lưới để giảm thiểu sai số phát hiện. Điều này đảm bảo xe dừng lại một cách tin cậy khi nhìn thấy người, từ đó ngăn ngừa tai nạn.

2. Medical Image Analysis: Đối với các ứng dụng trong AI in Healthcare, như xác định khối u trong ảnh chụp MRI, độ chính xác là yêu cầu không thể thương lượng. Các bộ tối ưu hóa hướng dẫn việc huấn luyện Convolutional Neural Networks (CNNs) để phân biệt mô ác tính với mô lành với độ nhạy cao, giảm thiểu rủi ro âm tính giả trong các chẩn đoán quan trọng.

Link to this sectionPhân biệt các khái niệm liên quan#

Việc phân biệt thuật toán tối ưu hóa với các thành phần khác trong quá trình học tập là rất quan trọng để hiểu rõ quy trình làm việc một cách hiệu quả.

• Thuật toán tối ưu hóa so với Loss Function: Loss function đóng vai trò là "bảng điểm", tính toán một giá trị số (như Mean Squared Error) thể hiện mức độ sai lệch trong dự đoán của mô hình. Thuật toán tối ưu hóa là "nhà chiến lược" sử dụng điểm số này để điều chỉnh các trọng số và cải thiện hiệu suất trong vòng tiếp theo.
• Thuật toán tối ưu hóa so với Hyperparameter Tuning: Thuật toán tối ưu hóa học các tham số bên trong (trọng số) trong suốt các vòng lặp huấn luyện. Hyperparameter tuning liên quan đến việc chọn các thiết lập bên ngoài tốt nhất—chẳng hạn như lựa chọn bộ tối ưu hóa, batch size, hoặc learning rate ban đầu—trước khi quá trình huấn luyện bắt đầu. Các công cụ tự động như Ray Tune thường được sử dụng để tìm ra sự kết hợp tối ưu cho các thiết lập bên ngoài này.

Link to this sectionTriển khai tối ưu hóa trong Python#

Trong các framework hiện đại, việc chọn thuật toán tối ưu hóa thường được thực hiện thông qua một đối số duy nhất. Ví dụ sau đây minh họa cách huấn luyện mô hình YOLO26 sử dụng bộ tối ưu hóa AdamW trong gói ultralytics. Người dùng cũng có thể tận dụng Ultralytics Platform cho cách tiếp cận không cần lập trình để quản lý các phiên huấn luyện này.

from ultralytics import YOLO

# Load the latest YOLO26 model (recommended for new projects)
model = YOLO("yolo26n.pt")

# Train the model using the 'AdamW' optimization algorithm
# The optimizer iteratively updates weights to minimize loss on the dataset
results = model.train(data="coco8.yaml", epochs=5, optimizer="AdamW")

Đối với những ai quan tâm đến cơ chế ở cấp độ thấp hơn, các framework như PyTorch Optimizers và TensorFlow Keras Optimizers cung cấp tài liệu chi tiết về cách triển khai và tùy chỉnh các thuật toán này cho các kiến trúc nghiên cứu tùy chỉnh.