Link to this sectionTensorRT-Export für YOLO26-Modelle#

Die Bereitstellung von Computer-Vision-Modellen in Hochleistungsumgebungen erfordert oft ein Format, das Geschwindigkeit und Effizienz maximiert. Dies gilt insbesondere, wenn du dein Modell auf NVIDIA GPUs bereitstellst.

Durch die Nutzung des TensorRT-Exportformats kannst du deine Ultralytics YOLO26-Modelle für eine schnelle und effiziente Inferenz auf NVIDIA-Hardware optimieren. Dieser Leitfaden bietet dir einfach umzusetzende Schritte für den Konvertierungsprozess und hilft dir dabei, die fortschrittliche NVIDIA-Technologie in deinen Deep-Learning-Projekten optimal zu nutzen.

Link to this sectionTensorRT#

TensorRT, entwickelt von NVIDIA, ist ein fortschrittliches Software Development Kit (SDK), das für Hochgeschwindigkeits-Deep-Learning-Inferenz konzipiert wurde. Es ist hervorragend für Echtzeitanwendungen wie Objekterkennung geeignet.

Dieses Toolkit optimiert Deep-Learning-Modelle für NVIDIA GPUs und führt zu schnelleren sowie effizienteren Abläufen. TensorRT-Modelle durchlaufen eine TensorRT-Optimierung, die Techniken wie Layer-Fusion, Präzisionskalibrierung (INT8 und FP16), dynamisches Tensor-Speichermanagement und Kernel-Auto-Tuning umfasst. Die Konvertierung von Deep-Learning-Modellen in das TensorRT-Format ermöglicht es Entwicklern, das volle Potenzial von NVIDIA GPUs auszuschöpfen.

TensorRT ist für seine Kompatibilität mit verschiedenen Modellformaten bekannt, darunter TensorFlow, PyTorch und ONNX, was Entwicklern eine flexible Lösung zur Integration und Optimierung von Modellen aus verschiedenen Frameworks bietet. Diese Vielseitigkeit ermöglicht eine effiziente Modellbereitstellung über diverse Hardware- und Softwareumgebungen hinweg.

Link to this sectionHauptmerkmale von TensorRT-Modellen#

TensorRT-Modelle bieten eine Reihe wichtiger Funktionen, die zu ihrer Effizienz und Effektivität bei der Hochgeschwindigkeits-Deep-Learning-Inferenz beitragen:

• Präzisionskalibrierung: TensorRT unterstützt die Präzisionskalibrierung, wodurch Modelle für spezifische Genauigkeitsanforderungen feinabgestimmt werden können. Dies beinhaltet die Unterstützung für Formate mit reduzierter Präzision wie INT8 und FP16, die die Inferenzgeschwindigkeit weiter steigern können, während ein akzeptables Genauigkeitsniveau erhalten bleibt.

• Layer-Fusion: Der TensorRT-Optimierungsprozess umfasst Layer-Fusion, wobei mehrere Schichten eines neuronalen Netzwerks zu einer einzigen Operation zusammengefasst werden. Dies reduziert den Rechenaufwand und verbessert die Inferenzgeschwindigkeit durch Minimierung von Speicherzugriffen und Berechnungen.

• Dynamisches Tensor-Speichermanagement: TensorRT verwaltet die Tensorspeichernutzung während der Inferenz effizient, reduziert den Speicher-Overhead und optimiert die Speicherzuweisung. Dies führt zu einer effizienteren GPU-Speichernutzung.

• Automatisches Kernel-Tuning: TensorRT wendet automatisches Kernel-Tuning an, um den am besten optimierten GPU-Kernel für jede Schicht des Modells auszuwählen. Dieser adaptive Ansatz stellt sicher, dass das Modell die Rechenleistung der GPU optimal ausnutzt.

Link to this sectionBereitstellungsoptionen in TensorRT#

Bevor wir uns den Code für den Export von YOLO26-Modellen in das TensorRT-Format ansehen, wollen wir verstehen, wo TensorRT-Modelle normalerweise verwendet werden.

TensorRT bietet mehrere Bereitstellungsoptionen, wobei jede Option das Gleichgewicht zwischen Integrationsfreundlichkeit, Leistungsoptimierung und Flexibilität unterschiedlich gewichtet:

• Bereitstellung innerhalb von TensorFlow: Diese Methode integriert TensorRT in TensorFlow, wodurch optimierte Modelle in einer vertrauten TensorFlow-Umgebung ausgeführt werden können. Dies ist nützlich für Modelle mit einer Mischung aus unterstützten und nicht unterstützten Schichten, da TF-TRT diese effizient verarbeiten kann.

• Eigenständige TensorRT-Runtime-API: Bietet eine granulare Steuerung und ist ideal für leistungskritische Anwendungen. Sie ist komplexer, ermöglicht jedoch die benutzerdefinierte Implementierung nicht unterstützter Operatoren.

• NVIDIA Triton Inference Server: Eine Option, die Modelle verschiedener Frameworks unterstützt. Sie ist besonders für Cloud- oder Edge-Inferenz geeignet und bietet Funktionen wie gleichzeitige Modellausführung und Modellanalyse.

Link to this sectionExportieren von YOLO26-Modellen nach TensorRT#

Du kannst die Ausführungseffizienz verbessern und die Leistung optimieren, indem du YOLO26-Modelle in das TensorRT-Format konvertierst.

Link to this sectionInstallation#

Um das erforderliche Paket zu installieren, führe Folgendes aus:

# Install the required package for YOLO26
pip install ultralytics

Für detaillierte Anweisungen und Best Practices zum Installationsprozess, siehe unseren YOLO26-Installationsleitfaden. Falls du bei der Installation der erforderlichen Pakete für YOLO26 auf Schwierigkeiten stößt, konsultiere unseren Leitfaden zu häufigen Problemen für Lösungen und Tipps.

Link to this sectionVerwendung#

Bevor du dich in die Anleitungen zur Nutzung stürzt, schau dir unbedingt die Auswahl der YOLO26 models offered by Ultralytics an. Dies hilft dir dabei, das am besten geeignete Modell für deine Projektanforderungen auszuwählen.

Das TensorRT-Format unterstützt die Modi Export, Predict und Validate. Inferenz und Validierung erfordern eine NVIDIA GPU. Exportiere dein Modell und lade es anschließend, um die Inferenz durchzuführen oder die Genauigkeit zu validieren.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT format
model.export(format="engine")  # creates 'yolo26n.engine'

from ultralytics import YOLO

# Load the exported TensorRT model
model = YOLO("yolo26n.engine")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported TensorRT model
model = YOLO("yolo26n.engine")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Link to this sectionExport-Argumente#

Weitere Details zum Exportprozess findest du auf der Ultralytics-Dokumentationsseite zum Exportieren.

Link to this sectionExportieren von TensorRT mit INT8-Quantisierung#

Der Export von Ultralytics YOLO-Modellen mit TensorRT unter Verwendung von INT8-Präzision führt eine Post-Training-Quantisierung (PTQ) aus. TensorRT verwendet für PTQ eine Kalibrierung, die die Verteilung der Aktivierungen innerhalb jedes Aktivierungstensors misst, während das YOLO-Modell die Inferenz auf repräsentativen Eingabedaten verarbeitet, und nutzt diese Verteilung dann, um Skalenwerte für jeden Tensor zu schätzen. Jeder Aktivierungstensor, der für eine Quantisierung in Frage kommt, besitzt eine zugehörige Skala, die durch einen Kalibrierungsprozess hergeleitet wird.

Bei der Verarbeitung implizit quantisierter Netzwerke nutzt TensorRT INT8 opportunistisch, um die Layer-Ausführungszeit zu optimieren. Wenn eine Schicht in INT8 schneller läuft und zugewiesene Quantisierungsskalen an ihren Dateneingängen und -ausgängen hat, wird dieser Schicht ein Kernel mit INT8-Präzision zugewiesen; andernfalls wählt TensorRT eine Präzision von entweder FP32 oder FP16 für den Kernel, basierend darauf, was für diese Schicht zu einer schnelleren Ausführungszeit führt.

Link to this sectionKonfiguration des INT8-Exports#

Die Argumente, die beim Exportieren eines Ultralytics YOLO-Modells verwendet werden, beeinflussen die Leistung des exportierten Modells maßgeblich. Sie müssen zudem basierend auf den verfügbaren Hardwareressourcen ausgewählt werden, wobei die Standardargumente für die meisten Ampere (oder neueren) NVIDIA diskreten GPUs funktionieren sollten. Der verwendete Kalibrierungsalgorithmus ist "MINMAX_CALIBRATION" für GPU-Exporte, während DLA-Exporte auf NVIDIA Jetson "ENTROPY_CALIBRATION_2" nutzen. Weitere Details zu den verfügbaren Optionen findest du im TensorRT Developer Guide. Tests bei Ultralytics haben ergeben, dass "MINMAX_CALIBRATION" die beste Wahl für GPU-Exporte ist, und der Algorithmus wird automatisch basierend auf dem Exportgerät ausgewählt.

• workspace : Steuert die Größe (in GiB) der Gerätespeicherzuweisung während der Konvertierung der Modellgewichte.

  • Passe den workspace-Wert entsprechend deinen Kalibrierungsanforderungen und der Ressourcenverfügbarkeit an. Während ein größerer workspace die Kalibrierungszeit erhöhen kann, ermöglicht er TensorRT das Ausprobieren einer breiteren Palette an Optimierungstaktiken, was die Modellleistung und Genauigkeit potenziell verbessert. Umgekehrt kann ein kleinerer workspace die Kalibrierungszeit zwar verkürzen, aber die Optimierungsstrategien einschränken, was die Qualität des quantisierten Modells beeinträchtigen kann.

  • Der Standardwert ist workspace=None, was es TensorRT ermöglicht, den Speicher automatisch zuzuweisen. Bei manueller Konfiguration muss dieser Wert möglicherweise erhöht werden, falls die Kalibrierung abstürzt (beendet ohne Warnung).

  • TensorRT meldet beim Export UNSUPPORTED_STATE, wenn der Wert für workspace größer ist als der dem Gerät zur Verfügung stehende Speicher. Das bedeutet, dass der Wert für workspace verringert oder auf None gesetzt werden sollte.

  • Wenn workspace auf den Maximalwert gesetzt ist und die Kalibrierung fehlschlägt oder abstürzt, erwäge die Verwendung von None für die automatische Zuweisung oder reduziere die Werte für imgsz und batch, um den Speicherbedarf zu verringern.

  • Denke daran, dass die Kalibrierung für INT8 gerätespezifisch ist; das Ausleihen einer "High-End"-GPU für die Kalibrierung könnte zu einer schlechten Leistung führen, wenn die Inferenz später auf einem anderen Gerät ausgeführt wird.

• batch : Die maximale Batch-Größe, die für die Inferenz verwendet wird. Während der Inferenz können kleinere Batches verwendet werden, aber die Inferenz akzeptiert keine Batches, die größer sind als angegeben.

Experimentation by NVIDIA led them to recommend using at least 500 calibration images that are representative of the data for your model, with INT8 quantization calibration. This is a guideline and not a hard requirement, and you will need to experiment with what is required to perform well for your dataset. Since the calibration data is required for INT8 calibration with TensorRT, make certain to use the data argument when int8=True for TensorRT and use data="my_dataset.yaml", which will use the images from validation to calibrate with. When no value is passed for data with export to TensorRT with INT8 quantization, the default will be to use one of the "small" example datasets based on the model task instead of throwing an error.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    int8=True,
    data="coco.yaml",  # (4)!
)

# Load the exported TensorRT INT8 model
model = YOLO("yolo26n.engine", task="detect")

# Run inference
result = model.predict("https://ultralytics.com/images/bus.jpg")

Link to this sectionVorteile der Nutzung von YOLO mit TensorRT INT8#

• Reduzierte Modellgröße: Die Quantisierung von FP32 auf INT8 kann die Modellgröße um das Vierfache reduzieren (auf der Festplatte oder im Speicher), was zu schnelleren Downloadzeiten, geringerem Speicherbedarf und einem kleineren Speicher-Footprint bei der Bereitstellung eines Modells führt.

• Geringerer Stromverbrauch: Operationen mit reduzierter Präzision für INT8-exportierte YOLO-Modelle können im Vergleich zu FP32-Modellen weniger Strom verbrauchen, insbesondere bei batteriebetriebenen Geräten.

• Verbesserte Inferenzgeschwindigkeiten: TensorRT optimiert das Modell für die Zielhardware, was potenziell zu schnelleren Inferenzgeschwindigkeiten auf GPUs, eingebetteten Geräten und Beschleunigern führt.

Link to this sectionNachteile der Nutzung von YOLO mit TensorRT INT8#

• Rückgang der Bewertungsmetriken: Die Verwendung einer geringeren Präzision bedeutet, dass mAP, Precision, Recall oder jede andere Metrik zur Bewertung der Modellleistung wahrscheinlich etwas schlechter ausfällt. Siehe den Abschnitt Leistungsergebnisse, um die Unterschiede bei mAP50 und mAP50-95 beim Export mit INT8 auf einer kleinen Stichprobe verschiedener Geräte zu vergleichen.

• Erhöhte Entwicklungszeiten: Das Finden der "optimalen" Einstellungen für die INT8-Kalibrierung je nach Datensatz und Gerät kann eine erhebliche Menge an Tests erfordern.

• Hardwareabhängigkeit: Kalibrierung und Leistungsgewinne können stark hardwareabhängig sein und Modellgewichte sind weniger übertragbar.

Link to this sectionUltralytics YOLO TensorRT Export-Leistung#

Link to this sectionNVIDIA A100#

Link to this sectionConsumer GPUs#

Link to this sectionEmbedded-Geräte#

Link to this sectionEvaluierungsmethoden#

Erweitere die untenstehenden Abschnitte für Informationen darüber, wie diese Modelle exportiert und getestet wurden.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, half=True)

# TensorRT INT8 with calibration `data` (i.e. COCO, ImageNet, or DOTAv1 for appropriate model task)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, int8=True, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 of the same image
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet, or DOTAv1 for appropriate model task
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

Link to this sectionBereitstellung exportierter YOLO26 TensorRT-Modelle#

Nachdem du deine Ultralytics YOLO26-Modelle erfolgreich in das TensorRT-Format exportiert hast, bist du bereit, sie bereitzustellen. Ausführliche Anweisungen zur Bereitstellung deiner TensorRT-Modelle in verschiedenen Umgebungen findest du in den folgenden Ressourcen:

• Bereitstellung von Ultralytics mit einem Triton Server: Unser Leitfaden zur Verwendung des NVIDIA Triton Inference Servers (ehemals TensorRT Inference Server) speziell für Ultralytics YOLO-Modelle.

• Bereitstellung neuronaler Netze mit NVIDIA TensorRT: Dieser Artikel erklärt, wie man NVIDIA TensorRT verwendet, um neuronale Netze effizient auf GPU-basierten Bereitstellungsplattformen bereitzustellen.

• End-to-End AI für NVIDIA-basierte PCs: NVIDIA TensorRT-Bereitstellung: Dieser Blogbeitrag erklärt die Verwendung von NVIDIA TensorRT zur Optimierung und Bereitstellung von KI-Modellen auf NVIDIA-basierten PCs.

• GitHub-Repository für NVIDIA TensorRT:: Dies ist das offizielle GitHub-Repository, das den Quellcode und die Dokumentation für NVIDIA TensorRT enthält.

Link to this sectionZusammenfassung#

In diesem Leitfaden haben wir uns auf die Konvertierung von Ultralytics YOLO26-Modellen in das NVIDIA TensorRT-Modellformat konzentriert. Dieser Konvertierungsschritt ist entscheidend, um die Effizienz und Geschwindigkeit von YOLO26-Modellen zu verbessern, sie effektiver zu machen und für verschiedene Bereitstellungsumgebungen geeignet zu gestalten.

Weitere Informationen zu Anwendungsdetails findest du in der offiziellen TensorRT-Dokumentation.

Wenn du dich für weitere Ultralytics YOLO26-Integrationen interessierst, bietet unsere Integrations-Guide-Seite eine umfangreiche Auswahl an informativen Ressourcen und Einblicken.

Link to this sectionFAQ#

Link to this sectionWie konvertiere ich YOLO26-Modelle in das TensorRT-Format?#

Um deine Ultralytics YOLO26-Modelle für eine optimierte NVIDIA GPU-Inferenz in das TensorRT-Format zu konvertieren, befolge diese Schritte:

1. Installiere das erforderliche Paket:

   pip install ultralytics

2. Exportiere dein YOLO26 Modell:

   from ultralytics import YOLO
   
   model = YOLO("yolo26n.pt")
   model.export(format="engine")  # creates 'yolo26n.engine'
   
   # Run inference
   model = YOLO("yolo26n.engine")
   results = model("https://ultralytics.com/images/bus.jpg")

Weitere Details findest du im YOLO26 Installationsleitfaden und in der Export-Dokumentation.

Link to this sectionWas sind die Vorteile der Verwendung von TensorRT für YOLO26 Modelle?#

Die Verwendung von TensorRT zur Optimierung von YOLO26 Modellen bietet mehrere Vorteile:

• Höhere Inferenzgeschwindigkeit: TensorRT optimiert die Modellschichten und verwendet Präzisionskalibrierung (INT8 und FP16), um die Inferenz zu beschleunigen, ohne die Genauigkeit wesentlich zu beeinträchtigen.
• Speichereffizienz: TensorRT verwaltet den Tensor-Speicher dynamisch, wodurch der Overhead reduziert und die GPU-Speicherauslastung verbessert wird.
• Layer Fusion: Kombiniert mehrere Schichten zu einzelnen Operationen, wodurch die Rechenkomplexität reduziert wird.
• Kernel Auto-Tuning: Wählt automatisch optimierte GPU-Kernel für jede Modellschicht aus, um maximale Leistung zu gewährleisten.

Um mehr zu erfahren, erkunde die offizielle TensorRT Dokumentation von NVIDIA und unseren detaillierten TensorRT-Überblick.

Link to this sectionKann ich INT8-Quantisierung mit TensorRT für YOLO26 Modelle verwenden?#

Ja, du kannst YOLO26 Modelle mit TensorRT unter Verwendung von INT8-Quantisierung exportieren. Dieser Prozess umfasst Post-Training-Quantisierung (PTQ) und Kalibrierung:

1. Export mit INT8:

   from ultralytics import YOLO
   
   model = YOLO("yolo26n.pt")
   model.export(format="engine", batch=8, workspace=4, int8=True, data="coco.yaml")

2. Inferenz ausführen:

   from ultralytics import YOLO
   
   model = YOLO("yolo26n.engine", task="detect")
   result = model.predict("https://ultralytics.com/images/bus.jpg")

Weitere Details findest du im Abschnitt Exportieren von TensorRT mit INT8-Quantisierung.

Link to this sectionWie stelle ich YOLO26 TensorRT Modelle auf einem NVIDIA Triton Inference Server bereit?#

Die Bereitstellung von YOLO26 TensorRT Modellen auf einem NVIDIA Triton Inference Server kann mithilfe der folgenden Ressourcen erfolgen:

• Bereitstellung von Ultralytics YOLO26 mit Triton Server: Schritt-für-Schritt-Anleitung zur Einrichtung und Nutzung des Triton Inference Server.
• Bereitstellung von Deep Neural Networks mit NVIDIA TensorRT: NVIDIAs Leitfaden zur Bereitstellung von Deep-Learning-Modellen mit TensorRT für detaillierte Bereitstellungsoptionen und Konfigurationen.

Diese Anleitungen helfen dir, YOLO26 Modelle effizient in verschiedenen Bereitstellungsumgebungen zu integrieren.

Link to this sectionWelche Leistungsverbesserungen werden bei YOLO26 Modellen beobachtet, die nach TensorRT exportiert wurden?#

Die Leistungsverbesserungen mit TensorRT können je nach verwendeter Hardware variieren. Hier sind einige typische Benchmarks:

• NVIDIA A100:

  • FP32 Inferenz: ~0,52 ms / Bild
  • FP16 Inferenz: ~0,34 ms / Bild
  • INT8 Inferenz: ~0,28 ms / Bild
  • Leichte Reduzierung der mAP bei INT8-Präzision, aber deutliche Verbesserung der Geschwindigkeit.

• Consumer-GPUs (z. B. RTX 3080):

  • FP32 Inferenz: ~1,06 ms / Bild
  • FP16 Inferenz: ~0,62 ms / Bild
  • INT8 Inferenz: ~0,52 ms / Bild

Detaillierte Leistungsbenchmarks für verschiedene Hardwarekonfigurationen findest du im Leistungsbereich.

Für umfassendere Einblicke in die TensorRT-Leistung, siehe die Ultralytics Dokumentation und unsere Leistungsanalyseberichte.