In diesem Beitrag geht es um die zentrale Hardwarekomponente eines Deep-Learning-PCs – die Grafikkarte. Sie ist der entscheidende Baustein, wenn es darum geht, neuronale Netze schnell und effizient zu trainieren. Nachdem ich im vorherigen Artikel bereits erläutert habe, welche Überlegungen grundsätzlich beim Bau eines AI-Rechners zu treffen sind, zeige ich hier nun, welche Grafikkarten sich für das Training von neuronalen Netzen besonders gut eignen – und warum ich mich letztlich für ein ganz bestimmtes Modell entschieden habe.

Mein Ziel war es, einen möglichst leistungsfähigen, gleichzeitig aber auch leisen Deep-Learning-PC für den Einsatz unter meinem Schreibtisch zu bauen – und das bei einem vertretbaren Kostenrahmen. Ein reines Inferenz-System, das lediglich vortrainierte Modelle ausführt, war nicht das Ziel – das kann inzwischen jedes moderne Smartphone. Ich wollte ein System, das große Datenmengen effizient verarbeiten und daraus eigene Modelle trainieren kann.

Grafikkarte auswählen – Entscheidungskriterien

Die Auswahl der passenden Grafikkarte ist dabei der erste und wohl wichtigste Schritt. Besonders leistungsstark und weit verbreitet sind Modelle wie die NVIDIA RTX 3090 oder die professionellen Quadro-Serien wie RTX 8000 oder RTX A6000. Letztere haben sich auch in meinem beruflichen Umfeld bereits hervorragend bewährt.

Hinweis: Bei Deep-Learning-Anwendungen ist der Hersteller der Grafikkarte zweitrangig, solange ein NVIDIA-Chipsatz verwendet wird. Wichtiger ist eine effiziente Kühlung und die technische Zuverlässigkeit der Karte.

Ich habe mich bei meiner Auswahl für Modelle von PNY entschieden, da PNY offizieller Boardpartner von NVIDIA ist und unter anderem die Quadro-Serie produziert (Quelle: Wikipedia).

Hinweis: Die nachfolgenden Amazon-Links sind Affiliate-Links.

PNY GeForce RTX™ 3090 24GB XLR8

Diese Grafikkarte ist ideal für viele ambitionierte Deep-Learning-Projekte – insbesondere im privaten oder semi-professionellen Bereich. Solange der GPU-Speicher von 24 GB nicht überschritten wird, ist sie eine echte Empfehlung. In der Industrie oder bei größeren Forschungseinrichtungen stoßen 24 GB jedoch schnell an ihre Grenzen, insbesondere wenn viele Modelle gleichzeitig trainiert werden.

Meine Empfehlung: Für den Einstieg in die Welt der neuronalen Netze bietet die RTX 3090 das beste Preis-Leistungs-Verhältnis.

Technische Daten:

CUDA Cores 10496
Boost Clock 1695 MHz
Speicher 24 GB GDDR6X
Speicherbandbreite 936 GB/s
TDP 350 W
Bus-Typ PCIe 4.0 x16

Zur PNY-Produktseite

(* = Affiliate-Link / Bildquelle: Amazon-Partnerprogramm)
×
Produktpreise und -verfügbarkeit sind zum angegebenen Datum / Uhrzeit korrekt und können sich ändern. Alle Preis- und Verfügbarkeitsinformationen auf https://www.amazon.de/ zum Zeitpunkt des Kaufs gelten für den Kauf dieses Produkts.

NVIDIA Quadro RTX 8000 (beruflicher Einsatz)

Die Quadro RTX 8000 ist ein echtes Arbeitstier. Sie eignet sich besonders für komplexe Deep-Learning-Projekte mit hohen Speicheranforderungen. In meinem beruflichen Umfeld wurde diese Karte häufig für parallele Trainingsjobs eingesetzt – mit hervorragender Performance.

Einziger Nachteil: Die Belüftung über das kleine Lochblech könnte optimierter sein. Im Vergleich dazu wirkt das neue Design der RTX A6000 deutlich durchdachter.

Deep Learning PC grafic card fan output

Deep Learning PC Grafikkarten-Luftauslass

Highlights:

CUDA Cores 4608
Tensor Cores 576
Speicher 48 GB GDDR6 ECC
Deep Learning TFLOPS 130.5
PNY Quadro RTX 8000 48 GB GDDR6
3.6 out of 5 stars
5.646,68 €
(Stand von: 21. Dezember 2023 15:15 - Details)
Bei Amazon ansehen *
(* = Affiliate-Link / Bildquelle: Amazon-Partnerprogramm)
×
Produktpreise und -verfügbarkeit sind zum angegebenen Datum / Uhrzeit korrekt und können sich ändern. Alle Preis- und Verfügbarkeitsinformationen auf https://www.amazon.de/ zum Zeitpunkt des Kaufs gelten für den Kauf dieses Produkts.

NVIDIA Quadro RTX A6000 (privater Einsatz)

Mein aktueller Favorit ist die RTX A6000. Sie bietet gegenüber der RTX 8000 nochmals gesteigerte Leistung – bei ebenfalls 48 GB Speicher. Die Karte eignet sich hervorragend für parallele Berechnungen und komplexe Deep-Learning-Pipelines.

NVIDIA RTX A6000

NVIDIA RTX A6000 kurz nach dem Auspacken

Wichtig: Eine große GPU mit viel Speicher ist nur dann sinnvoll, wenn die Trainings-Pipeline effizient programmiert ist. Andernfalls entsteht ein Flaschenhals, bei dem die CPU nicht schnell genug Trainingsdaten liefern kann. Mehr dazu in einem späteren Beitrag.

Zur Produktseite der RTX A6000

Highlights:

CUDA Cores 10752
Tensor Performance 309.7 TFLOPS
Speicher 48 GB GDDR6 ECC
Speicherbandbreite 768 GB/s
Deep Learning Computer setup

Mein Deep-Learning-PC mit verbauter RTX A6000

Fazit zur Grafikkartenwahl

Die RTX 3090 ist für viele Szenarien ausreichend – auch im semi-professionellen Bereich. Wer mehr Speicher oder bessere Parallelisierung benötigt, ist mit den Quadro-Modellen besser beraten. Insbesondere die RTX A6000 ist eine moderne und leistungsstarke Lösung für intensive Deep-Learning-Anwendungen.

Für den professionellen Einsatz gilt: Lieber eine hochwertige Grafikkarte mit mehr Speicher und besserer Kühlung, als eine Consumer-Karte an ihr Limit zu bringen.

Im nächsten Beitrag geht es um Netzteil, Gehäuse und die Wahl der passenden CPU.

BlogYourEarth


Ich lebe in Bayern nahe München. In meinem Kopf habe ich immer viele Themen und probiert gerade im Bereich Internet neue Medien viel in meiner Freizeit aus. Ich schreibe an dem Blog da es mir Spaß macht über die Dinge zu berichten die mich begeistern. Ich freue mich über jeden Kommentar, über Anregung aber auch über Fragen.