NVIDIA L4 vs. A100 vs. H100 in 2026: Kaufratgeber für Inferenz-GPUs
Die GPU-Diskussion in den meisten Beschaffungsrunden von Unternehmen hat sich verschoben. Vor zwei Jahren lautete die Frage, welcher Beschleuniger für das Training beschafft werden soll. 2026 lautet die häufigste Frage, welcher Beschleuniger fürInferenzgekauft werden soll — und die Antwort ist häufig weder die neueste noch die größte Karte.
Dieser Wandel hat handfeste Budgetfolgen. Eine einzelne H100 80GB PCIe liegt in aktuellen Kanälen zwischen $25,000 und $32,200. Eine L4 24GB liegt zwischen $2,492 und $4,040. Dazwischen liegt preislich rund eine Größenordnung, und für einen erheblichen Teil der Inferenz-Workloads im Produktivbetrieb liefert die günstigere Karte genau das Servicelevel, das Sie tatsächlich brauchen.
Dieser Ratgeber vergleicht die drei NVIDIA-Beschleuniger, die Unternehmen 2026 am häufigsten ausschreiben — L4, A100 40GB und H100 80GB — anhand erfasster Kanalpreise, und zeigt, welche Workloads welche Stufe rechtfertigen.
Die drei Stufen und was sie unterscheidet
Die drei folgenden Karten sind auch einzeln als Bauteil verfügbar:NVIDIA L4 24GB,A100 40GBundH100 80GB— und wer für dieselben Server auch die CPU-Seite abwägt, sollte unserenLeitfaden zu CPUs für KI-Inferenz.
NVIDIA L4 24GBist eine 72W-PCIe-Karte, die auf Effizienz statt auf Spitzendurchsatz ausgelegt ist. Sie passt ohne Zusatzstromversorgung in einen Standardserver-Slot, lässt sich also in bestehende 2U-Server einbauen, ohne Stromversorgung oder Kühlung neu auszulegen. Bei Videotranskodierung, kleineren Sprachmodellen, Empfehlungsdiensten und Edge-Inferenz ist sie in diesem Vergleich mit deutlichem Abstand der Spitzenreiter bei der Kapazität pro Watt.
NVIDIA A100 40GBist das Arbeitspferd der vorherigen Rechenzentrumsgeneration. Die Produktion endete 2024, was heute zirkuliert, sind Bestände und Zweitmarktware. Damit ist die A100 40GB ein abgekündigtes, aber weiterhin gut unterstütztes Bauteil — mit dem Preisverhalten eines End-of-Life-Produkts statt eines aktuellen.
NVIDIA H100 80GBist die aktuelle Spitzenklasse: der größte Speicherpool, die höchste Bandbreite und der stärkste Durchsatz der drei. Sie ist zugleich die einzige der drei, bei der häufig nicht der Preis, sondern die Verfügbarkeit die entscheidende Einschränkung ist.
Was die Preisdaten 2026 zeigen
Basierend auf Angebotspreisen, die im September 2026 in US-, EU- und APAC-Kanälen erfasst wurden:
| GPU | Speicher | Kanalpreis (neu) | Zweitmarkt |
|---|---|---|---|
| NVIDIA L4 | 24GB | $2,492–$4,040 (Median ≈ $2,950) | — |
| NVIDIA A100 40GB | 40GB | — | $3,150–$5,870 (erfasste Spanne $5,500–$7,900) |
| NVIDIA H100 80GB PCIe | 80GB | $25,000–$32,200 | ≈ $28,000 |
Zwei Beobachtungen sind für die Budgetplanung relevant.
L4 und A100 40GB haben sich preislich angenähert.Eine neue L4 und eine gebrauchte A100 40GB liegen heute in überlappenden Spannen. Das ist ungewöhnlich — normalerweise trägt die neuere Architektur einen Aufpreis — und spiegelt wider, dass das A100-Angebot endlich ist und als Altbestand bepreist wird, während die L4 weiterhin aktiv gefertigt wird.
Die H100 liegt preislich in einer anderen Größenordnung, und die Datenbasis ist dünn.Unsere erfasste Spanne für die H100 PCIe beruht auf wenigen Angeboten und ist als Indikator zu verstehen, nicht als etablierter Markträumungspreis. SXM5-Varianten liegen noch höher. Käufer sollten davon ausgehen, dass sich H100-Angebote mit der Allocation bewegen und nicht mit dem Listenpreis.
Die Karte zur Workload passend wählen
Der teuerste Fehler beim Einkauf von Inferenz-GPUs ist der Kauf nach Benchmark-Ranking statt nach Workload. Die drei Karten decken genuin unterschiedliche Aufgaben ab.
Wann die L4 die richtige Antwort ist
Die L4 ist die richtige Wahl, wenn die Workload ausvielen gleichzeitigen, moderat dimensionierten Inferenzenbesteht und nicht aus wenigen großen. Videotranskodierung und Analyse-Pipelines, Embedding- und Retrieval-Dienste, Empfehlungsmodelle, kleine und mittlere Sprachmodelle sowie Inferenz am Edge oder in Filialen fallen alle hierunter. Das 72W-Envelope ist der entscheidende Vorteil: Es bedeutet Dichte — mehrere Karten pro Server, in Servern, die Sie bereits besitzen.
Wenn Ihr Modell bequem in 24GB passt und Sie viele Anfragen bedienen, statt die Grenze der Modellgröße zu verschieben, kaufen Sie mit H100-Preisen Durchsatz, den Sie nicht nutzen können.
Wo die A100 40GB weiterhin ihren Platz verdient
Die A100 40GB bleibt ein solider Kauf für Organisationen, die mehr Speicher und Bandbreite benötigen, als eine L4 bietet, aber die aktuellen H100-Preise nicht rechtfertigen können. Größere Sprachmodelle, gemischtes Training und Fine-Tuning neben Inferenz sowie HPC-Workloads, die vom Bandbreitenprofil der A100 profitieren, kommen alle infrage.
Der Vorbehalt betrifft den Lebenszyklus. Die A100 40GB wird nicht mehr produziert; Support-Horizont und Wiederverkaufswert nehmen ab hier beide ab. Wenn Sie heute A100 kaufen, kaufen Sie sie für eine Workload, die Sie migrieren können, und bestätigen Sie Herkunft und Zustand der Karte — GPUs vom Zweitmarkt brauchen ebenso viel Prüfung wie Laufwerke vom Zweitmarkt.
Wann die H100 unumgänglich ist
Die H100 80GB ist die Antwort, wenn der 80GB-Speicherpool eine Anforderung und keine Präferenz ist: große Modelle, die nicht in 40GB passen, Serving mit hohem Durchsatz, bei dem kleinere Karten die Latenzziele nicht erreichen, und jede Umgebung, in der die Workload über die Nutzungsdauer in die Karte hineinwachsen soll.
Wenn Sie H100 ausschreiben, behandeln Sie Lieferzeit und Allocation als primäres Planungsrisiko. Budgetieren Sie Karte und Zeitplan getrennt.
Die Frage nach der Serverplattform
GPUs werden selten isoliert gekauft, und die Plattformentscheidung schränkt die GPU-Entscheidung oft stärker ein als umgekehrt.
Das 72W-Envelope der L4 bedeutet, dass sie ohne Zusatzstromversorgung in einen Standard-2U-Server passt — einschließlich vieler Plattformen der aktuellen und der vorherigen Generation, die bereits im Einsatz sind. Das ist der reibungsärmste Weg, einer bestehenden Flotte Inferenzkapazität hinzuzufügen.
A100 und H100 benötigen beide deutlich mehr Strom- und Kühlungsreserven und in der Regel eine dafür ausgelegte Plattform: passende PCIe- oder SXM-Topologie, ausreichenden Luftstrom und im Fall der H100 eine Stromversorgung, die möglicherweise eine Standortabstimmung erfordert und nicht nur eine Serverentscheidung. Wenn Käufer uns bitten, GPU-Preise zu vergleichen, läuft die ehrliche Antwort häufig darauf hinaus, komplette Serverkonfigurationen zu vergleichen.
Häufige Fragen
Reicht eine L4 für LLM-Inferenz im Produktivbetrieb, oder brauche ich eine A100 oder H100?
Für kleine und mittlere Modelle, die in 24GB passen, und für hochparalleles Serving moderater Anfragen reicht eine L4 oft aus und ist dramatisch günstiger in Anschaffung und Betrieb. A100 oder H100 werden nötig, wenn das Modell selbst 24GB übersteigt, wenn Sie neben dem Serving auch Fine-Tuning betreiben oder wenn die kleinere Karte die Latenzziele bei hohem Durchsatz nicht erreicht. Messen Sie Ihren tatsächlichen Modell-Footprint und die Parallelität, bevor Sie standardmäßig zur größten Option greifen.
Warum kostet eine gebrauchte A100 40GB fast so viel wie eine neue L4?
Weil die A100 40GB nicht mehr produziert wird und ihr Restangebot endlich ist, während die L4 weiterhin aktiv gefertigt wird und kontinuierlich in den Kanal fließt. Die Annäherung ist ein Angebotseffekt und kein Zeichen dafür, dass die beiden Karten gleichwertig sind — sie bedienen unterschiedliche Workload-Profile, und die neuere L4 hat einen längeren Support-Horizont.
Welche GPU sollte ich wählen, wenn ich Modelle auch fine-tunen möchte?
Die A100 40GB oder die H100 80GB. Die L4 ist auf Inferenz und leichtere Workloads ausgerichtet; beim Fine-Tuning größerer Modelle zählen die breiteren Speicherbusse und größeren Speicherpools von A100 und H100. Wenn Sie beides in einer Umgebung brauchen, bietet der 80GB-Pool der H100 die größte Reserve — zu entsprechenden Kosten.
Sollte ich generalüberholte oder gebrauchte GPUs kaufen?
Für sekundäre Workloads kann das sinnvoll sein, sofern Herkunft und Zustand überprüfbar sind und der Wiederverkäufer eine Garantie bietet. Rechenzentrums-GPUs sind in der Regel langlebiger als ihre Consumer-Pendants, doch der Zweitmarkt umfasst auch Karten mit unbekannter Vorgeschichte. Verlangen Sie dieselben Nachweise wie bei Storage: Herkunft der Karte, Betriebshistorie, soweit verfügbar, und schriftliche Garantiebedingungen.
Können Sie GPUs als Teil einer kompletten Serverkonfiguration liefern?
Ja. Wir beschaffen NVIDIA L4, A100 40GB und H100 80GB zusammen mit Serverplattformen von Dell PowerEdge, HPE ProLiant und Lenovo ThinkSystem aus unserem Lager in Hongkong, sodass Käufer eine komplette, validierte Konfiguration ausschreiben können, statt Karten und Chassis getrennt zu beschaffen. Senden Sie uns Ihre Workload-Anforderung, und wir schlagen Konfiguration und Preis vor.
Unser Fazit für 2026
Greifen Sie nicht standardmäßig zur größten Karte. Für hochparallele Inferenz auf moderaten Modellen und für Video-Workloads ist dieL42026 der richtige Kauf, und das 72W-Envelope macht sie zur einzigen der drei, die Sie ohne Plattformentscheidung in einen bestehenden Server einbauen können. DieA100 40GBbleibt für größere Modelle und gemischte Training-Inferenz-Arbeit sinnvoll, mit dem Vorbehalt, dass sie End-of-Life ist und für eine Workload gekauft werden sollte, die Sie migrieren können. DieH100 80GBist gerechtfertigt, wenn der 80GB-Pool eine harte Anforderung ist — und dann planen Sie um Allocation und Lieferzeit herum, nicht um den Listenpreis.
Sprechen Sie mit uns über Ihren GPU-Bedarf
HKCHL führt NVIDIA L4-, A100- und H100-Beschleuniger und beschafft sie, einzeln oder als Teil kompletter validierter Serverkonfigurationen, aus unserem Lager in Hongkong, mit weltweitem Versand. Senden Sie uns Ihren Modell-Footprint, Ihr Parallelitätsziel und Ihre Plattformvorgaben, und wir melden uns mit Konfiguration und Angebot, in der Regel innerhalb von 12 Stunden.
Brauchen Sie aktuelle Preise für eine Inferenz-GPU oder einen kompletten GPU-Server? Wir beschaffen und testen Enterprise-Server, GPUs, Storage und DDR4/DDR5-ECC-Speicher vollständig aus unserem Lager in Hongkong. Kontaktieren Sie uns mit Ihren Anforderungen — wir antworten innerhalb von 12 Stunden.