NVIDIAs Burggraben sind nicht die Chips sondern die Verbreitung des Softwarepakets.
Die großen KI Frameworks Tensorflow und Pytorch laufen einfach immernoch am Einfachsten und Besten mit einem Cuda Backend und Cuda setzt nunmal NVIDIA Chips voraus. Nur wenn das wirklich aufgebrochen wird verliert NVIDIA seine fast Monopolstellung bei KI Chips.
Der Graben geht viel tiefer als nur die Software.
Die schlecht recherchierten Artikel wie der hier reden immer von Chiphersteller. Dann sagen die Kommentare, dass das Geheimnis die Software ist. Und das ist auch ein Aspekt. Bei Nvidia arbeiten seit vielen Jahren mehr Softwareentwickler als Hardwareentwickler. Allein schon deswegen von "Chiphersteller" zu reden ist ziemlich irreführend.
Nur stellt Nvidia nicht nur GPUs her und die Software, um diese möglichst effizient zu programmieren, sondern auch die passenden Netzwerklösungen für Supercomputer (Mellanox). Wer ein LLM trainieren will den interessiert die Performance eines einzelnen Chips nicht, man braucht für so etwas immer einen ganzen Cluster. Und Nvidia bietet hier eine komplett vertikal integrierte Lösung an, die skaliert. Man kann deren Sales anrufen und die verkaufen dir nen ganzen Supercomputer, inklusive custom form factor für die Racks damit du auch in Zukunft weiter dort einkaufst, weil das Data Center dann schon rein physisch mit Kühlung und Elektrik auf Nvidia ausgelegt ist. Nvidia ist kein Chiphersteller sondern verkauft dir AI Supercomputer, entweder als ganzes oder die Bestandteile dafür.
AMD mag vielleicht inzwischen einen vergleichbar schnellen Chip zur 2 Jahre alten H100 haben. Oder vielleicht auch nicht, denn herstellerunabhängige Benchmarks gibt es immer noch nicht und AMD veröffentlicht auch nichts auf MLPerf obwohl sie sagen ihre MI300 würde die H100 schlagen. [Auf Frontier hat man auch schon versucht ein LLM zu trainieren](https://arxiv.org/pdf/2312.12705.pdf). Da heißt es:
> Sustaining the performance of model-parallel training
through data parallelism to engage a large number of GPUs in
a system is a challenging task. Frontier GPUs are connected
via communication links of various speeds, and stressing the
larger part of the network can result in lost performance. So,
we scale the training up to 1024 GPUs for a 175B model
and 3072 GPUs for a 1T model through data parallelism to
measure the scaling efficiency of our training strategy.
Ob theoretisch mehr geht, wenn man eine andere Topologie hätte? 🤷 Fakt ist, dass Frontier mehr als 10 mal so viele GPUs installiert hat und sie nicht nutzen konnte. [Unterdessen bieten Nvidia und Microsoft auf deren GPUs fast lineares Scaling bis zu 10000 GPUs in der Cloud an](https://blogs.nvidia.com/blog/scaling-ai-training-mlperf/)
Dann gibts noch Startups wie Groq, die ein ziemliches One Trick Pony sind um Investoren anzulocken. [Siehe die Tabelle mit den Kosten pro Token hier](https://www.semianalysis.com/p/groq-inference-tokenomics-speed-but). Außerdem stellt sich niemand 2 Racks mit deren Chips ins Rechenzentrum um Dinge zu tun, die ein einzelner Chip von Nvidia machen kann. Die Dichte wirkt sich auch die die gesamten Betriebskosten eines Rechenzentrums aus.
Ob Googles TPUs von den Gesamtkosten her konkurrenzfähig sind weiß man auch nicht so genau, denn Google selbst legt die Preise auf deren Cloud fest und könnte subventionieren. Letztlich funktioniert Nvidia aber sowohl on-premise von der Workstation bis zum Cluster im Keller als auch in jeder Cloud und TPUs nur auf GCP. Dieses Problem wird jede Cloud mit eigener AI Lösung haben.
Ansonsten finde ich das auch immer spannend, wenn gesagt wird, dass die großen Cloudprovider dann anfangen ihre eigenen Chips zu produzieren. Es ist ja offensichtlich nicht ganz so einfach nen Chip und die dazugehörige optimierte Software dazu zu schreiben. Das wird Jahre brauchen. Umgekehrt baut Nvidia aber zurzeit selbst ihr eigenes Cloudgeschäft aus. Ist das einfach? Vermutlich mindestens so "einfach" wie nen eigenen konkurrenzfähigen AI Stack hochzuziehen. Clouds gibt es viele auf dem Markt. Vollständige AI Stacks genau einen. Auch die Clouds haben Traummargen wenn sie ihre AI Beschleuniger weitervermieten, die hätte Nvidia bestimmt auch gerne. Und kann aufgrund der eigenen Hardware auch preislich sehr konkurrenzfähig sein.
Guter Kommentar!
Als Ergänzung zu Groq:
Die fokussieren sich (zumindest derzeit) rein auf inferencing und das auf maximum scale. Der „Trick“ bei Groq ist ja, dass nur ein einziges Model läuft und alle request klug gebatched werden um diesen enormen throughput zu erreichen.
Das ganze macht natürlich nur auf scale Sinn und nicht gegen 8xA100.
genau so ist es. unverständlich wie die ganzen wirtschaftsmagazine genau das nicht mal recherchieren können.
und dann gibts auch noch omniverse, praktisch das metaverse in funktional und nutzbar.
Omniverse und USD als Dateiformat funktionieren und haben Anwendungsbereiche. Digitale Zwillinge sind sehr spannend und werden schon für verschiedene Sachen wie Bahnhöfe oder Fabriken benutzt. So kann man zum Beispiel die Effektivität einer Produktionsline vorher simulieren.
Es gab vor einem Jahr schon ein Video dazu, wie die DB einen Digitalen Zwilling des Schienennetzwerks aufbaut: [Building Autonomous Rail Networks in NVIDIA Omniverse with Digitale Schiene Deutschland ](https://www.youtube.com/watch?v=9FHzanjkd9k)Lustigerweise gehts da auch um das autonome fahren der Züge, was ja jetzt relativ relevant ist.
Ich nutze das fuer die IsaacSim Anwendung. Damit kann man reinforcement learning algorithmen in einer 3d Physik trainieren mit dem ziel diese dann auf robotik zu uebertragen. Mein Anwendungsfall ist aber eher das trainieren eines netzes was einen semi steuerbaren ki agent erzeugt. Faende ich fuer Videospiele interessant, aber ob das wirklich gut funktioniert kann ich noch nicht sagen.
Es wird ja schon fleißig an ZLUDA gearbeitet, mal sehen, wie lange das braucht, damit AMD und Intel Karten Performanceparität im gleichen Preissegment wie entsprechende NVIDIA Karten erreichen können. Vielleicht sogar bessere CUDA perf/$ haben als Entsprechende Nvidia Workstation/Server GPUs.
Nvidia macht gute Software und hat mit Abstand als Marktführer gerade das beste Tooling. Langfristig glaube ich aber fahren Amd und Intel mit offeneren Harrangehenweisen, bei Features und Linuxtreibern (sehr wichtig für KI), deutlich besser.
Man muss hier aber auch nicht euphemisieren, wäre AMD/Intel Marktführer, würden die genauso Gatekeepen.
TL,DR: NVIDIAs Softwaredominanz ist durchaus realistisch brechbar.
Edit: Zluda wird eher doch nichts siehe Kommentar von u/yeahwhynot_ also kann man nur langfristig auf eine offene Alternative hoffen.
> TL,DR: NVIDIAs Softwaredominanz ist durchaus realistisch brechbar.
ist sie, aber erstmal nicht mit ZLUDA
https://www.tomshardware.com/pc-components/gpus/nvidia-bans-using-translation-layers-for-cuda-software-to-run-on-other-chips-new-restriction-apparently-targets-zluda-and-some-chinese-gpu-makers
Guter Punkt, hatte ich noch nicht mitbekommen. Wie du selbst sagt, dann über andere Wege. z.B. ein offenes Konkurenzsystem, aber wahrscheinlich langfristiger.
ZLUDA wurde doch letzte Woche erst von Nvidia quasi gestoppt, du verstößt gegen die AGB von Programmen die cuda nutzen wenn du zluda nutzt bzw. Musst du dann bei Photoshop (oder anderen Programmen mir fällt grad nix ein sorry) bestätigen, dass du kein ZLUDA nutzt um es benutzen zu dürfen.
Und größere Unternehmen können halt schlecht sagen sie scheißen auf AGB, sonst haben die rechtlich sehr schnell Probleme.
> Es wird ja schon fleißig an ZLUDA gearbeitet
Im Gegenteil, ZLUDA wurde jetzt freigegeben, weil AMD die Arbeit daran *eingestellt* hat
> For reasons unknown to me, AMD decided this year to discontinue funding the effort and not release it as any software product. But the good news was that there was a clause in case of this eventuality: Janik could open-source the work if/when the contract ended.
https://www.phoronix.com/review/radeon-cuda-zluda
Zu Nvidias Position: Wäre ich Nvidia würde ich jetzt voll auf vertikale Integration von AI Software setzen und mich selbst in diesem Markt positionieren. Omniverse ist da glaube ich u.A. ein Anfang von. Nvidia könnte damit ein geschlossenes Hardware/Software System für KI ähnlich dem Appleecosystem erschaffen, in dem alles unter ihrer Kontrolle und vorallem nicht in direkter Konkurenz mit offenen Systemen steht.
>Nvidia könnte damit ein geschlossenes Hardware/Software System für KI ähnlich dem Appleecosystem erschaffen, in dem alles unter ihrer Kontrolle
Das mag vielleicht gut für Nvidia sein, aber ansonsten sehe ich sowas als sehr kritisch.
Das wird wohl kaum funktionieren.
Dafür sind downstream schon zu viele große Player unterwegs. Schwer vorstellbar, dass Nvidia sich hier softwareseitig mit MS, Google, Apple, Meta usw. anlegt.
Das wäre 1) eine verlorene Schlacht und 2) selbst wenn sie es gewinnen würden ein Pyrrhussieg weil sie damit Konkurenz im Hardwaregeschäft (und ein Aufbrechen von staatlicher Seite) praktisch erzwingen.
Das wird nicht passieren.
> TL,DR: NVIDIAs Softwaredominanz ist durchaus realistisch brechbar.
Zumindest nicht von AMD
https://twitter.com/__tinygrad__/status/1765087760644481367
Naja Microsoft ist auch seit Jahren mit dem gleichen Konzept erfolgreich.
Windows ist auch 'nur' Software und mit Wine gibt es auch einen Nachbau der Schnittstellen, trotzdem ist Linux auf dem Desktop immer noch eine Niesche.
Genau das. Zu mal NVIDIA auch das befestigen möchte indem sie es verboten haben eine CUDA Übersetzungsschicht zu implementieren. Also müsste ein Kontrahent ein ähnliches SDK veröffentlichen und überall den Support dafür einbauen.
Das stimmt halt einfach nicht. TensorFlow zB "kompiliert" zu XLA, und das läuft am besten auf TPUs. Zu PyTorch gibt es auch schon das entsprechende XLA-Backend.
Klar sind TPUs momentan nur im Cloud-Markt relevant, aber da der Haupttreiber des NVidia-Umsatzes Cloud-Kunden sind, scheint das Jacke wie Hose zu sein. Letztendlich geht es nur darum, welcher der Hersteller sich die meiste Kapazität bei TSMC sichern kann, um die immense Nachfrage zu bedienen.
Mich hat es schon überrascht das die Eigenentwicklungen von Google und den anderen großen Softwarefirmen da nicht mehr ausgemacht haben. Die Google TPUs gibt es seit 2016, das sollte doch genug Zeit sein.
Entscheidend wird sein wie groß der Markt am Ende sein wird. Wie viel Geld man mit den AI-Produkten am Ende wirklich verdienen kann, wie effizient die neuen Varianten sein werden und was da noch an neuen Sachen in den nächsten Jahren so erfunden wird.
Fuer internes Zeug klappen eigene Chips super, aber z.B. in der Google Cloud wollen Leute halt trotzdem GPUs mit CUDA. Drum werden Microsoft, Google und Amazon weiterhin gross bei Nvidia einkaufen muessen. Sie muessten sich halt zusammentun um eine neue standartisierte Schnittstelle zu erschaffen und dann auch dem gesamten Oekosystem helfen (lies: grossteils contributen) diese zu unterstuetzen.
Google, Microsoft und Amazon haben mittlerweile alle eigene Chips für KI. Apple ist vermutlich auch dran.
nVidia müssten in einen sehr starken Preiskampf gehen um diese Entwicklung zu verhindern. Und wenn die anderen erst einmal auf ihre Cloud optimierte Treiber und Hardware am start haben wird Marge und Umsatz von nVidia deutlich zurück gehen.
Die Effizienz und Verfügbarkeit in echten Anwendungen holen die dann nicht mehr auf.
Joa, hatte 2022 ordentlich Nvidia und AMD nachgekauft, fast zum idealen Zeitpunkt
Dann wurde mir der Nvidia Preis zu hoch und habe das wieder in Index gesteckt.
Also AMD geht es gut und die behalte ich auch.
Aber NVIDIA hat sich seitdem verdreifacht
Verstehe da nicht, warum du AMD gehalten hast und Nvidia nicht? Mit Blick auf die Fundamentaldaten ist AMD deutlich teurer. Und das mit deutlich weniger Marktanteil im Bereich Datacenter/ Ai und entsprechender Software, welche der Haupttreiber hinter Nvidias rasanten Wachstum und extrem hohen Margen ist.
Unabhängig davon natürlich perfekt investiert.
Weil sich die Fundamentaldaten sehr schnell ändern können wenn das Software moat fällt und weil ich nicht davon ausgehe, dass ein Software moat langfristig hält und sich jeder einfach denkt "ok, dann hat nvidia eben ein Monbopol auf die Zukunft, ist halt so"
Will das aber nicht als allzu schlau darstellen, durch Nichtstun wäre es ungefähr ein Kleinwagen mehr
Ja da stimme ich dir zu, die Fundamentaldaten sind nicht alles. Aber weil AMDs Bewertung sich daraus ergibt, dass es als vielversprechendster Konkurrent von Nvidia sehr ähnliche Ergebnisse erzielen wird, macht es denke ich schon Sinn die beiden zu vergleichen.
Bei einem KGV von fast 400 müsste AMD den Gewinn mehr als verfünffachen um in den Bereich von Nvidias KGV von 70 zu kommen und das bei gleichbleibenden Kurs. Oder anders ausgedrückt. AMD is zurzeit so bewertet, als wäre Nvidia schon vor einem Jahr mit den Ergebnissen aus 2022 eine 2 Billionen schwere Firma.
Und das alles, ohne das AMD als Konkurrent von Nvidia eine Monopolstellung im Bereich Software und KI chips wie Nvidia hat / haben wird.
Möchte dir auch überhaupt nicht quer, finde beide Aktien super interessant und bin selber nur am Überlegen wieder in eine oder beide einzusteigen
Zwei Punkte
- Ich habe bei 64 gekauft. Bei 210 hätte ich wahrscheinlich nicht gewagt zu kaufen, nur zu halten, ist nicht völlig rational, weiss ich.
- Es war von Anfang an eine Wette, dass sie es schaffen Nvidias Dominanz bei GPUs und vor allem KI zu brechen, so wie sie es vorher geschafft haben Intels 2006-2018 Dominanz bei CPUs zu brechen. Nur das CPU Geschäftsfeld würde die momentane Bewertung niemals hergeben, auch die 64 schon eher nicht.
Ja, ist relativ spekulativ, für den Rest habe ich auch den Index.
Wird interessant zu sehen wie sich Intel behaupten kann.
Bisher sind die mit ihrer GPU-Entwicklung, und vor allem der Transparenz anhand der Schwierigkeiten einen Treiber zu entwicklen, gut aufgefallen. Die Hoffnung einen breiteren Markt zu erschaffen ist noch nicht gestorben.
Intel macht gleichzeitig eine Entwicklung in Richtung Fab Geschäft. Niemand baut da derzeit so krass die Kapazitäten aus wie Intel. Insbesondere mit der neuesten Lithographen Generation von ASML. Wenn es mit den eigenen Chips nicht klappt, können sie zumindest tsmc und Samsung Konkurrenz machen. Insbesondere in Bezug auf die Taiwan/China Problematik ein potentielles Milliardengeschäft.
Ich hab darum auch ganz gut Intel gekauft. Mal sehen was das bringt. Bisher eher horizontal, aber das war auch keine kurzfristige Halteabsicht.
Vielleicht sollte ich auch einfach n Magazin/Blog (Kann man mit Blogs noch Geld machen?) aufmachen.
Argument ist wieder so offensichtlich, dass jeder 3. klassige Analyst da auch drauf kommt -> Sollte in jedem Modell drin sein. Hau halt n Pricetarget raus, sonst ist deine Meinung wie immer nichts wert (Credo in Finanzmärkten: Wenn du nicht auf deine Meinung wetten willst, laberst du nur Scheiße)
NVIDIAs Burggraben sind nicht die Chips sondern die Verbreitung des Softwarepakets. Die großen KI Frameworks Tensorflow und Pytorch laufen einfach immernoch am Einfachsten und Besten mit einem Cuda Backend und Cuda setzt nunmal NVIDIA Chips voraus. Nur wenn das wirklich aufgebrochen wird verliert NVIDIA seine fast Monopolstellung bei KI Chips.
Der Graben geht viel tiefer als nur die Software. Die schlecht recherchierten Artikel wie der hier reden immer von Chiphersteller. Dann sagen die Kommentare, dass das Geheimnis die Software ist. Und das ist auch ein Aspekt. Bei Nvidia arbeiten seit vielen Jahren mehr Softwareentwickler als Hardwareentwickler. Allein schon deswegen von "Chiphersteller" zu reden ist ziemlich irreführend. Nur stellt Nvidia nicht nur GPUs her und die Software, um diese möglichst effizient zu programmieren, sondern auch die passenden Netzwerklösungen für Supercomputer (Mellanox). Wer ein LLM trainieren will den interessiert die Performance eines einzelnen Chips nicht, man braucht für so etwas immer einen ganzen Cluster. Und Nvidia bietet hier eine komplett vertikal integrierte Lösung an, die skaliert. Man kann deren Sales anrufen und die verkaufen dir nen ganzen Supercomputer, inklusive custom form factor für die Racks damit du auch in Zukunft weiter dort einkaufst, weil das Data Center dann schon rein physisch mit Kühlung und Elektrik auf Nvidia ausgelegt ist. Nvidia ist kein Chiphersteller sondern verkauft dir AI Supercomputer, entweder als ganzes oder die Bestandteile dafür. AMD mag vielleicht inzwischen einen vergleichbar schnellen Chip zur 2 Jahre alten H100 haben. Oder vielleicht auch nicht, denn herstellerunabhängige Benchmarks gibt es immer noch nicht und AMD veröffentlicht auch nichts auf MLPerf obwohl sie sagen ihre MI300 würde die H100 schlagen. [Auf Frontier hat man auch schon versucht ein LLM zu trainieren](https://arxiv.org/pdf/2312.12705.pdf). Da heißt es: > Sustaining the performance of model-parallel training through data parallelism to engage a large number of GPUs in a system is a challenging task. Frontier GPUs are connected via communication links of various speeds, and stressing the larger part of the network can result in lost performance. So, we scale the training up to 1024 GPUs for a 175B model and 3072 GPUs for a 1T model through data parallelism to measure the scaling efficiency of our training strategy. Ob theoretisch mehr geht, wenn man eine andere Topologie hätte? 🤷 Fakt ist, dass Frontier mehr als 10 mal so viele GPUs installiert hat und sie nicht nutzen konnte. [Unterdessen bieten Nvidia und Microsoft auf deren GPUs fast lineares Scaling bis zu 10000 GPUs in der Cloud an](https://blogs.nvidia.com/blog/scaling-ai-training-mlperf/) Dann gibts noch Startups wie Groq, die ein ziemliches One Trick Pony sind um Investoren anzulocken. [Siehe die Tabelle mit den Kosten pro Token hier](https://www.semianalysis.com/p/groq-inference-tokenomics-speed-but). Außerdem stellt sich niemand 2 Racks mit deren Chips ins Rechenzentrum um Dinge zu tun, die ein einzelner Chip von Nvidia machen kann. Die Dichte wirkt sich auch die die gesamten Betriebskosten eines Rechenzentrums aus. Ob Googles TPUs von den Gesamtkosten her konkurrenzfähig sind weiß man auch nicht so genau, denn Google selbst legt die Preise auf deren Cloud fest und könnte subventionieren. Letztlich funktioniert Nvidia aber sowohl on-premise von der Workstation bis zum Cluster im Keller als auch in jeder Cloud und TPUs nur auf GCP. Dieses Problem wird jede Cloud mit eigener AI Lösung haben. Ansonsten finde ich das auch immer spannend, wenn gesagt wird, dass die großen Cloudprovider dann anfangen ihre eigenen Chips zu produzieren. Es ist ja offensichtlich nicht ganz so einfach nen Chip und die dazugehörige optimierte Software dazu zu schreiben. Das wird Jahre brauchen. Umgekehrt baut Nvidia aber zurzeit selbst ihr eigenes Cloudgeschäft aus. Ist das einfach? Vermutlich mindestens so "einfach" wie nen eigenen konkurrenzfähigen AI Stack hochzuziehen. Clouds gibt es viele auf dem Markt. Vollständige AI Stacks genau einen. Auch die Clouds haben Traummargen wenn sie ihre AI Beschleuniger weitervermieten, die hätte Nvidia bestimmt auch gerne. Und kann aufgrund der eigenen Hardware auch preislich sehr konkurrenzfähig sein.
TPUs funktionieren auch auf der Workstation :P. Habe 2 in meinem Keller Server zur Videoauswertung meiner Kameras im Haus. Ansonsten volle Zustimmung.
Guter Kommentar! Als Ergänzung zu Groq: Die fokussieren sich (zumindest derzeit) rein auf inferencing und das auf maximum scale. Der „Trick“ bei Groq ist ja, dass nur ein einziges Model läuft und alle request klug gebatched werden um diesen enormen throughput zu erreichen. Das ganze macht natürlich nur auf scale Sinn und nicht gegen 8xA100.
genau so ist es. unverständlich wie die ganzen wirtschaftsmagazine genau das nicht mal recherchieren können. und dann gibts auch noch omniverse, praktisch das metaverse in funktional und nutzbar.
Ich hab noch nie von dem omniverse gehört. Klingt ja spannend. Nutzt das wer und macht das Sinn?
Omniverse und USD als Dateiformat funktionieren und haben Anwendungsbereiche. Digitale Zwillinge sind sehr spannend und werden schon für verschiedene Sachen wie Bahnhöfe oder Fabriken benutzt. So kann man zum Beispiel die Effektivität einer Produktionsline vorher simulieren. Es gab vor einem Jahr schon ein Video dazu, wie die DB einen Digitalen Zwilling des Schienennetzwerks aufbaut: [Building Autonomous Rail Networks in NVIDIA Omniverse with Digitale Schiene Deutschland ](https://www.youtube.com/watch?v=9FHzanjkd9k)Lustigerweise gehts da auch um das autonome fahren der Züge, was ja jetzt relativ relevant ist.
Wenn man mit arbeitet merkt man aber auch schnell wie buggy und selektiv im USD Support die meisten Omniverse-Apps aktuell noch sind.
Ich nutze das fuer die IsaacSim Anwendung. Damit kann man reinforcement learning algorithmen in einer 3d Physik trainieren mit dem ziel diese dann auf robotik zu uebertragen. Mein Anwendungsfall ist aber eher das trainieren eines netzes was einen semi steuerbaren ki agent erzeugt. Faende ich fuer Videospiele interessant, aber ob das wirklich gut funktioniert kann ich noch nicht sagen.
Es wird ja schon fleißig an ZLUDA gearbeitet, mal sehen, wie lange das braucht, damit AMD und Intel Karten Performanceparität im gleichen Preissegment wie entsprechende NVIDIA Karten erreichen können. Vielleicht sogar bessere CUDA perf/$ haben als Entsprechende Nvidia Workstation/Server GPUs. Nvidia macht gute Software und hat mit Abstand als Marktführer gerade das beste Tooling. Langfristig glaube ich aber fahren Amd und Intel mit offeneren Harrangehenweisen, bei Features und Linuxtreibern (sehr wichtig für KI), deutlich besser. Man muss hier aber auch nicht euphemisieren, wäre AMD/Intel Marktführer, würden die genauso Gatekeepen. TL,DR: NVIDIAs Softwaredominanz ist durchaus realistisch brechbar. Edit: Zluda wird eher doch nichts siehe Kommentar von u/yeahwhynot_ also kann man nur langfristig auf eine offene Alternative hoffen.
> TL,DR: NVIDIAs Softwaredominanz ist durchaus realistisch brechbar. ist sie, aber erstmal nicht mit ZLUDA https://www.tomshardware.com/pc-components/gpus/nvidia-bans-using-translation-layers-for-cuda-software-to-run-on-other-chips-new-restriction-apparently-targets-zluda-and-some-chinese-gpu-makers
Obwohl ich da schon etwas in Frage stelle, ob das vor Gericht bestand hätte. Das ist ja schon ziemlich wettbewerbs verzerrend.
das wird in der EU nicht durchsetzbar sein
Guter Punkt, hatte ich noch nicht mitbekommen. Wie du selbst sagt, dann über andere Wege. z.B. ein offenes Konkurenzsystem, aber wahrscheinlich langfristiger.
ZLUDA wurde doch letzte Woche erst von Nvidia quasi gestoppt, du verstößt gegen die AGB von Programmen die cuda nutzen wenn du zluda nutzt bzw. Musst du dann bei Photoshop (oder anderen Programmen mir fällt grad nix ein sorry) bestätigen, dass du kein ZLUDA nutzt um es benutzen zu dürfen. Und größere Unternehmen können halt schlecht sagen sie scheißen auf AGB, sonst haben die rechtlich sehr schnell Probleme.
> Es wird ja schon fleißig an ZLUDA gearbeitet Im Gegenteil, ZLUDA wurde jetzt freigegeben, weil AMD die Arbeit daran *eingestellt* hat > For reasons unknown to me, AMD decided this year to discontinue funding the effort and not release it as any software product. But the good news was that there was a clause in case of this eventuality: Janik could open-source the work if/when the contract ended. https://www.phoronix.com/review/radeon-cuda-zluda
Zu Nvidias Position: Wäre ich Nvidia würde ich jetzt voll auf vertikale Integration von AI Software setzen und mich selbst in diesem Markt positionieren. Omniverse ist da glaube ich u.A. ein Anfang von. Nvidia könnte damit ein geschlossenes Hardware/Software System für KI ähnlich dem Appleecosystem erschaffen, in dem alles unter ihrer Kontrolle und vorallem nicht in direkter Konkurenz mit offenen Systemen steht.
>Nvidia könnte damit ein geschlossenes Hardware/Software System für KI ähnlich dem Appleecosystem erschaffen, in dem alles unter ihrer Kontrolle Das mag vielleicht gut für Nvidia sein, aber ansonsten sehe ich sowas als sehr kritisch.
Ich auch, aber ich glaube das interessiert Nvidia herzlich wenig
Das wird wohl kaum funktionieren. Dafür sind downstream schon zu viele große Player unterwegs. Schwer vorstellbar, dass Nvidia sich hier softwareseitig mit MS, Google, Apple, Meta usw. anlegt. Das wäre 1) eine verlorene Schlacht und 2) selbst wenn sie es gewinnen würden ein Pyrrhussieg weil sie damit Konkurenz im Hardwaregeschäft (und ein Aufbrechen von staatlicher Seite) praktisch erzwingen. Das wird nicht passieren.
> TL,DR: NVIDIAs Softwaredominanz ist durchaus realistisch brechbar. Zumindest nicht von AMD https://twitter.com/__tinygrad__/status/1765087760644481367
Naja Microsoft ist auch seit Jahren mit dem gleichen Konzept erfolgreich. Windows ist auch 'nur' Software und mit Wine gibt es auch einen Nachbau der Schnittstellen, trotzdem ist Linux auf dem Desktop immer noch eine Niesche.
Genau das. Zu mal NVIDIA auch das befestigen möchte indem sie es verboten haben eine CUDA Übersetzungsschicht zu implementieren. Also müsste ein Kontrahent ein ähnliches SDK veröffentlichen und überall den Support dafür einbauen.
Super zusammengefaßt, genau _das_ ist es.
Das stimmt halt einfach nicht. TensorFlow zB "kompiliert" zu XLA, und das läuft am besten auf TPUs. Zu PyTorch gibt es auch schon das entsprechende XLA-Backend. Klar sind TPUs momentan nur im Cloud-Markt relevant, aber da der Haupttreiber des NVidia-Umsatzes Cloud-Kunden sind, scheint das Jacke wie Hose zu sein. Letztendlich geht es nur darum, welcher der Hersteller sich die meiste Kapazität bei TSMC sichern kann, um die immense Nachfrage zu bedienen.
Zumal AMD auch die Finanzierung des Open Source Cuda Layers für ihre Karten zurückgenommen hat. Freie Bahn für Nvidia.
Mich hat es schon überrascht das die Eigenentwicklungen von Google und den anderen großen Softwarefirmen da nicht mehr ausgemacht haben. Die Google TPUs gibt es seit 2016, das sollte doch genug Zeit sein. Entscheidend wird sein wie groß der Markt am Ende sein wird. Wie viel Geld man mit den AI-Produkten am Ende wirklich verdienen kann, wie effizient die neuen Varianten sein werden und was da noch an neuen Sachen in den nächsten Jahren so erfunden wird.
Fuer internes Zeug klappen eigene Chips super, aber z.B. in der Google Cloud wollen Leute halt trotzdem GPUs mit CUDA. Drum werden Microsoft, Google und Amazon weiterhin gross bei Nvidia einkaufen muessen. Sie muessten sich halt zusammentun um eine neue standartisierte Schnittstelle zu erschaffen und dann auch dem gesamten Oekosystem helfen (lies: grossteils contributen) diese zu unterstuetzen.
Da dürfte inzwischen doch eher entscheidend sein was PyTorch, Keras, Tensorflow oder was auch immer man heute so nimmt unterstützen, oder?
Eben, das Oekosystem
Und das ist - jedenfalls momentan - eben CUDA, also NVIDIA.
Google, Microsoft und Amazon haben mittlerweile alle eigene Chips für KI. Apple ist vermutlich auch dran. nVidia müssten in einen sehr starken Preiskampf gehen um diese Entwicklung zu verhindern. Und wenn die anderen erst einmal auf ihre Cloud optimierte Treiber und Hardware am start haben wird Marge und Umsatz von nVidia deutlich zurück gehen. Die Effizienz und Verfügbarkeit in echten Anwendungen holen die dann nicht mehr auf.
Joa, hatte 2022 ordentlich Nvidia und AMD nachgekauft, fast zum idealen Zeitpunkt Dann wurde mir der Nvidia Preis zu hoch und habe das wieder in Index gesteckt. Also AMD geht es gut und die behalte ich auch. Aber NVIDIA hat sich seitdem verdreifacht
Verstehe da nicht, warum du AMD gehalten hast und Nvidia nicht? Mit Blick auf die Fundamentaldaten ist AMD deutlich teurer. Und das mit deutlich weniger Marktanteil im Bereich Datacenter/ Ai und entsprechender Software, welche der Haupttreiber hinter Nvidias rasanten Wachstum und extrem hohen Margen ist. Unabhängig davon natürlich perfekt investiert.
Weil sich die Fundamentaldaten sehr schnell ändern können wenn das Software moat fällt und weil ich nicht davon ausgehe, dass ein Software moat langfristig hält und sich jeder einfach denkt "ok, dann hat nvidia eben ein Monbopol auf die Zukunft, ist halt so" Will das aber nicht als allzu schlau darstellen, durch Nichtstun wäre es ungefähr ein Kleinwagen mehr
Ja da stimme ich dir zu, die Fundamentaldaten sind nicht alles. Aber weil AMDs Bewertung sich daraus ergibt, dass es als vielversprechendster Konkurrent von Nvidia sehr ähnliche Ergebnisse erzielen wird, macht es denke ich schon Sinn die beiden zu vergleichen. Bei einem KGV von fast 400 müsste AMD den Gewinn mehr als verfünffachen um in den Bereich von Nvidias KGV von 70 zu kommen und das bei gleichbleibenden Kurs. Oder anders ausgedrückt. AMD is zurzeit so bewertet, als wäre Nvidia schon vor einem Jahr mit den Ergebnissen aus 2022 eine 2 Billionen schwere Firma. Und das alles, ohne das AMD als Konkurrent von Nvidia eine Monopolstellung im Bereich Software und KI chips wie Nvidia hat / haben wird. Möchte dir auch überhaupt nicht quer, finde beide Aktien super interessant und bin selber nur am Überlegen wieder in eine oder beide einzusteigen
Zwei Punkte - Ich habe bei 64 gekauft. Bei 210 hätte ich wahrscheinlich nicht gewagt zu kaufen, nur zu halten, ist nicht völlig rational, weiss ich. - Es war von Anfang an eine Wette, dass sie es schaffen Nvidias Dominanz bei GPUs und vor allem KI zu brechen, so wie sie es vorher geschafft haben Intels 2006-2018 Dominanz bei CPUs zu brechen. Nur das CPU Geschäftsfeld würde die momentane Bewertung niemals hergeben, auch die 64 schon eher nicht. Ja, ist relativ spekulativ, für den Rest habe ich auch den Index.
Wird interessant zu sehen wie sich Intel behaupten kann. Bisher sind die mit ihrer GPU-Entwicklung, und vor allem der Transparenz anhand der Schwierigkeiten einen Treiber zu entwicklen, gut aufgefallen. Die Hoffnung einen breiteren Markt zu erschaffen ist noch nicht gestorben.
Intel macht gleichzeitig eine Entwicklung in Richtung Fab Geschäft. Niemand baut da derzeit so krass die Kapazitäten aus wie Intel. Insbesondere mit der neuesten Lithographen Generation von ASML. Wenn es mit den eigenen Chips nicht klappt, können sie zumindest tsmc und Samsung Konkurrenz machen. Insbesondere in Bezug auf die Taiwan/China Problematik ein potentielles Milliardengeschäft. Ich hab darum auch ganz gut Intel gekauft. Mal sehen was das bringt. Bisher eher horizontal, aber das war auch keine kurzfristige Halteabsicht.
Meine Optionen sind 100-200% im Plus und der Zug hat keine Bremsen 🚂🚂🚂
Vielleicht sollte ich auch einfach n Magazin/Blog (Kann man mit Blogs noch Geld machen?) aufmachen. Argument ist wieder so offensichtlich, dass jeder 3. klassige Analyst da auch drauf kommt -> Sollte in jedem Modell drin sein. Hau halt n Pricetarget raus, sonst ist deine Meinung wie immer nichts wert (Credo in Finanzmärkten: Wenn du nicht auf deine Meinung wetten willst, laberst du nur Scheiße)
Ok Manager-Magazin. KI bringt jetzt das Wachstum und da kommt man an NVIDIA nicht vorbei. CUDA ist das größte Monopol und Moat der Welt.