Meta baut den größten KI-spezifischen Supercomputer der Welt

Die Muttergesellschaft von Facebook, Meta, baut den weltweit leistungsstärksten KI-spezifischen Supercomputer, um leistungsfähigere Tools für die Spracherkennung zu entwickeln, automatisch zwischen verschiedenen Sprachen zu übersetzen und das virtuelle 3D-Metaverse aufzubauen.

Der KI-Forschungs-SuperCluster (RSC) ist zwar noch lange nicht fertig, aber er ist bereits in Betrieb und hat den bisher schnellsten Supercomputer von Meta überflügelt. Dieser wurde 2017 entwickelt und arbeitete mit 22.000 leistungsstarken Grafikprozessoren (GPUs), die zwar für das Spielen von Spielen konzipiert sind, sich aber auch hervorragend für das Training von Modellen der künstlichen Intelligenz eignen.

Die RSC verfügt derzeit nur über 6080 Grafikprozessoren, die jedoch leistungsfähiger sind als die in der älteren Maschine, und sie ist bereits dreimal schneller beim Training großer KI-Modelle als ihre Vorgängerin. Seine derzeitige Leistung liegt gleichauf mit dem Perlmutter-Supercomputer im National Energy Research Scientific Computing Center in Kalifornien, der derzeit auf Platz fünf der TOP500-Rangliste der weltweiten Supercomputer steht.

Wenn das RSC fertiggestellt ist, wird es aus 16.000 GPUs bestehen und fast dreimal so leistungsfähig sein wie jetzt. Nach Angaben von Meta wird er zu diesem Zeitpunkt der schnellste KI-optimierte Supercomputer der Welt sein, mit einer Leistung von fast 5 Exaflops.

Supercomputer können so konzipiert werden, dass sie für bestimmte Aufgaben besonders gut geeignet sind. Der Rechner von Meta ist darauf spezialisiert, große KI-Modelle zu trainieren und auszuführen. Wenn er fertiggestellt ist, wird es weltweit noch leistungsfähigere Computer geben, aber nur wenige, und keinen, der seine genaue Architektur oder seinen Verwendungszweck teilt.

Die Spitzenforschung im Bereich der KI hat sich in den letzten Jahren auf Größenordnungen und immer leistungsfähigere Maschinen gestützt, mit denen Modelle trainiert werden können. Eines der größten neuronalen Netze, das Megatron-Turing Natural Language Generation Modell, hat 530 Milliarden Parameter, was in etwa den Verbindungen zwischen Gehirnzellen entspricht. Meta sagt, dass seine Maschine irgendwann Modelle mit Billionen von Parametern ausführen wird.

James Knight von der University of Sussex, UK, sagt, dass der vorgeschlagene Computer "riesig" ist, aber einige der Herausforderungen in der KI-Forschung nicht überwinden kann. "Ein so großes System wird definitiv die Erstellung größerer Modelle ermöglichen", sagt er. "Ich glaube jedoch nicht, dass die bloße Vergrößerung von Sprachmodellen die gut dokumentierten Probleme lösen wird, die darin begründet sind, dass bestehende Modelle sexistische und rassistische Sprache wiederholen oder bei grundlegenden Tests des logischen Denkens versagen."