Jim Keller gefouert Chip Firma Tenstorrent huet seng nächst Generatioun Wormhole Prozessor fir AI Aarbechtslaascht verëffentlecht, déi et erwaart eng gutt Leeschtung zu engem bezuelbare Präis ze bidden.D'Firma bitt momentan zwou zousätzlech PCIe Kaarten déi een oder zwee Wormhole Prozessoren aménagéiere kënnen, souwéi TT-LoudBox an TT-QuietBox Workstations fir Software Entwéckler. All d'Ukënnegung vun haut riicht sech un Entwéckler, net déi, déi Wormhole Boards fir kommerziell Aarbechtslaascht benotzen.
"Et ass ëmmer erfreelech méi vun eise Produkter an d'Hänn vun den Entwéckler ze kréien. Verëffentlechungsentwécklungssystemer mat eise Wormhole ™ Kaarten kënnen d'Entwéckler hëllefen ze skaléieren an Multi-Chip AI Software z'entwéckelen, "sot den Jim Keller, CEO vun Tenstorrent.Zousätzlech zu dësem Start si mir begeeschtert fir de Fortschrëtt ze gesinn, dee mir mat der Band eraus an der Power-up vun eisem zweeter Generatioun Produkt, Blackhole maachen.
All Wormhole-Prozessor enthält 72 Tensix-Kären (vun deenen fënnef RISC-V-Kären a verschiddenen Dateformater ënnerstëtzen) an 108 MB SRAM, liwwert 262 FP8 TFLOPS op 1 GHz mat enger thermescher Designkraaft vun 160W. D'Single-Chip Wormhole n150 Kaart ass mat 12 GB GDDR6 Video Memory ausgestatt an huet eng Bandbreedung vun 288 GB / s.
Wormhole Prozessoren bidden flexibel Skalierbarkeet fir déi verschidde Bedierfnesser vun den Aarbechtsbelaaschtungen ze treffen. An engem Standard Workstation Setup mat véier Wormhole n300 Kaarte kënnen d'Prozessoren an eng eenzeg Eenheet kombinéiert ginn, déi an der Software als vereenegt, breet Tensix Kärnetz erschéngt. Dës Konfiguratioun erlaabt den Accelerator déiselwecht Aarbechtslaascht ze handhaben, tëscht véier Entwéckler opgedeelt oder bis zu aacht verschidde AI Modeller gläichzäiteg lafen. Eng Schlëssel Feature vun dëser Skalierbarkeet ass datt et lokal ka lafen ouni de Besoin fir Virtualiséierung. An engem Datenzenterëmfeld benotze Wormhole Prozessoren PCIe fir Expansioun bannent der Maschinn, oder Ethernet fir extern Expansioun.
Wat d'Performance ugeet, huet d'Tenstorrent Single-Chip Wormhole n150 Kaart (72 Tensix Cores, 1 GHz Frequenz, 108 MB SRAM, 12 GB GDDR6, 288 GB / s Bandbreedung) 262 FP8 TFLOPS bei 160W erreecht, wärend den Dual-Chip Wormhole n300 Board (128 Tensix Kären, 1 GHz Frequenz, 192 MB SRAM, aggregéiert 24 GB GDDR6, 576 GB / s Bandbreedung) liwwert bis zu 466 FP8 TFLOPS bei 300W.
Fir 300W vun 466 FP8 TFLOPS a Kontext ze setzen, wäerte mir et vergläichen mat deem wat den AI Maart Leader Nvidia bei dëser thermescher Designkraaft ubitt. Nvidia's A100 ënnerstëtzt net FP8, awer et ënnerstëtzt INT8, mat Héichleistung vu 624 TOPS (1,248 TOPS wann se schaarf). Am Verglach ënnerstëtzt den Nvidia's H100 FP8 an erreecht d'Peakleistung vun 1,670 TFLOPS bei 300W (3,341 TFLOPS bei sparse), wat wesentlech anescht ass wéi dem Tenstorrent sengem Wormhole n300.
Et gëtt awer ee grousse Problem. Tenstorrent's Wormhole n150 verkeeft fir $ 999, während den n300 fir $ 1,399 verkeeft. Zum Verglach, eng eenzeg Nvidia H100 Grafikkaart verkeeft fir $ 30,000, ofhängeg vun der Quantitéit. Natierlech wësse mer net ob véier oder aacht Wormhole Prozessoren d'Performance vun engem eenzegen H300 liwwere kënnen, awer hir TDPs sinn 600W an 1200W respektiv.
Zousätzlech zu de Kaarten, bitt Tenstorrent pre-built Workstations fir Entwéckler, dorënner 4 n300 Kaarten an der méi bezuelbarer Xeon-baséierter TT-LoudBox mat aktiver Ofkillung, an déi fortgeschratt TT-QuietBox mat EPYC-baséiert Xiaolong) Flëssegkühlungsfunktioun).
Post Zäit: Jul-29-2024