BittWare Acceleratore GroQCard™
BittWare GroqCard™ Accelerator is a double-width PCIe form factor ML accelerator developed to integrate easily. The GroqWare™ suite implements a software-defined hardware approach, allowing easy deployment paths for PyTorch, TensorFlow, and ONNX-trained deep learning models. The BittWare GroqCard Accelerator features scalability with nine RealScale™ chip-to-chip connections that guarantee the deployment of multiple cards as efficiently as one. Furthermore, an internal software-defined network delivers predictable, repeatable performance with no run-to-run variations. The GroqCard has been qualified for use with the SMC AS-4124GS-TNR and Dell R750xa. The HPE DL385 Gen 10 Plus has been tested, but the full server interop exercise was not completed. In addition, liquid has also qualified the GroqCard in the chassis with up to 16 GroqCards. Using the GroqCard in other server models is at the user's risk.
Processore GroQBLUETOOTH™
Il processore GroqChip completamente deterministico è il nucleo delle prestazioni scalabili. Costruito da zero per accelerare i carichi di lavoro IA, ML e HPC, GroqChip riduce il movimento dei dati per prestazioni prevedibili a bassa latenza, senza colli di bottiglia. Questo chip autonomo fornisce un’integrazione flessibile in applicazioni ad alta intensità di calcolo. L’architettura è molto più semplice di una GPU ed è progettata concentrandosi innanzitutto sul software, in modo da semplificare la programmazione e fornire prestazioni prevedibili con minore latenza.
Suite GroqWare™
La suite GroqWare è uno stack software completo e versatile progettato per accelerare una varietà di carichi di lavoro HPC e ML. Composta da compilatore Groq™, API Groq e utility, la suite facilita le implementazioni con un driver/runtime open-source e supporto per framework IA/ML standard del settore. La Tool Chain di Groq™ (inclusa nella Suite GroqWare) consente a una singola linea di codice Pytorch o TensorFlow di importare e trasformare i modelli esistenti attraverso una toolchain completamente automatizzata per l’esecuzione dell’hardware Groq.
Caratteristiche
- Processore completamente deterministico: prestazioni prevedibili e ripetibili senza variazioni di funzionamento
- Protezione su chip End-to-end – Migliora i tempi di attività e l’affidabilità con la protezione ECC (error correction code) lungo l’intero percorso dati GroqBLUETOOTH™
- 230 MB di memoria on-die – Ampia SRAM condivisa a livello globale per accesso ad alta larghezza di banda e bassa latenza ai parametri del modello senza la necessità di memoria esterna
- Connettori chip-to-chip 9x scala reale – scalabilità multi-server e multi-rack quasi lineare senza la necessità di interruttori esterni
- Larghezza di banda di memoria on-die fino a 80 Tbs – Corrente massiccia e parallelismo dati per applicazioni sensibili alla larghezza di banda
- Interfaccia PCIe Gen4 x16 – fino a 31,5 GB/s di larghezza di banda bidirezionale in un’interfaccia standard del settore per connessioni rapide di dispositivi e rete
Applicazioni
- Finanza
- Scienza e governo
- IA generativa
- Settore industriale
- Olio e gas
Specifiche
- Fattore di forma adattatore PCI Express Gen4 x16 a doppia larghezza, altezza piena, lunghezza 3/4
- Prestazioni fino a 750 TOPs, 188 TFLOPs (INT8, FP16 a 900 MHz)
- Memoria
- SRAM per chip da 230 MB
- Larghezza di banda di memoria su chip fino a 80TB/s
- Scalabilità chip fino a 9 connettori chip-to-chip RealScale
- Numerics
- Tecnologia INT8, INT16, INT32 e TruePoint™
- MXM: FP32
- VXM: FP16, FP32
- Potenza
- Max.: 375 W
- TDP: 275 W
- Tipico: 240 W
Video
Panoramica di GroqChip
Soluzioni correlate
Molex Soluzioni IA e ML
Forniscono analisi in tempo reale per i settori dei trasporti, dell’agricoltura intelligente e dei dati/elaborazione.