Groq
| Groq, Inc. | |
|---|---|
| 公司類型 | 私人公司 |
| 成立 | 2016年 |
| 創辦人 | 喬納森·羅斯 |
| 代表人物 | 喬納森·羅斯(行政總裁)、桑尼·馬德拉(營運總監) |
| 總部 | |
| 產業 | |
| 產品 | 語言處理單元(LPU) |
| 營業額 | 5億美元(2025年)[1] |
| 淨收入 | −8800萬美元(2023年)[1] |
| 員工人數 | 250人(2023年) |
| 網站 | groq |
Groq, Inc. 是一家美國人工智能(AI)公司,研發用於AI推理的人工智能加速器專用集成電路(ASIC)。該晶片架構最初以張量流處理器(Tensor Streaming Processor,TSP)之名推出,後隨ChatGPT問世引發大型語言模型(LLM)廣泛普及,而更名為語言處理單元(Language Processing Unit,LPU)。該公司還開發相關的電腦硬件與軟件,以加速AI推理效能。
可執行在Groq LPU上的AI工作負載包括:大型語言模型(LLM)[2][3]、圖像分類[4]以及預測性分析[5][6]。
Groq總部位於美國加利福尼亞州山景城,在聖何塞、華盛頓州利伯蒂湖、多倫多、倫敦設有辦公室,並在北美洲和歐洲各地擁有遠端員工。
2025年12月,輝達(Nvidia)與Groq宣布達成一項據稱價值約200億美元的協定,輝達將獲得Groq的AI推理技術的授權,並接納數名Groq高管加盟[7][8]。Groq表示將繼續作為獨立公司運營[9]。
歷史
[編輯]Groq於2016年由一群前Google工程師創立,領銜人為喬納森·羅斯(Jonathan Ross)——他是張量處理單元(TPU)的設計者之一;道格拉斯·懷特曼(Douglas Wightman)則是一名企業家、曾任Google X(即X開發公司)工程師,並出任公司首任行政總裁[10][1]。
Groq獲得了Chamath Palihapitiya創立的Social Capital的種子投資,2017年投資額為1000萬美元[11],此後很快又獲得追加融資。2021年4月,Groq完成由老虎環球基金(Tiger Global Management)和D1 Capital Partners領投的3億美元C輪融資[12]。現有投資者包括:Infinitum、The Spruce House Partnership、Addition、GCM GrosvenorXⁿ、Firebolt Ventures、General Global Capital與Tru Arrow Partners,以及Infinitum、TDK旗下TDK Ventures與XTX Ventures的追加投資[13]。C輪融資後,Groq估值超過10億美元,躋身獨角獸行列[14]。
2022年3月1日,Groq收購了以數據流系統技術著稱的Maxeler Technologies。為尊重Oskar Mencer博士及其團隊在該領域長期的研究成果,Maxeler決定保留其品牌[15][16]。
2023年8月16日,Groq選擇三星電子位於德克薩斯州泰勒市的晶圓廠為其下一代晶片代工,採用三星4納米製程工藝,這也是這座三星新工廠獲得的首筆晶圓代工訂單[17]。
2024年2月19日,Groq低調上線開發者平台GroqCloud,吸引開發者使用Groq API並租用其晶片算力[18][1]。2024年3月1日,Groq收購了主營面向企業AI解決方案的初創公司Definitive Intelligence,以助力其雲平台[19]。
2024年8月,Groq完成由貝萊德私募股權部門領投的6.4億美元D輪融資,估值達28億美元[1][20]。2025年2月10日,Groq宣布獲得沙特阿拉伯15億美元的承諾投資,用於擴大其基於LPU的AI推理基礎設施,並在沙特達曼新建GroqCloud數據中心[21][22]。
截至2025年,Groq已在美國、加拿大、中東和歐洲建成十餘座數據中心,並應用其技術[23]。
2025年12月,輝達同意以約200億美元收購Groq的部分資產,這是輝達史上最大的一筆交易[24]。Groq將其描述為一項非獨佔授權協定[9]。作為協定的一部分,Groq創始人羅斯與公司總裁桑尼·馬德拉將加入輝達。2026年5月,有報道稱Groq正從現有投資者處籌集6.5億美元,用於向AI推理雲業務轉型,該輪融資以按比例配售形式進行,由投資者Disruptive與Infinitum提供後備認購[25][26][7][8]。2026年8月24日,輝達宣布,旗下Groq 3 LPX架構已經實現全面量產,該架構通過大幅提升Token生成速率,擴充了輝達Vera Rubin NVL72系統的推理效能。同時,新雲廠商Nebius成為首個採用輝達Groq 3 LPX的AI雲服務商,產品將於今年晚些時候上線。[27]
語言處理單元
[編輯]
Groq最初將自研ASIC命名為張量流處理器(TSP),代號「艾倫」(Alan);後由品牌副總裁馬克·希普斯(Mark Heaps)與創始人兼CEO喬納森·羅斯將其更名為語言處理單元(LPU),以更直觀地體現處理器的用途[28][2][29][30]。
LPU採用功能切片(functionally sliced)式微架構,將儲存單元與向量、矩陣計算單元交錯排布[31]。這種設計有利於利用AI計算圖中的數據流局部性,從而提升執行效能與效率。LPU的設計基於兩個關鍵觀察:
- AI工作負載具有顯著的數據並列性,可對映到專用硬件上,從而帶來效能提升[31]。
- 確定性(deterministic)的處理器設計,配合生產者-消費者編程模型,可對硬件部件實現精確的控制與推理,從而最佳化效能與能效[31]。
除功能切片式微架構外,LPU還可概括為單核、確定性的架構[31][32]。LPU通過避免使用傳統反應式硬件部件(分支預測器、仲裁器、重排序緩衝區、快取)[31],並由編譯器顯式控制所有執行,從而保證程式執行的確定性[31]。
第一代LPU(TSP)在25×29毫米的14納米晶片、900兆赫茲標稱時鐘頻率下,每平方毫米矽片的計算密度超過每秒1萬億次運算(1 TeraOp/s)[31]。第二代LPU(LPU v2)將採用三星4納米製程製造[17]。
Groq在其LPU上寄存開源大型語言模型供公眾訪問[33]。這些演示可通過Groq官網及其開發者playground訪問。
參見
[編輯]參考資料
[編輯]- ^ 1.0 1.1 1.2 1.3 1.4 Nieva, Richard. The AI Chip Boom Saved This Tiny Startup. Now Worth $2.8 Billion, It's Taking On Nvidia. Forbes. 2024-08-05 [2026-09-02]. (原始內容存檔於2024-09-30) (英語).
- ^ 2.0 2.1 Williams, Wayne. 'Feels like magic!': Groq's ultrafast LPU could well be the first LLM-native processor — and its latest demo may well convince Nvidia and AMD to get out their checkbooks. TechRadar Pro. TechRadar. 2024-02-27 [2024-04-19]. (原始內容存檔於2024-02-27) (英語).
- ^ Ward-Foxton, Sally. Groq Demonstrates Fast LLMs on 4-Year-Old Silicon. EETimes. 2023-09-12 [2024-04-19]. (原始內容存檔於2024-04-08) (英語).
- ^ Ward-Foxton, Sally. Groq's AI Chip Debuts in the Cloud. EETimes. 2020-01-21 [2024-04-19]. (原始內容存檔於2020-11-28) (英語).
- ^ Heinonen, Nils. Researchers accelerate fusion research with Argonne's Groq AI platform. Argonne Leadership Computing Facility. [2024-04-19]. (原始內容存檔於2022-11-01) (英語).
- ^ Larwood, Mariah; Cerny, Beth. Argonne deploys new Groq system to ALCF AI Testbed, providing AI accelerator access to researchers globally. Argonne Leadership Computing Facility. [2024-04-19]. (原始內容存檔於2024-04-26) (英語).
- ^ 7.0 7.1 Nellis, Stephan. Nvidia, joining Big Tech deal spree, to license Groq technology, hire executives. Reuters. 2025-12-24 [2025-12-26]. (原始內容存檔於2025-12-26) (英語).
- ^ 8.0 8.1 Silberling, Amanda. Nvidia to license AI chip challenger Groq's tech and hire its CEO. TechCrunch. 2025-12-24 [2025-12-26]. (原始內容存檔於2026-08-17) (英語).
- ^ 9.0 9.1 Groq and NVIDIA enter non-exclusive inference technology licensing agreement. Groq. 2025-12-24 [2025-12-26]. (原始內容存檔於2026-08-24) (英語).
- ^ Levy, Ari. Several Google engineers have left one of its most secretive AI projects to form a stealth start-up. CNBC. 2017-04-21 [2024-04-19]. (原始內容存檔於2024-03-14) (英語).
- ^ Clark, Kate. Secretive semiconductor startup Groq raises $52M from Social Capital. TechCrunch. 2018-09-06 [2024-04-19]. (原始內容存檔於2024-04-19) (英語).
- ^ King, Ian. Tiger Global, D1 Lead $300 Million Round in AI Chip Startup Groq. Bloomberg. 2021-04-14 [2024-04-19]. (原始內容存檔於2021-12-06) (英語).
- ^ Wheatly, Mike. AI chipmaker Groq raises $300M in Series C round. Silicon Angle. 2021-04-14 [2024-04-19]. (原始內容存檔於2021-04-14) (英語).
- ^ Andonov, Kaloyan; Lavine, Rob. Analysis: Groq computes a $300m series C. Global Venturing. 2021-04-19 [2024-04-19]. (原始內容存檔於2024-03-19) (英語).
- ^ Oskar Mencer. Google學術. [2026-01-30] (英語).
- ^ Prickett Morgan, Timothy. GROQ BUYS MAXELER FOR ITS HPC AND AI DATAFLOW EXPERTISE. The Next Platform. 2022-03-02 [2024-04-19]. (原始內容存檔於2024-03-13) (英語).
- ^ 17.0 17.1 Hwang, Jeong-Soo. Samsung's new US chip fab wins first foundry order from Groq. The Korea Economic Daily. [2024-04-19]. (原始內容存檔於2024-03-20) (英語).
- ^ Franzen, Carl. Groq launches developer playground GroqCloud with newly acquired Definitive Intelligence. Venture Beat. 2024-03 [2024-04-19]. (原始內容存檔於2024-04-19) (英語).
- ^ Wiggers, Kyle. AI chip startup Groq forms new business unit, acquires Definitive Intelligence. TechCrunch. 2024-03-01 [2024-04-19]. (原始內容存檔於2024-04-19) (英語).
- ^ Wiggers, Kyle. AI chip startup Groq lands $640M to challenge Nvidia. TechCrunch. 2024-08-05 [2024-08-26]. (原始內容存檔於2024-08-25) (英語).
- ^ Saudi Arabia Announces $1.5 Billion Expansion to Fuel AI-powered Economy with Groq. Groq. 2025-02-10 [2025-12-24]. (原始內容存檔於2025-06-20) (英語).
- ^ AI chip startup Groq secures $1.5 billion commitment from Saudi Arabia. Reuters. 2025-02-10 [2025-12-24] (英語).
- ^ Kao, Kimberley. AI Unicorn Groq Charts Data-Center Expansion Plan. The Wall Street Journal. 2025-10-03 [2025-10-04] (英語).
- ^ Faber, David. Exclusive: Nvidia buying AI chip startup Groq's assets for about $20 billion in its largest deal on record. CNBC. 2025-12-24 [2025-12-26]. (原始內容存檔於2026-08-27) (英語).
- ^ Silberling, Amanda. After Nvidia's $20B not-acqui-hire, AI chip startup Groq reportedly raising $650M. TechCrunch. 2026-05-29 [2026-06-02]. (原始內容存檔於2026-07-09) (英語).
- ^ Groq raising $650 million for its second act. Axios. 2026-05-28 [2026-06-02]. (原始內容存檔於2026-07-25) (英語).
- ^ 胡含嫣. 200亿美元收购成果落地:英伟达Groq机架已全面量产,响应速度快4倍. 澎湃新聞. 2026-08-25 [2026-09-03].
- ^ Lyons, Austin. Chipstrat Chat with Groq's Mark Heaps. Chipstrat. 2026-01-30 [2026-01-30]. (原始內容存檔於2026-06-13) (英語).
- ^ Mellor, Chris. Grokking Groq's Groqness. Blocks & Files. 2024-01-23 [2024-04-19]. (原始內容存檔於2026-01-18) (英語).
- ^ Abts, Dennis; Ross, Jonathan; Sparling, Jonathan; Wong-VanHaren, Mark; Baker, Max; Hawkins, Tom; Bell, Andrew; Thompson, John; Kahsai, Temesghen; Kimmell, Garrin; Hwang, Jennifer; Leslie-Hurd, Rebekah; Bye, Michael; Creswick, E.R.; Boyd, Matthew; Venigalla, Mahitha; Laforge, Evan; Purdy, Jon; Kamath, Purushotham; Maheshwari, Dinesh; Beidler, Michael; Rosseel, Geert; Ahmad, Omar; Gagarin, Gleb; Czekalski, Richard; Rane, Ashay; Parmar, Sahil; Werner, Jeff; Sproch, Jim; Macias, Adrian; Kurtz, Brian. Think Fast: A Tensor Streaming Processor (TSP) for Accelerating Deep Learning Workloads (PDF). 2020 ACM/IEEE 47th Annual International Symposium on Computer Architecture (ISCA). 2020-05: 145–158 [2026-09-02]. ISBN 978-1-7281-4661-4. doi:10.1109/ISCA45697.2020.00023. (原始內容 (PDF)存檔於2025-06-12).
- ^ 31.0 31.1 31.2 31.3 31.4 31.5 31.6 Abts, Dennis; Kimmell, Garrin; Ling, Andrew; Kim, John; Boyd, Matt; Bitar, Andrew; Parmar, Sahil; Ahmed, Ibrahim; Dicecco, Roberto; Han, David; Thompson, John; Bye, Michael; Hwang, Jennifer; Fowers, Jeremy; Lillian, Peter; Murthy, Ashwin; Mehtabuddin, Elyas; Tekur, Chetan; Sohmers, Thomas; Kang, Kris; Maresh, Stephen; Ross, Jonathan. A software-defined tensor streaming multiprocessor for large-scale machine learning. Proceedings of the 49th Annual International Symposium on Computer Architecture. 2022-06-11: 567–580 [2024-03-18]. ISBN 978-1-4503-8610-4. doi:10.1145/3470496.3527405. (原始內容存檔於2025-06-02).
- ^ Singh, Satnam. The Virtuous Cycles of Determinism: Programming Groq's Tensor Streaming Processor. Proceedings of the 2022 ACM/SIGDA International Symposium on Field-Programmable Gate Arrays. 2022-02-11: 153 [2024-03-18]. ISBN 978-1-4503-9149-8. doi:10.1145/3490422.3510453. (原始內容存檔於2025-02-25).
- ^ Morrison, Ryan. Meet Groq — the chip designed to run AI models really, really fast. Tom's Guide. 2024-02-27 [2024-04-19]. (原始內容存檔於2026-03-16) (英語).