訓(xùn)練 GPT3-175B 模型最高快 180%，谷歌宣布云端 AI 芯片 TPU v5p
發(fā)布時間：2023-12-07 14:45:46來源：
12 月 7 日消息，谷歌在推出全新大語言模型 Gemini 1.0 之外，還發(fā)布了加強(qiáng)版 Tensor Processing Unit（TPU）芯片，最新型號為 TPU v5p。
注：在性能方面，谷歌 TPU v5p 在 bfloat16 精度下，可以實(shí)現(xiàn) 459 teraFLOPS；在 Int8 精度下，可以實(shí)現(xiàn) 918 teraOPS。
谷歌 TPU v5p 配備 95GB 的 HBM3 內(nèi)存，內(nèi)存帶寬為 2.76TB / sec，每個 Pod 最多有 8960 個加速核心，并自研搭載 600GB/sec 芯片互聯(lián)主控，可以更快、更正確地訓(xùn)練 AI 模型。
與 TPU v4 相比，新宣布的 TPU v5p 具有兩倍的 FLOPS（每秒浮點(diǎn)運(yùn)算）和三倍的高內(nèi)存帶寬晉升。
谷歌表現(xiàn)在 BF16 精度下，訓(xùn)練 OpenAI 擁有 1750 億參數(shù)的 GPT3，比此前的 TPU v4 AI 加速器芯片快 90%；如果在 Int8 精度下可以到達(dá) 180%。
每個 TPU v5p 加速器的運(yùn)行費(fèi)用為每小時 4.20 美元，這比 TPU v4（每小時運(yùn)行費(fèi)用為 3.22 美元）和 TPU v5e（每小時運(yùn)行費(fèi)用為 1.20 美元）貴一點(diǎn)。
（責(zé)編： admin）
免責(zé)聲明：本文為轉(zhuǎn)載，非本網(wǎng)原創(chuàng)內(nèi)容，不代表本網(wǎng)觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時性本站不作任何保證或承諾，請讀者僅作參考，并請自行核實(shí)相關(guān)內(nèi)容。
