2026
03-23
03-23
NVIDIA要重塑AI：单用户速度可达2万Token每秒、能耗降1000倍 NEW
快科技3月23日消息，如果说前几年的AI重点是训练，那么现在的重点是推理，NVIDIA上周的GTC大会上已经发布了全新的LPU芯片，就是要重塑AI推理。在GTC大会期间，NVIDIA首席科学家Bill Dally跟谷歌首席科学家Jeff Dean两位大神有了一番精彩的深度访谈，其中Dally就谈到了NVIDIA在做的一些研究进展。AI推理对延迟的要求很高，Dally指出目前的瓶颈已经不是算力本身，瓶颈在通信开销上，NVIDIA正在研究片上通信的静态调度，将会彻底取消路由开销、...
Read More >