红帽联手谷歌、NVIDIA启动llm-d开源项目，破解大规模AI推理成本与延迟双重难题
全球开源解决方案领导者红帽公司近日宣布启动革命性开源项目llm-d，专门应对生成式AI大规模推理的迫切需求。该项目汇聚了CoreWeave、Google Cloud、IBM Research和NVIDIA等行业巨头作为创始贡献者，旨在通过突破性技术让大语言模型推理云满足最严苛的生产服务级目标。推理时代来临，挑战日益严峻根据Gartner最新数据预测，"到2028年，随着市场成熟，80%以上的数据中