#Kvcache

Supermicro联合IBM与NVIDIA推出KV Cache存储方案，长上下文推理首词元生成提速达56倍

Supermicro宣布与IBM和NVIDIA合作推出全新KV cache存储解决方案，集成Petascale存储服务器、IBM Storage Scale软件及NVIDIA Dynamo与Spectrum-X网络。联合测试显示，在13万词元提示输入下，该方案首个词元生成时间比未使用cache时快达56倍。