• 苹果英伟达合作开源ReDrafterLLM推理速度飙升27倍

    苹果公司近期宣布与英伟达携手合作,共同推出了一项名为Recurrent Drafter(简称ReDrafter)的创新技术,这项技术旨在显著提升人工智能大语言模型(LLM)的推理速度。这一消息是在12月18日通过苹果公司的官方博文发布的。 据悉,ReDrafter技术已经成功融入英伟达的TensorRT-LLM推理加速框架中。这一整合使得在英伟达GPU上运行的LLM模型...

    时间:2024-12-20