清華團隊開源大模型引擎"赤兔"：DeepSeek性能翻番
視 頻 入 口
清華大學高性能計算研究所翟季冬教授團隊、清華系科創企業清程極智今日聯合宣布，大模型推理引擎“赤兔 Chitu”現已開源。
據介紹，該引擎首次實現在非英偉達 Hopper 架構 GPU 及各類國產芯片上原生運行 FP8 精度模型，實現 DeepSeek 推理成本降低一半、性能翻番。其定位為“生產級大模型推理引擎”，提供如下特性：
多元算力適配：不僅支持 NVIDIA 最新旗艦到舊款的多系列產品，也為國產芯片提供優化支持。
全場景可伸縮：從純 CPU 部署、單 GPU 部署到大規模集群部署，赤兔引擎提供可擴展的解決方案。
長期穩定運行：可應用于實際生產環境，穩定性足以承載并發業務流量。
官方表示，當前開源的赤兔引擎在部署 DeepSeek-R1-671B 滿血版時，在 A800 集群的測試中，相比部分國外開源框架，實現了 GPU 使用量減少 50% 的同時，推理速度提升 3.15 倍。
文章版權聲明：除非注明，否則均為
摸魚手游網
原創文章，轉載或復制請以超鏈接形式并注明出處。
還沒有評論，來說兩句吧...