據(jù)報(bào)道，清華大學(xué)高性能計(jì)算研究所翟季冬教授團(tuán)隊(duì)與清華系科創(chuàng)企業(yè)清程極智聯(lián)合宣布，開源大模型推理引擎“赤兔Chitu”。這一突破性技術(shù)為國(guó)產(chǎn)AI芯片的廣泛應(yīng)用和生態(tài)建設(shè)帶來了新的機(jī)遇。

　　“赤兔Chitu”首次實(shí)現(xiàn)在非英偉達(dá)Hopper架構(gòu)GPU及各類國(guó)產(chǎn)芯片上原生運(yùn)行FP8精度模型，解決了FP8精度模型對(duì)英偉達(dá)Hopper架構(gòu)（如H100/H200）的硬件依賴。

　　在A800集群的測(cè)試中，赤兔引擎在GPU使用量減少50%的情況下，推理速度提升了3.15倍，顯著降低了企業(yè)的硬件成本，同時(shí)提高了性能輸出。

　　赤兔引擎的智能優(yōu)化技術(shù)能夠快速適配不同芯片架構(gòu)，使國(guó)產(chǎn)廠商無需重復(fù)開發(fā)軟件，專注于硬件升級(jí)。目前，清程極智已與沐曦、燧原等廠商合作，推出“開箱即用”的推理一體機(jī)，廣泛應(yīng)用于金融、醫(yī)療等行業(yè)。

　　清程極智CEO湯雄超表示，當(dāng)前國(guó)內(nèi)在推理引擎這一核心環(huán)節(jié)仍缺乏生產(chǎn)級(jí)開源產(chǎn)品。開源“赤兔”引擎是推動(dòng)國(guó)內(nèi)AI生態(tài)建設(shè)的重要一步，將為行業(yè)提供更高效、更靈活的技術(shù)支持。