憑借超強(qiáng)性能表現(xiàn)與開源優(yōu)勢,DeepSeek 正迅速成為全球擴(kuò)展大模型應(yīng)用實踐的“頂流”。在這一創(chuàng)新旅程中,智微智能AI工作站搭載了英特爾銳炫?顯卡,為DeepSeek注入了強(qiáng)心劑。
本文將在 DeepSeek-R1- Distill-Qwen-32B 推理場景下,以面向企業(yè)級應(yīng)用,且成本最低可控制在 5-6 萬元人民幣的智微智能至強(qiáng)W系列工作站+4 路英特爾銳炫? A770 顯卡的解決方案為例,闡述搭建硬件環(huán)境與軟件配置。
軟硬件安裝配置
01
硬件安裝配置
02
軟件安裝配置
創(chuàng)新不止步:全新產(chǎn)品與滿血版 DeepSeek R1 方案正在路上
智微智能提供詳盡的部署指南,方便用戶部署。該解決方案可對 DeepSeek 各個蒸餾版提供同樣靈活的支持。使用者可通過調(diào)整輸入模型名稱,以及設(shè)定并行使用的顯卡數(shù)量來進(jìn)行調(diào)整。
另一方面,智微智能至強(qiáng)W系列工作站+4 路英特爾銳炫? A770 顯卡的解決方案的關(guān)鍵目標(biāo),還是鎖定在 DeepSeek- R1-671B 這一性能巔峰版本上,其配置與優(yōu)化方法很快就會與大家見面。預(yù)計其技術(shù)路徑會同時覆蓋基于 KTransformer,能更充分發(fā)揮至強(qiáng)? 處理器內(nèi)置 AI 加速技術(shù) AMX 潛能的方案,以及 GPU 配置密度更高的單機(jī) 16 路英特爾銳炫?顯卡的方案。