背景

某裝甲兵學院包括院本部、蚌埠校區(qū)和士官學校，院本部地處北京盧溝橋畔，交通便利，環(huán)境優(yōu)美，軍事特色鮮明，人文氣息濃厚；蚌埠校區(qū)和士官學校，分別位于安徽省蚌埠市蚌山區(qū)和吉林省長春市經濟技術開發(fā)區(qū)，氣候宜人，實戰(zhàn)化氛圍濃厚。院本部為原裝甲兵工程學院，前身是1953年在哈爾濱成立的軍事工程學院裝甲兵工程系；蚌埠校區(qū)為原裝甲兵學院，前身是1950年成立的坦克學校；士官學校為原裝甲兵技術學院，前身是1951年組建的第三戰(zhàn)車編練基地。

用戶需求

部署一套DeepSeek-R1 671B（滿血版）大模型，為教學、科研提供智能化支撐；要求采用國產化硬件一體機，符合國家安全可靠評測產品；要求20個并發(fā)訪問時首個token響應時間不超過1秒，單終端10tokens/秒，上下文關聯(lián)準確率≥95%，上下文長度≥64K，單次對話輪次不低于10輪，支持歷史對話追溯等。

智能體要求：

1. 智能問答：具備自然語言處理功能，支持規(guī)章制度智能解析，提供智能問答服務，輸出摘要與執(zhí)行建議。 

2. 公文處理：自動生成公文初稿（含報告、通知、講話等），支持WORD、PDF、TXT、XLS、WPS等格式導出。 

3. 文檔分析：能夠對本地私有文件進行語義解析、自動摘要、關鍵信息抽取和分類歸檔。     

4. 外掛知識庫：搭建知識庫框架，與基礎大模型建立順暢通聯(lián)，后期導入專用數據能夠被大模型高效讀取使用；支持 PDF文檔解析，支持多模型并行。

金品解決方案

根據客戶需求，“金品計算機”采用2臺基于海光處理器的金品KG4208-H74服務器，通過2*200Gb互聯(lián)構成集群架構，搭載16張x60 48GB國產GPU加速卡，（共768GB顯存）離線部署DeepSeek-R1 671B大模型，由于客戶的需求有智能問答、公文處理、文檔分析和外掛知識庫，金品在開源的RAG、Dify的基礎上進行了二次開發(fā)來滿足客戶的需求，支持參數微調、增量訓練等方式，準確率高達98%，得到客戶一致認可。

主要硬件選型

國產DeepSeek-R1 671B大模型一體機架構：

客戶收益：

1. 安全可靠：

采用私有化部署，數據本地化處理，與互聯(lián)網物理隔離，局域網使用；滿足客戶對數據安全性和合規(guī)的要求。

2. 數據接入自動化處理：

支持多種數據源接入，實現文件解析、數據清洗、文本分割、向量化、索引構建等全自動化處理，支持知識庫增量更新，方便知識庫持續(xù)優(yōu)化。

3. 多輪對話，精準回復

支持多輪對話，用戶可進行追問和澄清，系統(tǒng)理解上下文給出精準答案，提供答案來源溯源功能，提高答案可信度；在開源框架基礎上進行二次開發(fā)、模型微調后，知識庫問答準確率高達98%。

4. 多并發(fā)、快速響應

經現場測試本套系統(tǒng)支持50個用戶并發(fā)訪問，每個用戶10 tokens/秒；多用戶并發(fā)訪問時響應時間為1秒，用戶體驗流暢。