97国产精品视频|欧美国产偷国产精品三区|在线欧美成人网站网址|亚洲在线色情日本无码视频网|高潮喷水在线日韩精品操|真真操逼视频国产免费啪啪片|超大波少妇欧美亚洲精品日韩一区|久久视频精品91午夜视频|亚洲无码成人动漫精品一区二区|中文字幕久久成人

附件1算力一體機(jī)要求序號設(shè)備名稱具體要求1算力一體機(jī)（一）硬件要求。須滿足國產(chǎn)化需求，需滿足70BDS版本部署要求，配置不低于4張算力卡，顯存≥128GB，合計FP16算力≥760TFLOPS；CPU主頻不低于21GHz；內(nèi)存≥512G，網(wǎng)卡至少具備2*10GE（雙口）光口；硬盤為SSD；上下文長度≥60K，推理并發(fā)≥20路，70B每請求輸出吞吐量≥7tokens/s。（二）推理框架。支持以vLLM推理框架部署大模型，以支持企業(yè)級高并發(fā)、高性能推理需求。（三）軟件。預(yù)置硬件管理軟件、模型管理軟件。（四）服務(wù)要求。本項目為軟件硬件一體機(jī)服務(wù)，為保障軟硬件平穩(wěn)運(yùn)行，實現(xiàn)一體機(jī)性能數(shù)據(jù)可信、智算服務(wù)穩(wěn)定和運(yùn)行風(fēng)險可控，此一體機(jī)所需的硬件管理平臺、DS模塊均為同一個供應(yīng)商自主研發(fā)。（五）Agent管理。支持創(chuàng)建空白應(yīng)用，允許使用簡單的設(shè)置編排聊天機(jī)器人應(yīng)用程序。支持發(fā)布管理及分析、應(yīng)用問答及監(jiān)控、歷史會話、用戶token監(jiān)控、知識庫文檔調(diào)用監(jiān)控、日志管理功能，支持復(fù)制、刪除應(yīng)用。（六）大模型。支持查看已納管的模型，支持設(shè)置上下文長度和最大token上限，支持模型切換。（七）支持個人/企業(yè)知識庫。支持創(chuàng)建/修改/刪除知識庫，支持TXT、MARKDOWN、PDF、HTML、HTM、DOCX、doc格式上傳，知識庫中的文檔支持查看、編輯、禁用、啟用、刪除分段，同時可基于知識庫進(jìn)行召回測試。（八）模型管理。支持私有化模型管理，支持添加LLM和TestEmbedding模型，其中LLM模型支持對話生成模式；支持修改模型相關(guān)參數(shù)，管理員設(shè)置的模型參數(shù)為模型全局默認(rèn)的參數(shù)，若用戶在個人空間修改參數(shù)后按照個人設(shè)置的為準(zhǔn)；支持禁用模型，同時禁用的模型支持刪除。