97国产精品视频|欧美国产偷国产精品三区|在线欧美成人网站网址|亚洲在线色情日本无码视频网|高潮喷水在线日韩精品操|真真操逼视频国产免费啪啪片|超大波少妇欧美亚洲精品日韩一区|久久视频精品91午夜视频|亚洲无码成人动漫精品一区二区|中文字幕久久成人

附件2大模型管理平臺(tái)功能需求序號(hào)功能名稱(chēng)需求描述1資源管理資源管理模塊主要負(fù)責(zé)對(duì)大規(guī)模的CPU、GPU、存儲(chǔ)等資源進(jìn)行管理和調(diào)度，資源調(diào)度引擎基于集群的硬件和組網(wǎng)特點(diǎn)，實(shí)現(xiàn)對(duì)算力資源的統(tǒng)一管理、調(diào)度和監(jiān)控，進(jìn)行細(xì)粒度的資源實(shí)時(shí)分配，支持多種不同廠商的GPU機(jī)器納管，支持構(gòu)建算力集群，支持用戶(hù)資源共享與隔離。2模型管理模型管理模塊提供模型上傳/下載、模型分享、模型部署上線(xiàn)以及納管第三方模型服務(wù)。支持一鍵部署為API能力，支持按照用戶(hù)分配調(diào)用權(quán)限、限制調(diào)用QPS、調(diào)用量，提供高可用、可擴(kuò)展的模型推理服務(wù)?？蓪?shí)時(shí)監(jiān)控模型運(yùn)行狀態(tài)、性能指標(biāo)和資源消耗情況，及時(shí)發(fā)現(xiàn)和解決模型運(yùn)行問(wèn)題。支持版本管理和灰度發(fā)布，確保模型更新過(guò)程的平滑穩(wěn)定。3模型開(kāi)發(fā)支持SFT全參、Lora等多種模型訓(xùn)練方式，可創(chuàng)建微調(diào)任務(wù)，對(duì)于模型微調(diào)任務(wù)，支持新建、刪除、搜索等基礎(chǔ)操作，支持查看詳情、查看日志、停止任務(wù)、訓(xùn)練模型可視化、故障恢復(fù)、模型上架等功能。4模型評(píng)估模型評(píng)估模塊支持對(duì)部署在平臺(tái)上的模型進(jìn)行評(píng)估，以了解模型在不同場(chǎng)景下的表現(xiàn)，驗(yàn)證模型的泛化能力，從而更好的優(yōu)化模型，主要包含：評(píng)估模板的創(chuàng)建與管理、評(píng)估任務(wù)的創(chuàng)建與管理、評(píng)估結(jié)果的展示。5知識(shí)庫(kù)管理提供從結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化文本等多種數(shù)據(jù)中抽取知識(shí)，構(gòu)建領(lǐng)域知識(shí)庫(kù)的能力，支持自定義分割策略、預(yù)處理策略、知識(shí)增強(qiáng)策略，支持單文件導(dǎo)入和批量導(dǎo)入兩種導(dǎo)入方式，提供高效可靠的知識(shí)存儲(chǔ)和管理，保障數(shù)據(jù)安全，提供知識(shí)檢索、推理、問(wèn)答入口，底層支持多種檢索模式，保證更好的知識(shí)檢索結(jié)果。支持針對(duì)檢索策略進(jìn)行召回測(cè)試，判斷檢索系統(tǒng)的召回結(jié)果是否符合預(yù)期。6智能體管理涵蓋智能體的可視化開(kāi)發(fā)、部署、監(jiān)控和維護(hù)等功能。通過(guò)直觀的圖形界面，用戶(hù)可以輕松設(shè)計(jì)和配置智能體的行為邏輯，減少對(duì)編程技能的依賴(lài)。平臺(tái)支持一鍵部署，將開(kāi)發(fā)完成的智能體快速應(yīng)用于生產(chǎn)環(huán)境，并提供實(shí)時(shí)監(jiān)控工具，跟蹤其運(yùn)行狀態(tài)和性能指標(biāo)，提供流量控制功能。7工作流提供可視化流程編排工具，支持將大模型、知識(shí)庫(kù)、工具、自定義代碼等算子按照順序進(jìn)行串聯(lián)，構(gòu)建自動(dòng)化工作流，知識(shí)基礎(chǔ)的開(kāi)發(fā)、發(fā)布和上線(xiàn)管理，支持定時(shí)任務(wù)、實(shí)踐觸發(fā)等多種任務(wù)調(diào)度方式，確保工作流高效穩(wěn)定運(yùn)行，實(shí)時(shí)監(jiān)控工作流運(yùn)行狀態(tài)，及時(shí)發(fā)現(xiàn)和處理異常情況。8語(yǔ)料管理提供語(yǔ)料的獲取、清洗、加工、治理、應(yīng)用和管理的全生命周期，提供基礎(chǔ)的語(yǔ)料清洗、語(yǔ)料切分和語(yǔ)料評(píng)測(cè)工具。9權(quán)限管理平臺(tái)具備完善、清晰的的權(quán)限架構(gòu)：用戶(hù)根據(jù)所分配到的角色，繼承該角色的權(quán)限來(lái)進(jìn)行模型開(kāi)發(fā)、應(yīng)用開(kāi)發(fā)和管理，管理員可對(duì)用戶(hù)、用戶(hù)組、角色權(quán)限進(jìn)行自由地創(chuàng)建和修改，并且針對(duì)不同部門(mén)的和職責(zé)的人員，設(shè)置差異化的權(quán)限，實(shí)現(xiàn)權(quán)限的集中管控。支持?jǐn)?shù)據(jù)、模型、應(yīng)用、資源層面的隔離，滿(mǎn)足個(gè)農(nóng)商行獨(dú)立開(kāi)發(fā)的需求。涉及關(guān)鍵的流程步驟，支持觸發(fā)審批流程，實(shí)現(xiàn)操作留痕。支持按照調(diào)用量、調(diào)用速度控制用戶(hù)訪問(wèn)權(quán)限。10運(yùn)維管理平臺(tái)提供對(duì)專(zhuān)屬資源池的監(jiān)控，用戶(hù)可查看整個(gè)集群的CPU、GPU、內(nèi)存等監(jiān)控信息，查看已上線(xiàn)模型、模型應(yīng)用的調(diào)用量、失敗率、token、QPS、TPM等指標(biāo)，提供統(tǒng)一的日志收集、查詢(xún)、存儲(chǔ)、下載和配置，幫助運(yùn)維人員輕松應(yīng)對(duì)日志采集、查詢(xún)等運(yùn)維場(chǎng)景。提供監(jiān)控告警管理，運(yùn)維人員通過(guò)告警監(jiān)控來(lái)監(jiān)控、管理系統(tǒng)自身或者對(duì)象上報(bào)的告警或者事件，告警提供了豐富的監(jiān)控和處理規(guī)則，可以將故障通知給運(yùn)維人員，幫助高效監(jiān)控、快速定位和處理網(wǎng)絡(luò)故障，保障業(yè)務(wù)的正常運(yùn)行。