近日,中國(guó)長(zhǎng)城旗下長(zhǎng)城科技推出長(zhǎng)城AIGC一體機(jī)。該款一體機(jī)基于長(zhǎng)城擎天GF7280 V5 AI服務(wù)器和國(guó)產(chǎn)GPU,可應(yīng)用于大模型和傳統(tǒng)AI等場(chǎng)景,具有設(shè)計(jì)性能優(yōu)異、性?xún)r(jià)比高的特點(diǎn)。 大模型場(chǎng)景 01 技術(shù)創(chuàng)新 單臺(tái)支持70B-180B開(kāi)源大模型FP16精度的私有數(shù)據(jù)微調(diào),常規(guī)70B以上模型微調(diào)需要2-3臺(tái)8卡滿配80G顯存的GPU才能完成,長(zhǎng)城通過(guò)顯存擴(kuò)容方案,解決模型“放不下”問(wèn)題,微調(diào)成本降低60%。 本地私有微調(diào)后,即可在原配置上推理,真正做到訓(xùn)推一體,在金融、新聞、政務(wù)、醫(yī)療、工業(yè)等專(zhuān)業(yè)性要求高的垂直領(lǐng)域,模型性能要求高(70B以上規(guī)模模型效果好),且對(duì)專(zhuān)業(yè)知識(shí)理解能力強(qiáng)(私有數(shù)據(jù)微調(diào)),長(zhǎng)城訓(xùn)推一體給出了完美解決方案。 02 兼容主流生態(tài) 支持主流框架(Pytorch、Tensorflow、PaddlePaddle、ONNX Runtime、DeepSpeed、Colossal-AI),支持主流開(kāi)源模型(LLama2、...