DeepSeek 70B 一般運(yùn)轉(zhuǎn)在開源的 Linux 體系上,深度學(xué)習(xí)結(jié)構(gòu)如 PyTorch 和 GPU 驅(qū)動(dòng)如 CUDA 也是免費(fèi)的。若運(yùn)用 Ollama 等開源東西簡化布置,可無需額定費(fèi)用。若需延聘工程師進(jìn)行模型量化或并行計(jì)算等優(yōu)化,假定 1 名工程師 1 個(gè)月薪資 2 萬元,軟件開發(fā)本錢約 25 萬元(視開發(fā)需求而定)。
以 4 張 RTX 4090 為例,每張滿載約 450W,總功耗約 1800W,加上 CPU 等其他部件,每天運(yùn)轉(zhuǎn) 24 小時(shí)耗電約 50 度。以工業(yè)用電 0.8 元 / 度計(jì),每月電費(fèi)約 1200 元。散熱方面,若運(yùn)用機(jī)房空調(diào),每月額定約 500 元。電力與散熱年本錢約為(1200+500)×12=2.04 萬元。
本地布置后需專人保護(hù),包含硬件毛病排查、軟件更新等。若延聘一名運(yùn)維工程師,年薪約 15-20 萬元。
綜上所述,計(jì)劃初度投入約為 7.5(硬件)+2(軟件)=9.5 萬元,年運(yùn)營本錢約為 2.04(電力)+15(運(yùn)維)=17.04 萬元,首年總本錢約為 26.54 萬元。數(shù)據(jù)中心計(jì)劃初度投入約為 23.7(硬件)+5(軟件)=28.7 萬元,年運(yùn)營本錢約為 2.04(電力)+20(運(yùn)維)=22.04 萬元,首年總本錢約為 50.74 萬元。
歐寶
聯(lián)系:王經(jīng)理
電話:181-1888-8866
傳真:0515-85435028
郵箱:615187665@qq.com
地址:東臺(tái)市安樂橋西(集裝箱生產(chǎn)基地)
東臺(tái)碧城鋼材市場(chǎng)(彩鋼倉儲(chǔ))