27.5.20262 minMaskinvarekrav for å kjøre en 70B-modell lokaltEn 70B-modell trenger rundt 40 GB VRAM på 4-bit og 140 GB i fp16, og valget står mellom ett proff-kort, ett consumer-kort eller to kort med tensor-parallell.GPULLM
