Servere și stocare13 min citire
Hardware pentru AI: cum alegi serverul și GPU-ul și cum evaluezi încărcarea
VRAM cu tot cu cache KV, bandă de memorie în loc de TFLOPS, linii PCIe, sursă și răcire: ghid practic de alegere a hardware-ului pentru inferență LLM, RAG și fine-tuning, cu patru configurații comparate și o metodă de măsurare a încărcării cu vLLM și DCGM.
Alexandru Iancu