AI・機械学習
19分
RTX 5090とメモリ64GBで、125BのLLMをローカルで動かしてみた
RTX 5090 とメモリ64GBの1台で、125BのLLMを動かしてみた。125Bというのは、VRAM 32GBのカードで動かす数字ではない。重みだけで80GB以上ある。それでも動かせるという話を見かけたので、手元のマシンで試してみた。結論から書くと、動いた。しかも実用に耐える速度が出た。なぜ32...
2026/09/02
むらかみ
ローカルLLMQwenRTX5090量子化llama.cpp
むらかみ
AI・機械学習分野の専門家として、企業のDX推進をサポートしています。