Easton Man's Channel
@EastonMan
看的新闻
+碎碎念
+膜大佬
+偶尔猫猫
+伊斯通听的歌
an hour ago
属于CYY自己的世界
4 卡 RTX 4090 P2P 折腾记 —— 如何 Hack Rebar 和 Above 4G Decoding
Telegraph
|
source
(author: Yangyu Chen)
Telegraph
4 卡 RTX 4090 P2P 折腾记 —— 如何 Hack Rebar 和 Above 4G Decoding
背景 最近拿到了一台 4 卡 RTX 4090 的机器,但用的是一代至强可扩展(Skylake)+ 技嘉 C621-WD12 主板。我们直接把显卡装上虽然可以使用,但是缺少了 P2P 功能对 LLM 推理跑 TP 不友好,因此我进行了一番折腾。 Resizable Bar 首先,这个主板的 BIOS 默认甚至打不开 Above 4GB Decoding,这意味着所有 PCIe Bar 都会被分配在 Sub 4GB 物理地址空间,而我们一张卡的显存都有 24G,那自然不可能被分配出来。 后来让 5.6 Sol…
Before
After
Home
Powered by
BroadcastChannel
&
Sepia