part 2 來了
這台主機前後花了半年才完成完全體
這個機殼不裝硬碟上去怎麼能看呢?
https://i.imgur.com/mt4aP45.jpeg
https://i.imgur.com/1oRi8yO.jpeg
但是插滿需要五個 SATA 孔,主機板只有兩個,需要擴充卡
我甚至還有一張 10G 網卡,但是唯一的 PCIe 插槽拿去插顯卡了
怎麼辦呢?當然是從 M.2 上動腦筋啦
https://i.imgur.com/cxMPVWy.jpeg
https://i.imgur.com/qJoveNo.jpeg
https://i.imgur.com/jgq8Ght.jpeg
https://i.imgur.com/WctUohz.jpeg
一個 A+E key 來自無線網卡,拔掉改插 SATA 擴充卡
晶片選用 ASM1064,為 PCIe Gen3 x1 to SATA x4 控制器
我特別選擇 Mini SAS 接頭的 M.2 擴充卡
僅需一接頭即可轉出四個 SATA 接頭,減少佈線空間
並透過 M.2 A+E key 轉 M key 延長線轉接
由於此主機板 A+E key 僅能提供一個 PCIe Gen3 通道
計算後接三顆傳統硬碟效能不會成為瓶頸,況且主控晶片也只能 x1
若是接 SATA SSD 就不夠用了
線材除了 SFF-8087 to SATAx4 外,還有兩條接主機板的 SATA 線
都是已經用好幾年的安費諾無鐵扣 L 頭,這次也淘了幾條新的回來
拔插不需按壓鐵扣,在狹小機身內更易於安裝,並且不傷硬碟接頭
安費諾線材品質有保證,而且卡扣夠緊不會鬆脫
不過那條 SFF-8087 的就有鐵扣了
另一個 M key 來自主機板背面,插 Intel X550-T2
X550-T2 為 PCIe Gen3 x4 雙埠 10 GbE RJ45 網卡
剛好填滿主機板背面的 M.2 Gen3 x4 並透過延長線轉接
但放的位置就很尷尬,最後僅剩顯卡後方空間有位子
放在這裡有兩個問題:
1. 網路線轉接
手壓一條延長線解決
https://i.imgur.com/TmSYngT.jpeg
2. 散熱
X550-T2 本身發熱量就不低,以目前配置若僅靠被動散熱會當機
最後加了一顆風扇解決,剛好拿之前多的 A9x14 用束帶綁一綁
https://i.imgur.com/c4Lbmq0.jpeg
談到風扇,由於電源壓在主機板上方,有明顯的搶風道問題
https://i.imgur.com/raYeTNF.jpeg
後來將風扇反過來裝後待機溫度降了三、四度 (上圖還沒反過來)
除了加裝的零件外,小機殼必備客製電源線當然也有上
https://i.imgur.com/dUPMTk6.jpeg
但 372 把我的硬碟電源線做錯了...
https://i.imgur.com/pAYFUuN.jpeg
應該有三個大 4P 一個 SATA 電源線的,結果全部做成 SATA 電源
而且接頭間距也是錯的,其中一條應是 58mm 結果只有 50mm
聯絡客服後他們會再寄新的給我
還好在找 372 前,我有先找台灣某知...名...店家幫我做一組
沒錯就是鄉民想的那家,因為當時嫌上淘寶訂很麻煩
不過我對選用的線有點後悔,加上 ATX 線長度稍嫌不足,才又訂了一組
但就結論而言,上淘寶訂真的很麻煩 XD
知名店家的收費貴但至少規格沒搞錯,就是接頭狗幹難插
不過價格差了快五倍,不嫌出賣個資跟轉運麻煩的話... 嗯
淘寶跟著訂的還有一個有 2.5G 網孔的 USB-C Hub
這是買給 MacBook 用的,為了外接第二個螢幕及有線網路
https://i.imgur.com/gqoduUX.jpeg
https://i.imgur.com/58T67zW.jpeg
https://i.imgur.com/Min4OHX.jpeg
很划算,價格大約一千出頭,就能以 2.5G 高速存取 NAS
至於 Mac 用的 Thunderbolt 10G 網卡還太貴,我先用 2.5G 就好
而舊的 USB-C Hub 甚至可以轉給這台 ITX 主機使用,後面會講到
附帶一提 QxxP 的 TB3 10G 網卡請接 SFP DAC 線使用
接 SFP to RJ45 會過熱,傳一傳會死給你看
硬碟則是以成本考量為主,買重新認證與伺服器拆機碟
透過 RAID 與異地備份保護
當然還是有幾顆全新台灣有保的硬碟,例如這顆 WD 金標 (基本等同 HC550)
https://i.imgur.com/iZSrW7J.jpeg
因為少一排螺絲裝不上硬碟架,最後把導軌中間凸點剪掉磨掉硬上
其實聯力的硬碟架都是共用的
我也可以拿另一台 PC-K9X 的螺絲來裝,就不用對導軌動手
我有跟聯力訂購新的硬碟螺絲,
畢竟舊的都銹的差不多了,順便連 K9X 的黑色螺絲一起買
大推聯力現在還能買到十年老殼配件
硬體的部分就談到這邊,接下來談談軟體
其實一開始就準備好上 PVE 了,裝上 TrueNAS Scale 與 Windows
中間各種坑與雷,真的印證 Linux is free if you don't value your time
不過我就喜歡搞事!
這兩個主要 guest VM 都有 PCIe passthrough 進去
TrueNAS 放了兩個 SATA 控制器 (AMD SATA + ASM1064)
Windows 放了顯卡與一個 USB root hub device
除了顯卡直通 Windows 得以打遊戲外,直通 USB root 好處是
USB 裝置插上對的孔可以直接被 Windows 識別,不需經 PVE 轉譯
上面提到舊的 USB-C hub 就是為了讓 Windows 使用,
所有接到這個 hub 的鍵盤滑鼠讀卡機以及音源孔都是直通 Windows
若沒有將 USB root 直通給虛擬機,
那麼每次插新的 USB 裝置都需要到 host 設定裡新增,非常麻煩
因此這個配置用起來有如原生 Windows 主機,除了不能打楓之谷外
附帶一提我的螢幕有 KVM,可以快速切換 MacBook 跟 Windows 主機
TrueNAS 直通 SATA 控制器則很好理解,可以直接存取硬碟
五顆硬碟使用 ZRAID2 提供兩顆冗餘
並以 SMB 分享給 Windows 與另一台 Linux VM,以及 MacBook
只是... ZFS 非常吃記憶體,Windows 更不用說
32G 在這個情境下捉襟見肘,於是就不小心撿到...
https://i.imgur.com/u65EM7A.jpeg
64G兩台主要 VM 各分 16G,剩下還可以再分幾台機器用,終於夠用了
然而這半年來除了等零件慢慢組起來外
系統也不穩定,曾經遇過 Windows VM 開機用幾分鐘就整台當掉
或是開機發現網路死去,PCIe 無法直通虛擬機
後來慢慢除錯後發現主要是幾個問題:
1. 網卡過熱
跑個幾天後就會帶 switch 一起下去,拔掉網路線則恢復正常
加風扇解決
2. 記憶體不穩
這是後來幫別人修電腦時發現的,memtest86+ 不通過
結果他的記憶體沒事,反倒是我的有問題
只要跑 DDR5-6000 就會失敗,4800 則正常
壞掉的是威剛的 16Gx2,幸好後來買的金士頓 32Gx2 正常
威剛的甚至送修沒貨可以快換,等了快兩個禮拜才拿到
3. BIOS 設定
a. Resizable BAR 不能開,否則 Windows VM 會遇到顯卡 error 43
b. SR-IOV 相關功能要開,否則 USB root hub 與 SATA 控制器不能直通
並且會造成網卡開機被停用
SR-IOV => Enabled
PCIe ARI Support => Enabled
IOMMU => Enabled
c. 內顯留給 PVE host 做 debug 用
所以要強制啟用內顯,並分配最少的記憶體給內顯使用
iGPU Configuration => UMA_SPECIFIED
Integrated Graphics Controller => Customize
UMA Frame buffer Size => 64M
除了 VM 的問題,host 系統抓不到 HW monitor 也是個問題
跑 sensors-detect 沒有就是沒有,只有 k10temp (CPU 溫度) 可以看
華擎當然沒有提供 Linux 驅動程式,只能自行解決
查主機板說明書,有提供 block diagram,可以看到
提供監控功能的 super I/O 是 NCT6686D
用這個型號去查,發現 kernel in-tree 就有一個 nct6683 驅動可以用
但如果可以用就應該抓的到,手動 modprobe 結果是... 不行
下了 force=1 是可以抓到,但電壓全都是錯的,PWM 看的到轉速控不了
後來找到一個 out-of-tree 驅動 nct6687 可以控 PWM 風扇轉速
但是電壓也還是錯的,甚至沒有讀完全部的電壓與溫度
最後還是要靠自己修,花了整個周末惡補相關知識
把上面提到兩個驅動整在一起,弄出一個縫合怪
瘋狂 google 查 V/Temp IN 定義,把電壓與溫度對應表補上
終於把該弄上去的都弄上去了,並且可以控 PWM
https://i.imgur.com/oyX1KN3.png
k10temp 是 AMD CPU
nvme 是 WD SN850X,系統碟
amdgpu 其實是內顯,獨顯已直通,不會顯示在這裡
nct6686 即主機板 super I/O,華擎請給我錢 (X
現在搞到這邊,就缺 372 補線給我
其他系統問題都解的差不多了,剩下把各種服務裝上去而已
--
推 dkchronos :招喚obov 04/16 19:23
推 cesar0909 :樓下obov04/16 19:42
推 SNGoMMX :樓下obov 04/16 21:50
→ y3k :上面好多obov 樓下繼續當obov 04/16 21:53
推 obov :恩 沒問題 繼續當obov04/16 22:20
--