網誌沒有比較好讀版:
https://tonysanv.blogspot.com/2022/10/truenas-freenas-7-years-later.html
七年前古文: #1MMGYTuc (Storage_Zone)
自從組 FreeNAS 已經過了七年，特別寫一篇 blog 詳述中間各種變化與升級，下面條列
升級重點，給沒時間細讀的人參考:
記憶體加滿 - 128G
加了一張 PCIe NVMe 擴充卡
把開機 USB 換成 NVMe
再多加一張 NVMe 當成 L2ARC
硬碟就地升級成 8TB
拆外接硬碟，改 SATA 電源接頭
用 smartctl 跟 badblocks 壓力測試硬碟
陣列重組 (resilvering)
升級區網，終於讓主機板上的 10G 網卡解除限制器
CIFS 效能從 3.5Gbps 提升到 5.45Gbps
對細節有興趣的請繼續往下看...
在 FreeNAS 上面跑幾個比較肥的 VM，記憶體有多少都不夠用。因此把記憶體加滿這種事
情在經過大腦思考前，膝蓋都已經下單結帳完了。不過每次重開機，VM 也會跟著一起重
開，不太方便，後來就把 VM 上跑的東西慢慢移到另外一台機器上跑 docker。
古早以前，FreeNAS 開機是放在 USB 上面，但自從 11.1 後，開機碟會有頻繁的讀寫，
官方建議放在正常的硬碟上。（當然我是直到 USB 碟掛點了才知道這件事情。） 但這張
主機板已經沒有多餘的插槽裝二個開機碟。
還好主機板上還有一個 PCIe x16，我當然也可以裝一張 HBA 擴充卡，或者是這個閃閃發
光的神奇裝置 (ASUS Hyper M2 擴充卡)，而且正好主機板有支援 PCIe bifurcation，唉，我的膝蓋又下單了...
而且好像可以多插幾張NVMe... 那就順便加個 L2ARC 好了！
不過對效能影響最大的升級不在機器本身，當我把區網升級到 2.5G / 10G 後，限制器整
個解除，六顆 WD Red 4TB 竟然 CIFS 可以維持在 3.5Gbps，整個跌破眼鏡。
不久後武漢肺炎（與它的變種們）就爆發了，加州還因為野火太旺，直接進入媽的刀鋒戰
士，接著供應鏈炸裂，跟不知道哪個天才發明的奇亞幣，讓硬碟價錢跳了好幾階，我的升
級計畫就暫時被擱置了...
直到某一天在附近的溝子口看到特價硬碟，我的膝蓋就拿出信用卡下單了。但這特價硬碟
需要稍微處理一下才能用，要先從外接盒裡把硬碟拆出來，並且把 SATA 電源接頭第三腳
用絕緣膠帶貼起來（用 Molex 轉 SATA也可以）
接上去確定硬碟都抓到以後，就開始燒機測試（注意，以下的燒機測試會同時燒掉硬碟上
的資料），用 smartctl 短長各跑一輪，接下來用 badblocks 進行讀寫測試（ -c 用大
一點會跑稍快），測試完後再跑一次 smartctl long... 這顆 8TB 總共花了 110 小時才
跑完（建議全部接上去，一口氣壓測）。我另一台機器只有 4 SATA port，只好分二批測
。
（測完以後發現有二顆硬碟讀寫稍微快一點（2%），不知是硬碟樂透，還是正常的效能浮
動。）
燒機燒完確定沒有不良品，SMART 數值正常，就可以上線啦！利用 resilver 機制一顆一
顆慢慢換，每次 10 小時，換到後面越來越快，可能是因為從 5400 轉升級到 7200 轉，
讓整體效能慢慢增加的原因吧？換完 raid z2 pool 容量就自動升級到 8TB x (6-2)
最後 CIFS 實測，cache miss 可以維持在 5.45Gbps，disk busy 大概在 80% 左右，看
來在區網全面升級成 10Gbps 之前，這台可以再戰個幾年沒有問題。
--