Re: [心得] FreeNAS / TrueNAS 七年之癢(?)

硬碟

20110

看到了這篇文章剛好來分享一下最近大概半年的折騰經驗,內容有點長的流水帳。

請斟酌觀看,謝謝

一開始沒有要搞自組NAS,自組NAS完全就是自己白癡挖了一個坑給自己

因為工作的需要見大量的VM來模擬客戶的手上環境,並且在佈署上客戶正式機前

能夠多做幾次的驗證,所以購買了一台雙CPU的洋垃圾(18CORE/一顆,共72執行序)

256GB ECC DDR3(本來想打雞血BIOS,但是後來發現瓶頸在硬碟就先擱置)

安裝了ESXI 6.7免費版授權,VM上線後就發現硬碟就是我自己挖的坑,

本來想說買一個10TB的傳統硬碟就夠了。

結果遠遠不夠,開一兩個VM就已經把SATA 6Gb/S塞爆了。

接下來因為沒有預算,

後來在網路上爬到了ISCSI的方式可以用,在既有的QNAP的NAS上開了一個POOL

把ISCSI打開,然後.....抓不到。ESXI怎麼樣都抓不到QNAP的ISCSI的服務

最後發現了ESXI+FREENAS的實際應用範例。

我就開始在庫房裡面翻找

湊了6顆1TB有5400&7200的硬碟、i7-4770K的主機、16GB的記憶體、1顆128GB的SSD

另外領了一個USB3的外接盒跟16GB的隨身碟就開始了我的自建NAS之旅。

把I7-4770K的內建Quadro P600拔起來改內顯(反正只要亮機)

TRUENAS安裝在外接隨身碟(沒辦法,預算評估沒做好只能自己吞)

6個1TB做RAIDZ(好像等同RAID5)勉強有個容錯就行,

為了增加效能就把SSD裝在USB3外接盒,做快取。

照網路文章設定的就抓到ISCSI硬碟空間了,接下來把VM從內建10T轉移到ISCSI中

VM常駐4個目前效能都足夠,至少告一段落了

後來又在庫房翻到E3-1231V3的主機,恰好原本的4BAY的NAS退役。

把2T*4的NAS組上去,原本的I7-4770K上的RAM拆一半給E3用

E3-1231 V3 + 8GB + 亮機卡 + 2T*4 + 16GB隨身碟搞起來變成第二組TRUENAS

準備拿來當正式NAS的第三備份。(4BAY NAS因為主板掛了只好讓他退役)

感覺還是蠻基本的應用,遠遠比不上元PO大大的極限玩法。

分享到此,謝謝大家。



: 網誌沒有比較好讀版:
: https://tonysanv.blogspot.com/2022/10/truenas-freenas-7-years-later.html
: 七年前古文: #1MMGYTuc (Storage_Zone)
: 自從組 FreeNAS 已經過了七年,特別寫一篇 blog 詳述中間各種變化與升級,下面條列
: 升級重點,給沒時間細讀的人參考:
: 記憶體加滿 - 128G
: 加了一張 PCIe NVMe 擴充卡
: 把開機 USB 換成 NVMe
: 再多加一張 NVMe 當成 L2ARC
: 硬碟就地升級成 8TB
: 拆外接硬碟,改 SATA 電源接頭
: 用 smartctl 跟 badblocks 壓力測試硬碟
: 陣列重組 (resilvering)
: 升級區網,終於讓主機板上的 10G 網卡解除限制器
: CIFS 效能從 3.5Gbps 提升到 5.45Gbps
: 對細節有興趣的請繼續往下看...
: 在 FreeNAS 上面跑幾個比較肥的 VM,記憶體有多少都不夠用。因此把記憶體加滿這種事
: 情在經過大腦思考前,膝蓋都已經下單結帳完了。不過每次重開機,VM 也會跟著一起重
: 開,不太方便,後來就把 VM 上跑的東西慢慢移到另外一台機器上跑 docker。
: 古早以前,FreeNAS 開機是放在 USB 上面,但自從 11.1 後,開機碟會有頻繁的讀寫,
: 官方建議放在正常的硬碟上。(當然我是直到 USB 碟掛點了才知道這件事情。) 但這張
: 主機板已經沒有多餘的插槽裝二個開機碟。
: 還好主機板上還有一個 PCIe x16,我當然也可以裝一張 HBA 擴充卡,或者是這個閃閃發
: 光的神奇裝置 (ASUS Hyper M2 擴充卡),而且正好主機板有支援 PCIe bifurcation,唉,我的膝蓋又下單了... 
: 而且好像可以多插幾張NVMe... 那就順便加個 L2ARC 好了!
: 不過對效能影響最大的升級不在機器本身,當我把區網升級到 2.5G / 10G 後,限制器整
: 個解除,六顆 WD Red 4TB 竟然 CIFS 可以維持在 3.5Gbps,整個跌破眼鏡。
: 不久後武漢肺炎(與它的變種們)就爆發了,加州還因為野火太旺,直接進入媽的刀鋒戰
: 士,接著供應鏈炸裂,跟不知道哪個天才發明的奇亞幣,讓硬碟價錢跳了好幾階,我的升
: 級計畫就暫時被擱置了...
: 直到某一天在附近的溝子口看到特價硬碟,我的膝蓋就拿出信用卡下單了。但這特價硬碟
: 需要稍微處理一下才能用,要先從外接盒裡把硬碟拆出來,並且把 SATA 電源接頭第三腳
: 用絕緣膠帶貼起來(用 Molex 轉 SATA也可以)
: 接上去確定硬碟都抓到以後,就開始燒機測試(注意,以下的燒機測試會同時燒掉硬碟上
: 的資料),用 smartctl 短長各跑一輪,接下來用 badblocks 進行讀寫測試( -c 用大
: 一點會跑稍快),測試完後再跑一次 smartctl long... 這顆 8TB 總共花了 110 小時才
: 跑完(建議全部接上去,一口氣壓測)。我另一台機器只有 4 SATA port,只好分二批測
: 。
: (測完以後發現有二顆硬碟讀寫稍微快一點(2%),不知是硬碟樂透,還是正常的效能浮
: 動。)
: 燒機燒完確定沒有不良品,SMART 數值正常,就可以上線啦!利用 resilver 機制一顆一
: 顆慢慢換,每次 10 小時,換到後面越來越快,可能是因為從 5400 轉升級到 7200 轉,
: 讓整體效能慢慢增加的原因吧?換完 raid z2 pool 容量就自動升級到 8TB x (6-2)
: 最後 CIFS 實測,cache miss 可以維持在 5.45Gbps,disk busy 大概在 80% 左右,看
: 來在區網全面升級成 10Gbps 之前,這台可以再戰個幾年沒有問題。


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.217.49.129 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Storage_Zone/M.1665503634.A.7C9.html
andy1991131樓心得推 10/12 02:13
Litfal2樓為何不掛在同一台上呢? 10/12 08:35
changchichun3樓現在新的TRUENAS似乎不建議裝在隨身碟上了 10/12 09:56
本人4樓因為SATA不夠啊....... 10/12 10:15
tomsawyer5樓你都買洋垃圾了 順便買一張刷成hba的raid卡阿 10/12 10:24
本人6樓HBA這個沒想到,不過SATA可以用嗎? 10/12 10:34
Litfal7樓HBA應該是SAS和SATA都相容 10/12 10:39
本人8樓其實洋垃圾的板子上有10個SATA3,我不知道有沒有機會 10/12 10:43
本人9樓在BIOS中建立RAID10或是RAID5 10/12 10:44
本人10樓其實還有個問題就是不知道洋垃圾建立的RAID在ESXI上 10/12 10:47
本人11樓可不可以抓的到,當初就是因為網卡驅動才裝6.7的 10/12 10:48
Litfal12樓6.7應該沒問題,7.0不少舊卡不相容 10/12 11:07
tomsawyer13樓7.0 才有一堆2.5G可以用 買新電腦沒注意到不支援i2 10/12 11:49
tomsawyer14樓25 整個吐血 10/12 11:49
tomsawyer15樓raid卡硬raid出來的 esxi一定看得到 刷成it mode直 10/12 11:53
tomsawyer16樓通 esxi還不一定看得到 10/12 11:53
chang020617樓好proxmox 不用嘛? 10/12 14:20
Litfal18樓13樓 你的raid卡資訊有問題吧 7.0後lsi 2108前的卡 10/12 15:00
Litfal19樓全部都沒辦法掛驅動喔 10/12 15:00
Litfal20樓2208之後的,不管是it還是ir,6.7和7.0都抓得到 10/12 15:02
tomsawyer21樓刷成hba才有掛驅動的必要不是? 10/12 15:02
Esvent22樓可以用pve虛擬化truenas 然後用virtio+bridge 10/12 23:51
Esvent23樓直接nfs/iscsi給其他vm 速度破30Gbps不是問題 10/12 23:51
本人24樓感謝建議,不過其他周邊跟不上30GB 10/13 00:11
YouCantGetME25樓ESXi不吃Intel RST RAID 10/13 13:59
zxzx805926樓raid卡大部分sas sata都可以 10/13 18:48
asdfghjklasd27樓Softraid 當然不吃啊,商用的誰跟你用 softraid 10/16 14:22
ouyang28樓
10/18 16:44
ouyang29樓這邊似乎符合大家的需求啊 10/18 16:44
denix30樓直接洋垃圾3U+SAS 10/19 20:54
更多心得
[心得] FreeNAS / TrueNAS 七年之癢(?)
Re: [心得] TCELL TT750 SSD 240G 開箱隨意測
[心得] TCELL TT750 SSD 240G 開箱隨意測
[心得] SONY MSAC-FD2M MS to 3.5" Floppy讀卡機
[心得] noda R9 Plus M.2 NVMe_SATA雙協議外接盒
[心得] SSD世代傳承 Crucial P3 Plus SSD 1T開箱
[心得] 金士頓隨身碟RMA心得
[心得] AGI奇亞雷 256GB記憶卡 開箱&翻車(?)