Re: [請益] 100T左右的檔案下載並轉交(外接盒/Nas)

硬碟

970

: 各位版友大家好
: 我有把檔案下載下來轉交給其他人的需求
: (因為對方不方便使用網路)
: 檔案在一個雲端上約100TB,打算用桌面版的程式一次全載下來,所以需要一個夠大的硬碟
: 原本有考慮外接吐司盒,插滿20TB做使用;但爬文發現吐司盒的安全性好像不太好
: 所以把念頭動到多插槽的nas上,只是我沒有用過nas,不曉得它能否當超大號隨身碟來做使用呢?
: 希望版友可以給我解答,非常感謝!
: -----
: Sent from JPTT on my Xiaomi M2007J3SG.

這麼大筆的資料量和需要的硬碟數不太可能仰賴傻瓜式RAID外接盒
想必也對資料完整性要求性很高,WIN平台+NTFS組RAID不太合適
家用還是得 mdadm+檔案系統(軟體層土炮) 或 整套ZFS

撇開主機自組,除非會玩Linux+會軟體層土炮,否則請買品牌NAS
ZFS請指名TrueNAS,這比單純軟體層土炮要簡單很多了
(Q也有跑ZFS的品牌NAS)


陣列怎麼組:
1.起碼也要使用兩顆冗餘的RAID6/RAID-Z2
常見NAS硬碟槽最高8個至少要買20T硬碟
此時20*6=120T;換算實際可用約109TiB


2.保險一點要求三顆冗餘,只能選ZFS RAID-Z3
8個硬碟槽維持實際可用至少100TiB就要買22T硬碟
不過這已經剛好裝滿了,ㄍㄧㄥ那麼緊不太實際(影響性能)
搞得到24T硬碟就能維持只用8個硬碟槽,同時保有109TiB的實際可用


3.更保險一點(多個陣列組存儲池)、更多可用容量就是預算無上限的範疇了


接著是網速問題,假如牽500M(理論值62.5MB/s)的網速
也假設這些一路暢通可不間斷維持這速度
100TiB=100*1024GB
102400*1024MB=104857600MB

104857600/62.5=1677721.6秒=466小時=19.4天
如果牽500M光是將資料拉回來至少要不間斷跑19天半


唯一選擇硬碟+陣列+整台NAS一起配好
直接在NAS+磁碟陣列上設定把資料拉回來(記得配UPS),再人力將整套送去目的地

不然硬碟寄過去NAS品牌不合又得想辦法整理資料,超級大工程
除了時間就是金錢以外也增加轉移時操作失誤的可能性
當然你家那台NAS和他家那台NAS品牌有相容那是最好

如果是用ZFS那就輸出存儲池再寄硬碟於目的地主機輸入存儲池
TrueNAS有內建這功能,可以簡單辦到
其它土炮主機怎麼組、續傳下載、維護NAS和搞備份又是另外一回事

大概是醬,到時候有成功案例可以請大大分享看看XD

--

姊姊 姊姊 我們好像變成簽名檔了


雷姆 雷姆 好像真的是這麼一回事呢



--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.173.160.3 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Storage_Zone/M.1706560110.A.D9B.html
selfhu1樓小檔會更慢,19天真的只是預估 01/30 04:50
這麼長的時間真的耗一次就好XD
fmp12342樓100TB不分割心臟很大顆XD 01/30 07:55
ericpttt3樓推薦用TrueNAS 的 replication ,記得ram要給多一點 01/30 11:04
hzaxcp3864樓220T那絕對會被判定是濫用,難怪被砍 01/31 12:02
maniaque5樓雲端? 100TB ?? 100TB ?? 02/03 21:39
maniaque6樓那已經不是一個夠大的外接硬碟可以處理了 02/03 21:39
maniaque7樓假如足 100TB ,至少也要6顆20TB 硬碟 02/03 21:41
maniaque8樓5顆100TB ,但切檔會大於吧 02/03 21:42
maniaque9樓乖乖用 6Bay or 8Bay NAS 吧,拉完整台交給對方 02/03 21:42
maniaque10樓不知道有誰會一次開 100TB 檔案.....資料庫或圖庫吧 02/03 21:44
maniaque11樓整個砍下來抓時間也要 1個月(19天太樂觀了....) 02/03 21:45
smallreader12樓有沒有一種可能 直接跟谷歌買那100T的複本 02/04 23:12
addbear2213樓傳說中的磁帶機可行嗎? 02/05 11:22
maniaque14樓樓上....磁帶機應該不可能直接雲端傳到磁帶機上 02/06 15:15
maniaque15樓所以還是得有個硬碟組去存 02/06 15:16
hangtenboy16樓沒有另外實體的備份也太大心臟了 02/13 10:17