大家都用什么后期存储方案
本帖最后由 ETHAN 于 2018-12-27 20:20 编辑后期存储一直是大家在讨论的问题本人由于后期存储一直不够用，经常需要删除素材，迎接新项目的到来。这样对客户还是自己都是一种不负责的工作态度。为了解决这个问题，看了好多品牌阵列以及网络存储NAS，就一个字贵，好配置更贵。无奈只能自己组建了。本想买个二手戴尔R510/R710自己组装，查了很多资料，后来放弃了，原因噪音太了，太吵。 因为各大品牌NAS都是自可以己组装的，所以就想自己组装一台自己的存储系统。选择的是一款FREENAS系统，其他nas系统也可以，为什么选择freenas因为他是一款完全免费且支持ZFS文件系统的企业级开源系统。关乎什么是ZFS文件系统大家可以自行查阅这里不做过多介绍。好了说了这么多废话，下面看看清单。
Freenas配置清单
CPU:e3 1235l v5
主板：x11sae-m （ 8个 SATA口）
散热器：下压式 cooling s-40x v3 itx
内存：金士顿 纯ECC DDR4 8G X2 （ Freenas系统要求内存最少8G 我用了两条8纯ECCg共16g 当然普通条也可以的）
系统盘：m.2NVME 128G （普通32G就够了不用太大，U盘也行）
硬盘：4块 4T希酷狼NAS专用盘 （只用了4块其他接口日后可以升级）
其他：pci延长线
网卡：inter82599es10G 万兆网卡 （nas端双口）
网卡：Mellandx mnpa19-xtr 10G （客户端PC）
网卡：Mellandx mnpa19-xtr 10G （客户端PC）
线材：sfp+10G光纤模块 直通线 3M （2条）机箱：机箱：万由nsc-810A HTPC
电源：海韵ss-350m1u (机箱自带)
这里要说明一下;(因为freenas系统占用空间很小可以单独安装在U盘或者其他比较小的SSD,32g已经足够了。我这里有点浪费了。不过这个盘可以日后做zfs缓存盘)照片区
先看看效果吧
1.首先是从客户端SSD到服务器速度1GB/秒 可以说完美跑满了10G网络。 （可以说现在的线路没没问题）
2.是从服务器到客户端SSD 速度353MB/秒 （为什么那因为我的服务器阵列只用了4块机械盘，4块那应该是400多MB吗？ NONONO!不是的，因为我组的是软RAID Z1就是说4块盘只有三块盘在用，另外一块在做备份。这就是ZFS的优点之一。）
这里给大家贴RAID Z说明
tripe: 与 RAID 0 类似，传说中的带条，需要至少一块硬盘。
Mirror: 与 RAID 1 类似，磁盘镜像，需要至少两块硬盘。
RAIDZ1: 与 RAID 5 类似，一重奇偶校验，需要至少三块硬盘。
RAIDZ2: 与 RAID 6 类似，双重奇偶校验，需要至少四块硬盘。
RAIDZ3: 三重奇偶校验，独门秘籍，需要至少五块硬盘。
log device (ZIL): 高速写缓存设备，需要至少一个专用的存储设备，推荐使用 SSD 固态硬盘。
cache device (L2ARC): 高速读缓存设备，需要至少一个专用的存储设备，推荐使用 SSD 固态硬盘。
除去 log device (ZIL) 和 cache device (L2ARC) 这两种专用高速缓存设备不谈，在这里列举一下其余类型的性能和可靠性对比。
3.是从服务器到客户端HDD 服务器读取速度352MB/秒 (为什么那请看上面第2点)
……………………………………………………………………………………………………………………………………………………
下面看过程，具体系统安装过程设置这里就不写了，稍微会点英文都能搞定很简单。百度GOOGLE也有。
…………………………………………………………………………………………
01机箱万由nsc-810A HTPC位机箱，做工挺好，机箱自带海韵1u电源和三个风扇后面两个侧面一个和8条sata线。
02电源电源：海韵ss-350m1u (机箱自带)
03CPU e3 1235l v5 因为我只用做存储使用，不需要太好的，即便这个cpu已经淘汰了，但是比市场上那些品牌NAS配的要好太多了。
04主板：x11sae-m超微的一款，因为要稳定还是选择了好点的板子7x24，8个sata口 必须有，还有三个pie来扩展10g网卡来跑数据。主板具体信息在下面。
[*]Single socket H4 (LGA 1151) supports
Intel® Xeon® processor E3-1200 v5/v6,
Intel® 6th/7th Gen. Core™ i7/i5/i3 series,
Intel® Celeron® and Intel® Pentium®
[*]Intel® C236 chipset
[*]Up to 64GB Unbuffered ECC/non-ECC UDIMM DDR4 2400MHz; 4 DIMM slots
[*]1 PCI-E 3.0 x16, 1 PCI-E 3.0 x4, and 1x 5V PCI 32-bit slots
[*]Single GbE LAN with Intel® i210-AT,
Single GbE LAN with Intel® i219LM
[*]8 SATA3 (6Gbps) via C236; RAID 0, 1, 5, 10 + 1 PCI-E M.2 (support PCI-E x4 only, 2242/2260/2280/22110)
[*]6 USB 3.0 (2 rear + 4 via header(s))
6 USB 2.0 (2 rear + 4 via header(s))
2 USB 3.1 (10Gbps, rear)
[*]
05内存：金士顿 纯ECC DDR4 8G X2 作为一个7x24小时运行服务器ECC内存还是有必要的。ECC（能够实现错误检查和纠正技术）
06系统盘：m.2NVME 128G上面说过了，自己多余的一块SSD有他做系统有点浪费，FREENAS系统可以单独安装磁盘中或者U盘中使用空间很小，有个很小的存储介质来安装系统就可以。32/64G都行，在往下的大小我没测试过大家可以测试下。
07硬盘：4块 4T希酷狼NAS专用盘 2t盘可以无视，机器使用中不能拍全大家将就看看，因为freenas采用的是zfs文件系统，不需要阵列卡，因为它系统自带raid z 软阵列功能强大具体如下。
前文已提到过ZFS 是一款高、大、上的高级文件系统，因此它有一些非常有趣的功能，如：
存储池
写入时复制
快照
数据完整性验证和自动修复
RAID Z
最大 16 EB 文件大小
最大 256 万亿 ZB 存储
功能还有很多大家可以百度google有很详细解释。
08其他：pci延长线这个延长线是用来延长pci-e几口插我们的10G网卡。因为万由的这款机型PCI-E设备是卧试平躺着这的哈哈哈哈。（买时大家有主要方向）
09网卡：inter82599es10G 万兆网卡 终于到这个家伙了，大家都知道这个东东蛮贵的，不过还好我们可以用二手，好的话在上新的，（这里要注意：英特儿兼容最好了，具体大家可以查询网上有篇文章FREENAS支持的网卡）
10线材：sfp+10G光纤模块 直通线 3M 这个没什么好说的，一般的SFP+线都可以。
11散热器下压式 cooling s-40x v3 itx 散热器不能太高，5mm内吧
12网卡：Mellandx mnpa19-xtr 10G （客户端PC）
网卡：Mellandx mnpa19-xtr 10G （客户端PC）（这个两个10G卡是给客户端用的插到pciex4或x8就行）
一.存储系统我们搞定了，虽然FREENAS已经有快照和备份了，但没有异地备份啊万一万一那别急，用一台10年前的电脑或者笔记本都能搞定，安装个nas系统或者win serve,我用的就是win server 2008 r2.做异地备份，具体两个设备之间的通信软件大家可以研究，因为每个平台都不一样。
希望能帮助大家拜拜
完………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………
学习了，五星好评 楼主啥时候能出个视频教程 就造福人类了- -现在电脑目前还能村的下 以后不行了 牧阳 发表于 2018-12-28 08:50 static/image/common/back.gif
学习了，五星好评
http://www.filmaker.cn//mobcent//app/data/phiz/default/53.pnghttp://www.filmaker.cn//mobcent//app/data/phiz/default/53.png
霸主by 发表于 2018-12-28 10:14 static/image/common/back.gif
楼主啥时候能出个视频教程 就造福人类了- -现在电脑目前还能村的下 以后不行了
机器在用，不过我现在的异地备份不是很智能，果断时间会组装到时候拍个完整视频。http://www.filmaker.cn//mobcent//app/data/phiz/default/03.pnghttp://www.filmaker.cn//mobcent//app/data/phiz/default/03.png
ETHAN 发表于 2018-12-28 11:18
机器在用，不过我现在的异地备份不是很智能，果断时间会组装到时候拍个完整视频。
很期待 超级有用的教程，期待楼主的视频教程。^23^ 视频剪辑，读速很重要。建议你现在数据还不多的情况上，上满8块硬盘吧。
我用的也是酷狼 这么一套即使是DIY+二手 成本还是比较高的～ 不过对于长期使用投资回报比较合适； 总得造价大概是多少？
zteng 发表于 2018-12-28 20:51 static/image/common/back.gif
视频剪辑，读速很重要。建议你现在数据还不多的情况上，上满8块硬盘吧。
我用的也是酷狼
嗯
一人一机一世界 发表于 2018-12-29 00:23 static/image/common/back.gif
总得造价大概是多少？
我这个全部不到八千
freenas就是用户管理功能差一点，权限要求不高的话用着还不错^40^ mark mark 霸主by 发表于 2018-12-28 10:14
楼主啥时候能出个视频教程 就造福人类了- -现在电脑目前还能村的下 以后不行了
老铁可以看下这个 https://www.bilibili.com/video/av30776177 老衲邱道长 发表于 2019-1-3 09:00
老铁可以看下这个 https://www.bilibili.com/video/av30776177
这价格下来能有多少 自己用够了，我做的也是8盘NAS，不过用的双万口双卡，这样就有4个光纤口，支持四台主机直连万兆剪辑。使用的是双系统盘，就算系统盘坏了也不用担心。其实用户权限管理的逻辑有点怪，并不是弱。目前WIN和mac都在用，我也等用户反馈中 准备搞一套。。。 我就是用二手戴尔R510/R710，装了14个硬盘。搞定。噪音问题把风扇换掉就可以解决了。机器不会报错。另外网卡用1GX2聚合，能跑2G的速度。大概读写有220M/S的样子。目前够用。关键是很稳定。方便。 DK黑苹果 发表于 2019-1-3 18:08
自己用够了，我做的也是8盘NAS，不过用的双万口双卡，这样就有4个光纤口，支持四台主机直连万兆剪辑。使用 ...
是的系统和存储区分离很好，我目前就带两台客户端。哈哈哈 超哥 发表于 2019-1-3 20:34
准备搞一套。。。
^24^ tobifsjun 发表于 2019-1-4 11:52
我就是用二手戴尔R510/R710，装了14个硬盘。搞定。噪音问题把风扇换掉就可以解决了。机器不会报错。另外网 ...
哈哈，我本来也想买个万兆交换机聚合，但是我只有两个人用，就没折腾，采用直连的方式了。 请问楼主这个配置可以用作剪辑4K吗？是否流畅？
jiajia860721 发表于 2019-2-23 05:10 static/image/common/back.gif
请问楼主这个配置可以用作剪辑4K吗？是否流畅？
可以的，4k剪辑没问题
没搞懂楼主目的是要干嘛？阵列的意义是多个大项目同时并行保证读写速度用的。而备份最靠谱的方案是多几块独立硬盘拷贝素材做双备份，然后异地存放是最保险的方案。也就是说项目素材来了，阵列里拷贝一份工作，另外几个独立硬盘拷贝两份素材，然后拿着素材备份硬盘分别存放在不同地方。 ETHAN 发表于 2019-3-1 22:34 static/image/common/back.gif
可以的，4k剪辑没问题
好的谢谢楼主
页:
[1]