拍电影

 找回密码
 注册

QQ登录

只需一步,快速开始

MOVCAM铁头官方网店
查看: 16722|回复: 26

[电脑] 大家都用什么后期存储方案

[复制链接]

19

主题

95

帖子

4

精华

精华作者

注册时间
2017-6-16
发表于 2018-12-27 20:14 | 显示全部楼层 |阅读模式
器材帖
内容来源: 原创(楼主原创内容)
器材帖类别: 器材经验分享
器材型号: eason
本帖最后由 ETHAN 于 2018-12-27 20:20 编辑

      后期存储一直是大家在讨论的问题本人由于后期存储一直不够用,经常需要删除素材,迎接新项目的到来。这样对客户还是自己都是一种不负责的工作态度。为了解决这个问题,看了好多品牌阵列以及网络存储NAS,就一个字贵,好配置更贵。无奈只能自己组建了。本想买个二手戴尔R510/R710自己组装,查了很多资料,后来放弃了,原因噪音太了,太吵。      因为各大品牌NAS都是自可以己组装的,所以就想自己组装一台自己的存储系统。选择的是一款FREENAS系统,其他nas系统也可以,为什么选择freenas因为他是一款完全免费且支持ZFS文件系统的企业级开源系统。关乎什么是ZFS文件系统大家可以自行查阅这里不做过多介绍。好了说了这么多废话,下面看看清单。
Freenas配置清单
CPU:  e3 1235l v5  
主板:x11sae-m                           ( 8个 SATA口)
散热器:下压式 cooling s-40x v3 itx
内存:金士顿 纯ECC DDR4 8G X2   ( Freenas系统要求内存最少8G 我用了两条8纯ECCg共16g   当然普通条也可以的)
系统盘:m.2  NVME 128G              (普通32G就够了不用太大,U盘也行)
硬盘:4块 4T希酷狼NAS专用盘          (只用了4块其他接口日后可以升级)
其他:pci延长线
网卡:inter82599es  10G 万兆网卡    (nas端双口)
网卡:Mellandx mnpa19-xtr 10G       (客户端PC)
网卡:Mellandx mnpa19-xtr 10G       (客户端PC)
线材:sfp+10G模块 直通线 3M     (2条)机箱:机箱:万由nsc-810A HTPC                  
电源:海韵ss-350m1u                      (机箱自带)
这里要说明一下;(因为freenas系统占用空间很小可以单独安装在U盘或者其他比较小的SSD,32g已经足够了。我这里有点浪费了。不过这个盘可以日后做zfs缓存盘)照片区
先看看效果吧
1.首先是从客户端SSD到服务器  速度1GB/秒   可以说完美跑满了10G网络。   (可以说现在的线路没没问题)
微信截图_20181227183628.jpg

2.是从服务器到客户端SSD   速度353MB/秒   (为什么那因为我的服务器阵列只用了4块机械盘,4块那应该是400多MB吗? NONONO!  不是的,因为我组的是软RAID Z1就是说4块盘只有三块盘在用,另外一块在做备份。这就是ZFS的优点之一。)
SSD.JPg

这里给大家贴RAID Z说明
tripe: 与 RAID 0 类似,传说中的带条,需要至少一块硬盘。
Mirror: 与 RAID 1 类似,磁盘镜像,需要至少两块硬盘。
RAIDZ1: 与 RAID 5 类似,一重奇偶校验,需要至少三块硬盘。
RAIDZ2: 与 RAID 6 类似,双重奇偶校验,需要至少四块硬盘。
RAIDZ3: 三重奇偶校验,独门秘籍,需要至少五块硬盘。
log device (ZIL): 高速写缓存设备,需要至少一个专用的存储设备,推荐使用 SSD 固态硬盘。
cache device (L2ARC): 高速读缓存设备,需要至少一个专用的存储设备,推荐使用 SSD 固态硬盘。
除去 log device (ZIL) 和 cache device (L2ARC) 这两种专用高速缓存设备不谈,在这里列举一下其余类型的性能和可靠性对比。
3.是从服务器到客户端HDD   服务器读取速度352MB/秒   (为什么那请看上面第2点)
微信截图_20181227190248.jpg



……………………………………………………………………………………………………………………………………………………

下面看过程,具体系统安装过程设置这里就不写了,稍微会点英文都能搞定很简单。百度GOOGLE也有。
…………………………………………………………………………………………
01机箱万由nsc-810A HTPC位机箱,做工挺好,机箱自带海韵1u电源和三个风扇后面两个侧面一个和8条sata线。
0f6e18a155bdf3e8040df186d5fb2fa.jpg 48d03946c3da5f274b15f528f479efe.jpg 52a7d436359ec4dc5f8dea229b58cc1.jpg d97bbce8faf77bca67bec5260b45b9b.jpg

02电源电源:海韵ss-350m1u                      (机箱自带)
c6ae0a561da3bb049f4cefa1746022a.jpg

03CPU e3 1235l v5 因为我只用做存储使用,不需要太好的,即便这个cpu已经淘汰了,但是比市场上那些品牌NAS配的要好太多了。
0d21cd978f6fab2564e2e41b456a1c2.jpg f1dd8986f813b9977b546eb3960d32f.jpg
04主板:x11sae-m  超微的一款,因为要稳定还是选择了好点的板子7x24,8个sata口 必须有,还有三个pie来扩展10g网卡来跑数据。主板具体信息在下面。
  • Single socket H4 (LGA 1151) supports
    Intel® Xeon® processor E3-1200 v5/v6,
    Intel® 6th/7th Gen. Core™ i7/i5/i3 series,
    Intel® Celeron® and Intel® Pentium®
  • Intel® C236 chipset
  • Up to 64GB Unbuffered ECC/non-ECC UDIMM DDR4 2400MHz; 4 DIMM slots
  • 1 PCI-E 3.0 x16, 1 PCI-E 3.0 x4, and 1x 5V PCI 32-bit slots
  • Single GbE LAN with Intel® i210-AT,
    Single GbE LAN with Intel® i219LM
  • 8 SATA3 (6Gbps) via C236; RAID 0, 1, 5, 10 + 1 PCI-E M.2 (support PCI-E x4 only, 2242/2260/2280/22110)
  • 6 USB 3.0 (2 rear + 4 via header(s))
    6 USB 2.0 (2 rear + 4 via header(s))
    2 USB 3.1 (10Gbps, rear)
  • 5a1c45bb0740d5c5fdb161101ab4b40.jpg c6f709655fd476b89a3cc6f90b5c4fa.jpg c35cb850f4f00bb83d231763f1bc8f9.jpg
05内存:金士顿 纯ECC DDR4 8G X2    作为一个7x24小时运行服务器ECC内存还是有必要的。ECC(能够实现错误检查和纠正技术



29efe48f79a65257951781bb703406d.jpg 362f0b5d0b5e9508fed4cf33868ab5a.jpg

06系统盘:m.2  NVME 128G  上面说过了,自己多余的一块SSD有他做系统有点浪费,FREENAS系统可以单独安装磁盘中或者U盘中使用空间很小,有个很小的存储介质来安装系统就可以。32/64G都行,在往下的大小我没测试过大家可以测试下。
5ccde1c03083b0c3265f60844f3011e.jpg

07硬盘:4块 4T希酷狼NAS专用盘   2t盘可以无视,机器使用中不能拍全大家将就看看,因为freenas采用的是zfs文件系统,不需要阵列卡,因为它系统自带raid z 软阵列功能强大具体如下。
前文已提到过ZFS 是一款高、大、上的高级文件系统,因此它有一些非常有趣的功能,如:
存储池
写入时复制
快照
数据完整性验证和自动修复
RAID Z
最大 16 EB 文件大小
最大 256 万亿 ZB 存储
功能还有很多大家可以百度google有很详细解释。

3df31cd5f69479dfd1da11c8dc09e7b.jpg

08其他:pci延长线  这个延长线是用来延长pci-e几口插我们的10G网卡。因为万由的这款机型PCI-E设备是卧试平躺着这的哈哈哈哈。(买时大家有主要方向)

O1CN011EFyOlJHXtRRwYy_!!3004660323.jpg

09网卡:inter82599es  10G 万兆网卡   终于到这个家伙了,大家都知道这个东东蛮贵的,不过还好我们可以用二手,好的话在上新的,(这里要注意:英特儿兼容最好了,具体大家可以查询网上有篇文章FREENAS支持的网卡)

663fb0463ed3e07456221db2ff9f174.jpg df41ac9b9ff3a155912d163e399b188.jpg

10线材:sfp+10G模块 直通线 3M     这个没什么好说的,一般的SFP+线都可以。

ae3ffe68519f33536fee4662e532f03.jpg b762f2924b81df76f3f2a3a91a044f7.jpg c2680479f66104c10fd92c08c32dfbe.jpg

11散热器下压式 cooling s-40x v3 itx     散热器不能太高,5mm内吧   

2e1b0fb9fe5ddd4430c2f84789447a4.jpg 19b9b442cb893d16dcc7e20e11fe4b9.jpg

12网卡:Mellandx mnpa19-xtr 10G       (客户端PC)
    网卡:Mellandx mnpa19-xtr 10G       (客户端PC)

(这个两个10G卡是给客户端用的插到pciex4或x8就行)


一.存储系统我们搞定了,虽然FREENAS已经有快照和备份了,但没有异地备份啊万一万一那别急,用一台10年前的电脑或者笔记本都能搞定,安装个nas系统或者win serve,我用的就是win server 2008 r2.做异地备份,具体两个设备之间的通信软件大家可以研究,因为每个平台都不一样。


希望能帮助大家拜拜


完………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………


SSD.JPg

19

主题

1055

帖子

0

精华

认证会员

山清水秀牧牛羊

注册时间
2010-4-30
发表于 2018-12-28 08:50 | 显示全部楼层
学习了,五星好评

4

主题

78

帖子

0

精华

认证会员

注册时间
2018-1-25
发表于 2018-12-28 10:14 | 显示全部楼层
楼主啥时候能出个视频教程 就造福人类了- -现在电脑目前还能村的下 以后不行了

点评

老铁可以看下这个 https://www.bilibili.com/video/av30776177  详情 回复 发表于 2019-1-3 09:00

19

主题

95

帖子

4

精华

精华作者

注册时间
2017-6-16
 楼主| 发表于 2018-12-28 11:14 | 显示全部楼层
牧阳 发表于 2018-12-28 08:50
学习了,五星好评


发自-拍電影APP发自-拍電影APP

19

主题

95

帖子

4

精华

精华作者

注册时间
2017-6-16
 楼主| 发表于 2018-12-28 11:18 | 显示全部楼层
霸主by 发表于 2018-12-28 10:14
楼主啥时候能出个视频教程 就造福人类了- -现在电脑目前还能村的下 以后不行了

机器在用,不过我现在的异地备份不是很智能,果断时间会组装到时候拍个完整视频。

点评

很期待  详情 回复 发表于 2018-12-28 12:46
发自-拍電影APP发自-拍電影APP

4

主题

78

帖子

0

精华

认证会员

注册时间
2018-1-25
发表于 2018-12-28 12:46 | 显示全部楼层
ETHAN 发表于 2018-12-28 11:18
机器在用,不过我现在的异地备份不是很智能,果断时间会组装到时候拍个完整视频。

很期待

1

主题

17

帖子

0

精华

认证会员

注册时间
2016-6-11
发表于 2018-12-28 18:24 | 显示全部楼层
超级有用的教程,期待楼主的视频教程。

2

主题

466

帖子

0

精华

认证会员

注册时间
2015-4-4
发表于 2018-12-28 20:51 | 显示全部楼层
视频剪辑,读速很重要。建议你现在数据还不多的情况上,上满8块硬盘吧。

我用的也是酷狼

13

主题

184

帖子

0

精华

认证会员

签约摄影师

注册时间
2013-1-19
发表于 2018-12-28 23:24 | 显示全部楼层
这么一套即使是DIY+二手 成本还是比较高的~ 不过对于长期使用投资回报比较合适;

6

主题

200

帖子

0

精华

认证会员

注册时间
2013-3-3
发表于 2018-12-29 00:23 | 显示全部楼层
总得造价大概是多少?
发自-拍電影APP发自-拍電影APP

19

主题

95

帖子

4

精华

精华作者

注册时间
2017-6-16
 楼主| 发表于 2018-12-29 00:42 | 显示全部楼层
zteng 发表于 2018-12-28 20:51
视频剪辑,读速很重要。建议你现在数据还不多的情况上,上满8块硬盘吧。

我用的也是酷狼


发自-拍電影APP发自-拍電影APP

19

主题

95

帖子

4

精华

精华作者

注册时间
2017-6-16
 楼主| 发表于 2018-12-29 00:43 | 显示全部楼层
一人一机一世界 发表于 2018-12-29 00:23
总得造价大概是多少?

我这个全部不到八千
发自-拍電影APP发自-拍電影APP

7

主题

432

帖子

0

精华

认证会员

注册时间
2012-10-2
发表于 2018-12-29 17:30 | 显示全部楼层
freenas就是用户管理功能差一点,权限要求不高的话用着还不错

0

主题

6

帖子

0

精华

认证会员

注册时间
2014-7-29
发表于 2018-12-30 14:31 | 显示全部楼层
mark

25

主题

606

帖子

1

精华

认证会员

丈夫 父亲 电影制作人

注册时间
2013-5-24
发表于 2019-1-2 16:24 | 显示全部楼层
mark

8

主题

934

帖子

0

精华

认证会员

老衲丘道长

注册时间
2014-12-14
发表于 2019-1-3 09:00 | 显示全部楼层
霸主by 发表于 2018-12-28 10:14
楼主啥时候能出个视频教程 就造福人类了- -现在电脑目前还能村的下 以后不行了

老铁可以看下这个 https://www.bilibili.com/video/av30776177

点评

这价格下来能有多少  详情 回复 发表于 2019-1-3 09:09

4

主题

78

帖子

0

精华

认证会员

注册时间
2018-1-25
发表于 2019-1-3 09:09 | 显示全部楼层
老衲邱道长 发表于 2019-1-3 09:00
老铁可以看下这个 https://www.bilibili.com/video/av30776177

这价格下来能有多少

31

主题

254

帖子

0

精华

认证会员

注册时间
2013-4-30
发表于 2019-1-3 18:08 | 显示全部楼层
自己用够了,我做的也是8盘NAS,不过用的双万口双卡,这样就有4个光纤口,支持四台主机直连万兆剪辑。使用的是双系统盘,就算系统盘坏了也不用担心。其实用户权限管理的逻辑有点怪,并不是弱。目前WIN和mac都在用,我也等用户反馈中

点评

是的系统和存储区分离很好,我目前就带两台客户端。哈哈哈  详情 回复 发表于 2019-1-5 12:19

1

主题

379

帖子

0

精华

认证会员

注册时间
2011-9-2
发表于 2019-1-3 20:34 | 显示全部楼层
准备搞一套。。。

7

主题

36

帖子

0

精华

认证会员

军军

注册时间
2015-3-16
发表于 2019-1-4 11:52 | 显示全部楼层
我就是用二手戴尔R510/R710,装了14个硬盘。搞定。噪音问题把风扇换掉就可以解决了。机器不会报错。另外网卡用1GX2聚合,能跑2G的速度。大概读写有220M/S的样子。目前够用。关键是很稳定。方便。

点评

哈哈,我本来也想买个万兆交换机聚合,但是我只有两个人用,就没折腾,采用直连的方式了。  详情 回复 发表于 2019-1-5 12:22

19

主题

95

帖子

4

精华

精华作者

注册时间
2017-6-16
 楼主| 发表于 2019-1-5 12:19 | 显示全部楼层
DK黑苹果 发表于 2019-1-3 18:08
自己用够了,我做的也是8盘NAS,不过用的双万口双卡,这样就有4个光纤口,支持四台主机直连万兆剪辑。使用 ...

是的系统和存储区分离很好,我目前就带两台客户端。哈哈哈

19

主题

95

帖子

4

精华

精华作者

注册时间
2017-6-16
 楼主| 发表于 2019-1-5 12:19 | 显示全部楼层
超哥 发表于 2019-1-3 20:34
准备搞一套。。。

19

主题

95

帖子

4

精华

精华作者

注册时间
2017-6-16
 楼主| 发表于 2019-1-5 12:22 | 显示全部楼层
tobifsjun 发表于 2019-1-4 11:52
我就是用二手戴尔R510/R710,装了14个硬盘。搞定。噪音问题把风扇换掉就可以解决了。机器不会报错。另外网 ...

哈哈,我本来也想买个万兆交换机聚合,但是我只有两个人用,就没折腾,采用直连的方式了。

4

主题

14

帖子

0

精华

认证会员

注册时间
2015-1-20
发表于 2019-2-23 05:10 | 显示全部楼层
请问楼主  这个配置可以用作剪辑4K吗?是否流畅?
发自-拍電影APP发自-拍電影APP

19

主题

95

帖子

4

精华

精华作者

注册时间
2017-6-16
 楼主| 发表于 2019-3-1 22:34 | 显示全部楼层
jiajia860721 发表于 2019-2-23 05:10
请问楼主  这个配置可以用作剪辑4K吗?是否流畅?

可以的,4k剪辑没问题
发自-拍電影APP发自-拍電影APP

36

主题

5964

帖子

1

精华

认证会员

注册时间
2011-7-30
发表于 2019-3-1 22:55 | 显示全部楼层
没搞懂楼主目的是要干嘛?阵列的意义是多个大项目同时并行保证读写速度用的。而备份最靠谱的方案是多几块独立硬盘拷贝素材做双备份,然后异地存放是最保险的方案。也就是说项目素材来了,阵列里拷贝一份工作,另外几个独立硬盘拷贝两份素材,然后拿着素材备份硬盘分别存放在不同地方。

4

主题

14

帖子

0

精华

认证会员

注册时间
2015-1-20
发表于 2019-3-2 11:16 | 显示全部楼层
ETHAN 发表于 2019-3-1 22:34
可以的,4k剪辑没问题

好的谢谢楼主
发自-拍電影APP发自-拍電影APP
您需要登录后才可以回帖 登录 | 注册

本版积分规则

filmaker.cn

GMT+8, 2025-7-4 05:23

Powered by Discuz! X3.4

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表