小工作室和小公司共享剪辑服务器８０００元测试

紫色思维

对于很多小公司或者小工作室来说，如何让四五个后期剪辑和特效师协同工作是一个难题，毕竟现在的素材动不动开车都是4K，靠千兆网卡提供的100MB/S，左右的速度绝对会是一个悲剧。即便上Raid列阵，你怎么共享，外置箱子移来移去？这件事儿困扰了我很久。基本上一个后期在剪，其他人做多做做特效或者上上字幕，然后等着：）马云家也有很多共享剪辑的服务器，但是价格都……
作为一个屌丝ＤＩＹｅｒ加视频制作爱好者（上学的时候，没学过一天视频），我决定自己动手想想办法。依靠马云家的大船货干些事儿情。

紫色思维

我选择了一台ｄｅｌｌｒ５１０的二手服务器。选择的原因是比较安静５０分贝日常，可以放在公司里，不算很吵，另外Ｈ７００列阵卡，５１２内存和电池，支持４Ｔ硬盘ｒａｉｄ５，最多支持１２块硬盘，考虑需要备份和价格，又买了９块硬盘组了一个ｒａｉｄ５，机内测试速度是１３００ＭＢ／ｓ的读取（新硬盘状态）。
整个服务器的内存是１６ｇｂ　ｅｃｃ内存，两颗Ｌ系列的ｃｐｕ（功耗低点）。
系统选择的是ｗｉｎｄｏｗｓｓｅｒｖｅｒ２０１２，马云家激活１０元。

一部分硬盘做了ｉｓｃｓｉ分配给各个工作站做个人素材盘。
所有工作站，统一２５０Ｇｓｓｄ

然后ＳＭＢ做ｗｉｎｄｏｗｓ共享盘，虚拟了几个盘，总容量大概１９Ｔ左右。

基本上满足了小宣传片，广告片，微电影的需求。

多余的两个盘（还有一个硬盘放系统，所以只能多两个），是用来做自动备份的（还没弄好）现在先手动备份。

整个服务器系统大概的开销是２１００元服务器，３８００元硬盘，总价６Ｋ

紫色思维

接下来是搞定传输部分，当然可以用万兆网卡共享，但我觉得太贵了，而且以前的布线也满足不了万兆的需求。好在我目前只是需要四台工作站，所以我最后选了马云家的洋垃圾ＩＢ卡，ｉｎｆｉｎｉｂａｎｄ卡。这种卡是ＨＰＣ大型机用来做数据传输的，价格不贵２００元左右。然后ＩＰ０ＩＢ。

紫色思维

我的这种洋垃圾卡，研究了很久是为了ＨＰ　ＯＥＭ的，所以固件刷不了，连驱动都不支持了（还好，店主给了驱动，而且ｗｉｎ１０和２０１２竟然都能用。自己ｄｉｙ刷固件，方法很复杂，各种命令行（还好略懂一点），然后连上了，两块卡双口，给四块卡连线。可以提供２８０ＭＢ／ｓ的速度——然后各种不满意，修改ＭＴＵ，各种自我摸索（外国网站都没教程了），目前没有实现ＲＤＭＡ，但调整了ＭＴＵ到４０００，目前实现了大概４１０ＭＢ／ｓ读取　５００ＭＢ／Ｓ　写入的共享速度。

紫色思维

这批卡和专用线大概是１８００元，马云家有。总价８Ｋ实现了２４ＴＢ共享每个工作战４１０ＭＢ／ｓ读取的性能。

紫色思维

目前还在努力，希望换卡，或者实现ＲＤＭＡ，帮论坛的各位兄弟实现便宜的共享剪辑，还希望陪一个备份服务器，保证数据安全。但最近没时间了，慢慢研究。目前基本可以不卡地剪辑４ＫＲＡＷ文件（ＦＳ７００　１０ｂｉｔ）。

紫色思维

其实如果有钱直接万兆电口省时省力，我足足研究了两周。但预算要上去将近一倍。

Davinci

楼主的动手能力探索能力让人钦佩呀

marvinhddvd

可以考虑一下雷电2接口的方案，也有20Gbps了

紫色思维

marvinhddvd 发表于 2016-6-28 23:13
可以考虑一下雷电2接口的方案，也有20Gbps了

雷电2，8K怕是办不下来，再说了那卡不好买啊。

上帝之猪

的确省钱

老白

技术达人啊 马克一下 学习！

霜之哀殇

赞！很有价值的经验分享。
如果要求低的话可以考虑千兆网卡链路聚合，不过既然是要4K剪辑的话，确实需要上光纤了。

回形针

有钻研精神

jkl

还是非常不错的。第一次看到INFINIBAND介绍。谢谢楼主。

jkl

这种HCA卡，需要配备专门交换机吧，还有接口协议都是不一样的。还需要专门的系统和驱动。查了下资料，这种卡，CPU占用率低，延时低，性能极其i恐怖啊。起步万兆。有的是40Gb 56Gb   100gb的。不过价格真的不贵。比对一下以太的万兆网卡。

   这种卡的IC只有MELLANOX出的。网址：  www.mellanox.com  大家可以去看下。

紫色思维

mellanox耍流氓，早期驱动不更新了也不支持了，一切都要摸索，ipoib技术成熟，如果有新驱动配合smb3.0，速度有望上1000mb/s……至于io延迟也是fc和ip卡没法比的

jkl

紫色思维 发表于 2016-6-29 11:53
mellanox耍流氓，早期驱动不更新了也不支持了，一切都要摸索，ipoib技术成熟，如果有新驱动配合smb3.0，速 ...

你的阵列速度那么快，应该上1000M没问题的，不过你用的是以太交换机吧。这个卡要配合专门的交换机才OK的吧。那个卡的接口不是直接RJ45网络接口吧。是特殊接口的，你怎么和下边客户机链接的呢？
  

   另外你的卡也是OEMHP的卡，驱动应该难搞，好像MELLANOX只出芯片的驱动和自己卡的驱动。

不过这个卡的性能的确恐怖啊。各种参数甩FC IPSAN   N街啊。不是一个档次的。

紫色思维

不用交换机，1900太贵了，除非机器超过六台，线二手的cx4口

紫色思维

因为特殊封包，这个卡理论900mb左右，现在打不到，驱动问题。我还在想办法

老师们好

牛B的  

疯狂的嘻嘻

你的文章我看了好几遍

有几个问题不明白 那个20G的网卡为什么要升级BIOS？

戴尔存储服务器插了2个20G的卡，每个卡2个接口，然后连接4个台式机？ 另外那种连接线够长吗？

ＲＤＭＡ的好处是什么呢？

很牛的感觉

老衲邱道长

挺好的解决方案，适合我们穷人家~

紫色思维

疯狂的嘻嘻 发表于 2016-6-29 18:44
你的文章我看了好几遍

有几个问题不明白 那个20G的网卡为什么要升级BIOS？

线我是马云家买的10米，这个卡如果不用光纤口，最长好像也就是17米左右，但我用足够了。
升级bios是希望能够安装OFED3.1驱动，可惜始终找不到forwin10的版本，因为停止更新了，如果win7+winserver2008R2 没问题。
但艰难升级以后，发现MTU可以稳定上4000了，再高不行，稳定连接可以，素材出现拉丝问题，估计是丢包。

Infiniband的机智是15bit好像，和tcpip不太一样，所以4000MTU我觉得也是极限了（比网卡快很多了）。

主要是驱动，如果OFED3.1可以升级去到win10 和server12 r2
就可以完美RDMA，这个技术我也研究了半天，道理很简单，客户端CPU直接向服务器RAM发送请求，读取RAM数据，RAM直接去硬盘里找，服务器CPU干看着，不干涉——这意味着几乎那个列阵就装在你自己硬盘里了，只要连接速度够，就是列阵直接读，网上有朋友用Isre也不知道什么技术，测试结果是900多MB。

但可惜SMB达不到，需要新系统，但新系统又没有新驱动，现在就算卡在这儿了。

SMB就是windows的磁盘共享协议，8.1之后3.0版本全面支持RDMA了。


现在400MB先用着，等找到更合适的卡，不过INFINIBAND的逻辑是做HPC，换卡就是换线，不考虑成本问题，所以我要寻找到更好的特便宜的洋垃圾才行……捡垃圾的DIYer……

无聊透顶

服务器装系统我一般推荐redhat或者centos，驱动好找。以前一直这么干，连界面都不要装。

紫色思维

无聊透顶 发表于 2016-6-29 21:24
服务器装系统我一般推荐redhat或者centos，驱动好找。以前一直这么干，连界面都不要装。

我的大神，有linux的指导吗？后悔当年没玩linux了，linux找开源驱动好方便的：（

无聊透顶

紫色思维 发表于 2016-6-29 21:46
我的大神，有linux的指导吗？后悔当年没玩linux了，linux找开源驱动好方便的：（

当初玩的时候，社会上没多少人和资料。现在资料太多了。拿个一般的机器先装个系统玩玩就慢慢上手了，然后再看看网上的资料。

都督

楼主威武！FS700 10比特怎么实现的？录制后备买的啥样的？多少钱？刚开始用700的裸机想升级一下，多谢！

紫色思维

都督 发表于 2016-7-1 00:30
楼主威武！FS700 10比特怎么实现 ...

R5
我个人建议shootgun r5稳定但是太重：）

都督

紫色思维 发表于 2016-7-1 16:15
R5
我个人建议shootgun r5稳定但是太重：）

楼主好人，对fs700属于小白，后备的事情还想听详解。后备的品牌，型号，价格等。多谢