查看: 1229|回复: 28

[vSphere 6] 用NAS做共享存储性能好差

  [复制链接]
发表于 7-19-2017 16:39:42 | 显示全部楼层 |阅读模式
几台esxi6集群,每台主机分配4个千兆网卡做为管理网络。前台虚拟机的服务网与管理网物理隔离。一台服务器装了多块硬盘,开NFS 4 服务。多个千兆网卡做了Bond,策略为alb,接入后台管理网同网段同交换机。交换机未做三层配置。

所有esxi主机挂上nas存储作为共享存储。
在做虚拟机迁移时,发现IO好慢。一台置备空间45G的虚拟机,迁移完成用了25分钟。
请问各位大神这个速度正常么?NAS可以做共享存储么?
分享到:
 楼主| 发表于 7-19-2017 17:01:17 | 显示全部楼层
再次投入买存储开销比较大。手头有个存储服务器,配满硬盘的话有几十个TB,想作为共享存储。除了NAS后台挂载,还有什么方法可以把它用起来么?前台在虚拟机里挂载/sshfs ?
发表于 7-19-2017 17:13:11 | 显示全部楼层
我们 fc nas和iscsi nas都用  没你说的那么慢。
 楼主| 发表于 7-19-2017 18:03:45 | 显示全部楼层
xmsonic 发表于 7-19-2017 17:13
我们 fc nas和iscsi nas都用  没你说的那么慢。

iscsi是硬件卡还是软件模拟?软件模拟的话,是走千兆网卡还是万兆?
发表于 7-19-2017 20:03:49 | 显示全部楼层
NAS、iSCSI、FC、DAS,只要配置跟得上,大文件传输,100MB/s 只能算是起步。
45GB / 25min * 1024MB/GB / 60s/min =  30.72MB/s
这个对于大文件,绝对算是慢的。
 楼主| 发表于 7-19-2017 23:04:23 | 显示全部楼层
本帖最后由 rabbit74316 于 7-19-2017 23:16 编辑
TiGi 发表于 7-19-2017 20:03
NAS、iSCSI、FC、DAS,只要配置跟得上,大文件传输,100MB/s 只能算是起步。
45GB / 25min * 1024MB/GB / 6 ...

我在NAS服务器上用ifstat观察,bond的四个网卡,流量只走一个物理网卡其他三个只有很少量的包。vcenter里,esxi主机给管理交换机配置的四个管理网卡也只有一个活动,其他三个都是待机状态。
是不是我什么地方配置不对?FC-SAN是现在的主力存储。DAS绑定主机无法自动迁移,基本不考虑,本地硬盘就装个esxi。
 楼主| 发表于 7-19-2017 23:13:44 | 显示全部楼层
本帖最后由 rabbit74316 于 7-19-2017 23:19 编辑
xmsonic 发表于 7-19-2017 17:13
我们 fc nas和iscsi nas都用  没你说的那么慢。

当然,我现在主力使用FC-SAN做共享存储,完全没问题。这个NAS是想存一些读写不频繁对IO要求不高的数据。就是因为NAS实际用起来速度慢得离谱,所以想请各位帮分析一下可能的瓶颈在哪儿。有同事告诉我,NAS协议本身性能就不好,我暂时也不懂如何测试。
考虑到万兆交换机的成本开销,暂时还没上10G,装了比较多的千兆网卡,用于服务目前看是够用了。
发表于 7-19-2017 23:41:03 | 显示全部楼层
本帖最后由 siyoulee 于 7-19-2017 23:42 编辑

我不知道你NAS是什么概念,只是用来放虚拟机的备份文件和模版吗?

速度与网卡,交换机,网线,硬盘,整体架构有密切关系

另外,千兆网卡还得看是什么千兆卡,很多假千兆的,像Intel 82571、BROADCOM低端芯片之流的芯片,只有最多300M的速度,折算回真正的MBYTE,也就是30M,45G/30M = 25分钟,你的速度是正常的,因为管理网络貌似怎么绑都只能走一张网卡,我自己之前试的时候也是纳闷得很。

所以,想快,搞张X540的万兆卡就好了,千兆也要选82576之流的。

我另一台用了万兆卡的DELL R720做的存储,用FreeNas,8只8T的盘,也能走到9xxM /S,所以应该不会慢的,我更倾向网卡和交换机的问题,如果你的速度慢的话。
发表于 7-20-2017 08:54:34 | 显示全部楼层
大容量SATA磁盘的IO性能本来就很差的,想快上SSD。
发表于 7-20-2017 09:40:51 | 显示全部楼层
你自己算算你这个nas的IO,还有就是流量就走了一个千兆网卡,能不慢么...
发表于 7-20-2017 14:55:25 | 显示全部楼层
低端的可以试一下QNAP的产品!

点评

我的QNAP439,四个6TB的SATA,RAID6下,上下行大文件基本达到100MB/s。  详情 回复 发表于 7-20-2017 15:28
发表于 7-20-2017 15:28:22 | 显示全部楼层
mrask99 发表于 7-20-2017 14:55
低端的可以试一下QNAP的产品!

我的QNAP439,四个6TB的SATA,RAID6下,上下行大文件基本达到100MB/s。
发表于 7-23-2017 16:15:47 | 显示全部楼层
万兆网的NAS可以马马虎虎的用
发表于 7-23-2017 17:56:34 | 显示全部楼层
网络是一个因素,NAS、IP SAN设备自身的配置更是一个关键。
发表于 8-29-2017 07:15:26 | 显示全部楼层
我觉得是NFS4的锅,我自己组的nas使用NFS4挂载,基本上读写就30MB/s,换成smb共享就上100MB/S
发表于 8-29-2017 11:55:59 | 显示全部楼层
大多数全都在瞎扯
发表于 8-30-2017 01:29:42 | 显示全部楼层
NAS只适合做一般存储。我这都是10gHBA+SAS和SATA,本来网络就有损失,你再搞一堆不知名的千兆卡速度更不行,如果楼上对速度有要求还是尽早调整网络结构,后面数据越多你这迁移的成本就越高
 楼主| 发表于 9-7-2017 16:41:44 | 显示全部楼层
laotumsn 发表于 8-30-2017 01:29
NAS只适合做一般存储。我这都是10gHBA+SAS和SATA,本来网络就有损失,你再搞一堆不知名的千兆卡速度更不行 ...

都是Intel正牌双口、四口千兆卡。
我觉得是vmware的锅。这货似乎不管你绑几个网卡,同时刻流量只给你走一个口
发表于 9-8-2017 14:49:09 | 显示全部楼层
你的NAS是什么型号,这个跟NAS存储的CPU处理能力,网卡速率,服务器分不同线连接管理都有关系的,觉得不适合作大IO共享存储。
 楼主| 发表于 9-13-2017 10:56:25 | 显示全部楼层
本帖最后由 rabbit74316 于 9-13-2017 11:04 编辑
z_hg 发表于 9-8-2017 14:49
你的NAS是什么型号,这个跟NAS存储的CPU处理能力,网卡速率,服务器分不同线连接管理都有关系的,觉得不适 ...

主楼说了:“一台服务器装了多块硬盘,开NFS 4 服务。多个千兆网卡做了Bond,策略为alb,接入后台管理网同网段同交换机。交换机未做三层配置。”服务器配置:
E5-2650 × 2
256 G内存
Intel 4口千兆 ×2
LSI 9270-8i
发表于 9-13-2017 17:17:50 | 显示全部楼层
45GB * 1024 / 25min / 60sec= 30.72MB/s
如果网络内没有其他流量导致拥堵,建议先测试一下现有NSF的速度 —— 对端接一个Windows客户端试试看能否跑到80MB/s。
发表于 9-13-2017 20:40:48 | 显示全部楼层
我最近4台esxi后端用的Lio,走的光纤,用的是软ISCSI,高I/O一来直接把主机干死,虽然用的flas卡做缓存,还是不行,现在准备走FC路线
发表于 7 天前 | 显示全部楼层
群晖   2*800G SSD  6*10T RAID6 万兆光纤卡  万兆主机也万兆    数据迁移的时候差不多能在600-650 最高没看见超过700M
感觉到瓶颈了。
发表于 6 天前 | 显示全部楼层
虚拟机在一个虚拟网络接口上绑定多个物理网卡时,只有一块在工作,其余均作为故障转移备用。
同时工作的话,这个虚拟机要配多个虚拟网络接口,每个接口只绑一块网卡。

不知道你设置的是哪种情况?
发表于 5 天前 | 显示全部楼层
只有不到位的配置和环境;NAS都慢,对于这个只能呵呵。
您需要登录后才可以回帖 登录 | 我要注册 一键登录: 更多»

本版积分规则

快速回复 返回顶部 返回列表