[前言]
我相信几天前对瓦纳克里勒索病毒的恐惧仍然存在。在信息时代,我们越来越重视数据安全。网络存储(NAS)是一个很好的数据安全解决方案。
今天群晖科技给我们带来了17年新款NAS:Synology DS1517+,以及好兄弟Synology DS1817+。分别是5盘位和8盘位NAS,都最大支持16G内存,支持SSD缓存加速,支持10G高速网络。今天在这里给大家带来Synology DS1817+评测。全文分为三篇,分别是Synology DS1817+的硬件评测,和几篇Synology DS1817+的实际应用场景。
以下是第一篇Synology DS1817+的硬件评测。
关于黑群辉
谈到群晖不得不说说黑群辉,朋友也问过我,是否可以组装一台黑群辉,在公司直接使用。
很多朋友会使用第三方的主板和机箱,安装群晖的操作系统。用起来貌似没问题。但是由于第三方提供的硬件没有经过严格测试。时间长了,在SATA接口背板或者主板SATA接口或者磁盘供电部分容易出问题。群晖系统对磁盘的监测是非常严格的,这一设计为了保证当磁盘存在潜在故障风险时候就告知用户可以做磁盘替换等操作。但是在黑裙上,这个设计却会因为黑裙SATA接口的不稳定,从而造成磁盘掉线或者被判为损毁。对于多次盘的RAID系统来说,超过1块磁盘的掉线,意味着存储空间损毁。在黑裙用户中,常常会听到,“怎么硬盘又报错了啊”,“数据又损毁了”。
然后在单盘出问题时候,需要更换磁盘,黑群辉往往没有磁盘指示灯,用户很难知道是哪块磁盘出了故障。如果拔错磁盘,对于RAID5来说就是变成2块磁盘损毁,整个RAID都损坏了。
同时,黑裙不能享受到群晖系统的同步升级,如果大版本升级基本意味着需要重装整个系统,无法保存配置,或者其他一系列问题。
白群并不是说一定就没事,而选择黑群辉,对用户来说将会面对更多风险。毕竟白群出厂经过了这么多测试和兼容测试,同时白群还有群晖官方的技术支持,有任何问题邮件都能有专人快速帮你解决。对于个人用户来说,你的数据的价值远远大于黑群和白群的差价。对于企业用户来说,甚至停机几个小时都会给企业带来很大损失。所以更推荐大家使用群晖官方的机器。
DSM
DSM是群晖的精华所在,硬件只是骨架,软件才是灵魂。
关于DSM基础部分的介绍这里不多重复介绍了,参考我原来214Play的文章。
关于DSM在实际场景中的应用,请看后面陆续文章。
【产品解析】
介绍
这次是来自群晖的DS1817+,从型号命名来简单做下介绍:
DS:机箱式存储,就是我们平时见到的小盒子NAS。相对应还有RS系列,也就是服务器机架式
18:最多18盘位,群晖型号这一位代表最大扩展磁盘数。
17:17年发布机型
+:表示Plus 系列商用工作群组/中小企业
需要说明的而是,1817+机身本身是8盘位,在2个DX517配合下,才能最大实现18盘位。
Intel Atom Processor C2538
DS1817+使用了Intel Atom Processor C2538,这里做一个简单介绍。
Intel Atom Processor C2538,隶属于Rangeley家族,使用 Silvermont微架构,发布于2013年末。
Silvermont每个核心独立32KB数据+24KB指令一级缓存,每2个核心则共享1MB的二级缓存,然后通过环形总线连接,最多可以提供4组8核心。支持 64 位指令集,ANS-NI指令集以及Vt-x虚拟化支持,DS1817+的硬件加密就有ANS-NI指令集提供。
Intel Atom Processor C2000系列架构图:(来自intel)
Intel Atom Processor C2538提供2组4核心,频率为2.4GHz,二级缓存,2组1MB,一共2M。TDP设计功耗为15W,很容易做成无风扇系统。内存支持双通道DDR3/DDR3L-1600,双通道可以给机器带来更好的IO吞吐,支持ECC内存。并没有GPU模块,DS1817+并不支持GPU加速转档,当然CPU也能完成转档的任务。
由于芯片为SOC,直接提供了PCIe控制器和周边IO。PCIe提供了16条Gen 2.0,支持4组控制器,16条PCIE最大可拆分成4条4x。在Atom家族中算PCIE给的多的。所以DS1817+有独立PCIE插糟支持M2 SSD和万兆网卡。
周边IO,提供2个SATA 3.0、4个SATA 2.0,USB部分则提供4个2.0,并没有原生USB3.0的支持。 网络部分SOC直接内置4个GbE等级MAC,支持4x1 GbE或者4x2.5 GbE。DS1817+配合Marvell Phy,提供4个千兆网口。
从硬件规格来看,Intel Atom Processor C2538这个处理器更偏向网络和入门低功耗服务器,已经不是我们传统意义上的Atom了。
特性
从命名来看1817+是他前任1815+的升级。首先来说说1817+和1815+有什么升级吧
增加10G网卡的支持
玩NAS的朋友都会尝试使用多条千兆网线聚合来达到较高网络吞吐能力。可以说现在高端nas性能瓶颈在千兆网口上。
这次DS1817+提供了一条PCIE插槽可以用来安装PCIE 10G网卡。除了群晖E10G15-F1和E10G17-F2这两块群晖原厂可选网卡外,同时兼容PCIE网卡。
下文我选了几块万兆网卡,给大家看下网卡的兼容性。
增加M2D17
大家都知道,群晖的DSM系统都是支持SSD缓存加速的。但是使用了SSD缓存加速就意味着SSD会占用盘位。在群晖上盘位决定了一台NAS的定位,盘位可以说是非常稀缺的资源。
这次DS1517+和DS1817+,增加M2D17这一附件,可以使用M2 SSD来做SSD加速缓存而不占用主硬盘位
双通道内存
玩PC的大家对双通道已经不陌生,双通道可以大大加速内存的吞吐带宽。这个对于支持10G高速读写的NAS来说尤为重要。如果大家的1817+使用10G网络,那么双通道内存是必不可少的。
虚拟化认证
从DSM5.1开始,群晖就提供虚拟化的支持以及虚拟化认证。
对于这个虚拟化的支持很多朋友很陌生。在第二篇应用上,会针对这个做主要的介绍。
详细规格
【开箱】
DS1817+依然使用了瓦楞纸包装,正面使用彩色贴纸标注了产品型号DS1817+
包装顶部很贴心的设计了提手,搬动时候比较方便。
左上角国代世平伟业国际贸易有限公司的Logo贴纸, 群晖只有国行的机器才能享受到国内的保修。大家买机器的话注意有没有国代的贴纸。
包装侧面,下方描述了产品特性。
侧面用贴纸描述了DS1817+具体参数。
正面产品介绍贴纸。
打开盒子看到内部完整的保护材料保证nas在运输途中不受损。
盒子顶部有一纸质盒子,内部存放网线,电源线,磁盘柜钥匙以及2.5寸固定螺丝
包装内还有一本快速入门手册
取出NAS,可以看到正面8个盘位完整在面前,上方电源开关和指示灯
正面顶部的指示灯, 依次是状态,警报,电源按钮,和4个网口状态指示灯
在右下角,设计了一个前置USB3.0接口,加上背后3个接口,一共提供4个USB3.0
NAS背面从左到右,依次电源接口,esata磁盘扩展口,4个1G网口,3个USB3.0接口,esata磁盘扩展口以及PCIE半高插槽。
磁盘托架采用热插拔设计,每个磁盘托架都有状态指示LED和锁。
不要小看状态指示LED,这个可以在磁盘损毁时候快速定位哪一块磁盘损坏需要替换,避免拔错磁盘造成存储空间损毁的惨剧。
NAS底部有个很大可拆卸空间,拆掉4个螺丝很方便取下挡板
打开挡板,可以看到内部是2根内存条。
DS1817+提供双通道内存支持,方便用户更换升级内存,满足不同需求。
原厂使用了DDR3L,低电压内存条。
【拆解】
取出硬盘托架,可以看到SATA背板。群晖SATA背板做了镂空处理,可以使得气流更好的流过硬盘,给硬盘散热。
拆下外壳,可以看到侧面Synology的Logo同样做了镂空处理,保证散热。
取下外壳后,可以看到NAS内部结构。
NAS左侧是PCIE 8x(4x链接)插槽,用于安装10G网络卡以及M2D17 SSD缓存卡。用户更换10G网卡只需要拆掉外壳就可以。
右侧是电源部分,1U电源,群晖已经定制过线材,在机箱内线材长度正适合。
电源来自台达,250W额定功率,满足8盘位硬盘启动瞬间的电源需求。
电源模组可以方便的取下。群晖官网有单独电源模组的出售,如果过保后遇到电源问题,可以联系群晖单独购买。
电源接口,看着像ATX的24Pin,实际针脚定义略有不同。
NAS背后的风扇模组同样可以拆下,方便用户清理灰尘。
风扇是来自元山科技(Y.S. TECH),规格12V 0.33A,同样群晖也有单独出售。
接下来部分是给大家更好的看到DS1817+的设计和构造,不建议普通用户做以下拆解了。
取下前面板,可以看到8个盘位指示灯安装在面板内测
拆下底部挡板,可以看到在底部的主板,以及上面的内存。
8G版本的1817+内置2条4G DDR3L 1600内存,群晖原厂内存,带有群晖LOGO
取下主板正面,主板上有2个类似PCIE 1x的插槽,用于和背板链接。左侧插槽包含3条sata总线,右侧插槽包含5条sata总线。
主板上有一个19pin的USB3.0接口,负责前面板上的前置USB3.0。
拆除散热片,当中最大的就是CPU,也就是SOC,来自Intel的Atom Processor C2538
主板背面,看到2个内存插槽,以及下方有一颗网络的Phy
背后接口部分
主板芯片特写
1、Intel Atom Processor C2538,CPU,4核心2.4Ghz。
2、MICRON 26Q064A,8M Flash,用于保存主板BIOS
3、IDT VRS4420DL,CPU时钟芯片。
4、板载DOM,FLASH是来自Spansion的S34ML01G200 SLCNAND Flash,128M,内置群晖系统引导部分。
5、EtronTech EJ188H USB3.0控制器,提供NAS的4个USB3.0接口
6、Altera E64C5N,逻辑存储器,用于存放设备ID等信息(例如群晖产品型号)。
7、Marvell 88E1543,4口网络PHY,网口的MAC部分在CPU内部
8、Marvell 88SE9235,PCIe至SATA控制器,上联PCIE 2.0 x2,提供4个SATA 3.0,支持Sata Port Multiplier端口复用。
9、ISL95831,CPU电源管理芯片
【硬件分析】
根据拆解简单的绘制硬件框图
DS1817+使用了Intel Atom Processor C2538作为SOC,SOC原生提供了2个SATA 6G,4个SATA 3G接口。1817+只使用了其中2个SATA 6G作为盘位1和2的控制。
剩下盘位的sata接口通过Marvell 88SE9235来提供。一共2颗Marvell 88SE9235,每颗负责3个盘位以及1个esata接口。也就是说1颗88SE9235负责盘位3-5,以及esata1,1颗88SE9235负责盘位6-8,以及esata2。
Intel Atom Processor C2538提供了16条PCIE,分为4组控制器,实际是4个PCIE 4x。2颗Marvell 88SE9235分别占用2个PCIE 4x,实际工作在PCIE 2.0 2x模式下。EtronTech EJ188H USB3.0控制器占用第三个PCIE 4x,实际工作在PCIE 2.0 1x模式下,提供4个USB3.0接口。最后一个PCIE 4x作为PCIE扩展槽,做成8x的长度,给用户安装10G网卡或者M2ssd扩展卡。
Intel Atom Processor C2538,提供了4x1G或者4x2.5G的网络Mac,使用Marvell 88E1543作为Phy实现4个千兆口。
DS1817+可以说是用足了Intel Atom Processor C2538提供的所有资源,并且8个盘位全部SATA 6GB模式。
【SSD CACHE】
大家都知道,一次NAS所存储的所有数据,并不是全部数据都是被频繁读写和使用的。只有一部分数据会被更频繁访问,这部分数据我们叫他热数据。
而往往这部分热数据只占了整个数据空间一部分,所以可以使用SSD来缓存这部分数据,从而来加速整体存储空间的访问性能。
这是张冷热数据分布图,大家可以看到,热数据只有较小的一部分,但是这部分数据是会被频繁访问。所以SSD Cache的作用就是缓存这部分数据
(图片来自群晖白皮书)
linux设计本身对磁盘有缓存机制。但是问题在于内存容量是很可贵的,并不能完全将热数据作缓存。SSD Cache相当于内存这一级缓存后做的第二级缓存。
这是台Linux服务器,16G内存12G被系统用作缓存。
对于群晖来说SSD CACHE有两种模式,读缓存和写缓存。
读缓存
SSD CACHE和内存缓存并不冲突。
当一次磁盘请求到来,首先还是在内存中寻找数据。在无法直接从内存读取数据之后,会从SSD Cache中去寻找是否有缓存数据。
如果数据存在SSD Cache,那么就会从SSD Cache中读取。
如果数据不存在与SSD Cache中,那么会从磁盘中读取,缓存到SSD
SSD读缓存只是存储了该卷的数据副本。因此,即便读缓存损毁也不会有数据丢失。
SSD做读缓存,Base、RAID 0都可以做。也就是说,单块SSD就能做读缓存。
写缓存
SSD写缓存,当发生写入请求时,数据有先写入SSD,当SSD写完后立刻通知系统数据写入完毕。然后交给系统后台,再把SSD内的数据会写到硬盘。
当然这部分的数据,也作为读缓存的缓存。
由于数据有先写入SSD,然后再转移到磁盘,写缓存的损毁会造成数据丢失。
所以群晖不允许Base,RAID 0这类非高可用方式做写缓存。
SSD写缓存在只能在RAID 1、RAID 5、RAID 6这类有数据保护的模式下才能启用。也就是说要是用SSD写缓存,至少需要2块SSD
关于群晖的SSD Cache,更信息信息可以参考群晖白皮书
... c
要是用SSD Cache,一般使用2块SSD来实现,对于群晖来说会损失2个盘位,所以这次群晖带来了M2D17,可以在安装SSD时候不占用磁盘盘位。
M2D17
群晖M2D17依然使用牛皮纸包装。
打开包装后可以看到静电袋包装的转接卡
取出转接卡,正面可以看到一大块散热片,尾部有2个M2插槽。
转接卡背面
在巨大散热片下,是来自IDE 89HPES24T6G2,24Lane PCIE Gen8 Switch。负责扩展更多的PCIE通道。
边上一个就是在1817+种出现很多次的Marvell 88SE9235,PCIe至SATA控制器。
把M2D17连接在PC上,利用HWiNFO查看PCIE链接情况。可以清楚的看到PCIE Switch如何使用
M2D17利用IDE 89HPES24T6G2把PCIE 8x 2.0上行扩展到4个PCIE 4x 2.0。其中一组PCIE 4x 2.0链接Marvell 88SE9235,给2个M2插槽提供SATA总线。
两组PCIE 4x 2.0直接给2个M2插槽提供PCIE总线。
也就是说M2D17的2个M2插槽,硬件上支持sata,pcie(包括ahci、nvme)的M2 SSD。
目前群晖6.1.1系统,暂时支持sata模式的M2 SSD作为SSD CACHE。
SSD兼容列表可以看这里:
;category=hdds&p=1&product_bays=8&product_name=DS1817%2B&filter_type=M.2+SATA+SSD¬_recommend_mode=false
这里使用了2块建兴Liteon V5G 256G作为测试用SSD。安装到M2D17上。传闻建兴在6月份会升级V5系列产品线,使用smi 2254主控和海力士原厂tlc,smi2254是一颗慧荣独家针对建兴oem客户的高标要求针对2258优化的主控,等上市时看有机会我们也会测试一下。
然后把M2D17安装到群晖DS1817+ NAS内部。
在DSM内部可以看到在8个盘位之后,多出了2个缓存设备,分别是“缓存设备 1-1”和“缓存设备 1-2”
点开后可以看到SSD具体信息,Liteon V5G 256被正确识别。
群晖可以清晰的检测到SSD的剩余寿命和SMART状态,可以再SSD写寿命结束前通知用户。
也可以看到具体的SMART信息。
现在我们来把这2块SSD加入到存储空间中。首先到存储空间,SSD缓存界面,
新建缓存,选择读写缓存模式。前面也说过读写缓存至少需要2块SSD。
全部选中2块SSD,加入缓存。
选择SSD组成RAID模式,2盘只能选择RAID1。
容量一般选择全部SSD容量,默认勾选跳过连续IO。
SSD缓存对提升IOPS有作用,对提升连续读取速度意义不大。这边也建议勾选跳过连续IO。
创建完成后,可以看到SSD缓存已经存在。
点进去,可以查看当前SSD缓存状态,下面动画显示当前缓存命中率。
性能测试
这里对使用10G网卡的DS1817+做一个性能实测。
测试环境
NAS:Synology DS1817+
磁盘:WDC WD2002FYPS *8,Liteon V5G 256G *2
交换机:Quanta LB4M, MTU 9000
iSCSI理论测试
在DSM上建立iSCSI Lun,映射到PC上,对映射磁盘的iops做测试,对比启用和关闭SSD Cache的差距
可以看到,开启SSD Cache后,对于多盘位的NAS存储,IOPS带来了成倍的性能提升。
虚拟化虚拟机应用测试
按应用篇的方式,DS1817+给vSphere提供虚拟化存储
然后在虚拟机内打开Photoshop,查看打开速度差距。
SSD Cache:5秒
no SSD Cache:13秒
对于虚拟化存储来说,SSD Cache启用后,明显感觉到虚拟机日常操作没有太大的卡顿。SSD Cache对于存储作为虚拟化使用是非常有作用的。
【10G 网络】
DS1817+增加一个PCIE半高插槽,来支持10G网络。DS1817+要尝试10G网络前,先要确保内存安装了2条组成双通道。
万兆位以太网,分为光纤和铜揽双绞线两大阵营。也就是我们所说的光卡和电卡。
光卡使用SFP+接口,群晖的E10G 15-F1和E10G17-F2都属于这类。SFP+可以连接光模块使用光纤传输,也可以使用SFP+直连线缆(Direct Attach Cable)
铜揽使用10GBASE-T标准,使用在6类(CAT6)UTP双绞线上的传输距离到55米,超6类(CAT6A)UTP双绞线上的传输距离到100米。
万兆网络可以提供10倍于千兆的传输能力。即使对比1817+上一代产品1815+的4条千兆聚合,带宽也提升了一倍。
那么问题来了,应该使用什么10G网卡呢。作为群晖的nas,群晖的E10G 15-F1和E10G17-F2自然是最好的选择。这边我们选择了市场上常见的10G网卡做测试。
1、Intel 82599系列
Intel 82599万兆处理芯片历史悠久,Intel也使用这颗网络处理芯片生产过多款万兆网卡。
Intel X520-DA2 2端口SFP+网卡,Intel X520-SR2 2端口SFP+带多模模块网卡,
Intel X520-T2 2端口电口网卡,Intel X540-T2 2端口电口网卡(X520-T2独立Phy,X540-T282599集成Phy)等。
对于Intel的网卡山寨卡满天飞,这边更推荐使用Intel原厂网卡,不但可以享受Intel原厂的终身保修外,还有稳定性的保障。
这一系列网卡公用ixgbe.ko驱动。
Intel原厂的Intel X520-SR2网卡。
Intel原厂网卡使用牛皮纸包装盒。
网卡使用塑料盒子安装在包装内。
网卡背面可以看到Intel原厂防伪标签。
2、Intel X550
Intel X550是针对X540的升级,支持PCIE3.0,降低了网卡功耗。同样X550也是可以在群晖上正常使用。
X550和82599一样也是使用ixgbe.ko,只要ixgbe版本升级,就可以支持X550.
Intel X550-T2,X550只有电口版本。
3、Intel 710系列
Intel 710是Intel最新一代网络处理芯片,支持10G、25G、40G多种模式。可以说是当代牛卡
有X710-DA2 2端口10G SFP+,X710-DA4 4端口10G SFP+,,X710-T4 4端口10G 电口,XXV710-DA2 2端口25G SFP28,以及最牛的XL710-QDA2 2端口40G。
这些卡都是用相同的i40e.ko,所以都是可以在群晖上使用。
这边使用的是10G网卡Intel X710-DA2,后面性能评测也是使用这块卡
4、EMULEX 系列
EMULEX是做FC HBA卡起家,他家网卡我接触比较少,这边只测试了在群晖兼容列表内的EMULEX OCE11102-NM。
我买到的是Dell的拆机卡,通过刷公版固件,使得EMULEX OCE11102-NM和公版一样功能。
OCE11102系列网卡使用be2net.ko驱动
OCE11102建议大家升级网卡固件至11.1.38.57,因为群晖6.1.1内be2net驱动版本是10.1.38.64,最佳匹配.固件升级地址:
... e11102-nx#downloads
EMULEX OCE11102-NM
5、Mellanox系列
Mellanox是做infiniband起家,市面上infiniband产品基本是他家的。群晖E10G17-F2其实也是Mellanox的产品。
最近在某宝上看到有一片150元的拆机万兆网卡,查询是Mellanox ConnectX-2 EN MNPA19-XTR。抱着试一试的心态买来试试,结果发现虽然这块卡不在群晖官方的支持列表,但是实际上在群晖上可以正常使用。
Mellanox ConnectX-2和Mellanox ConnectX-3使用了相同的mxl4_core.ko和mxl4_en.ko。
Mellanox ConnectX-2 EN MNPA19-XTR
网卡启动日志
上面提到的5片网卡都是我这边实际测试过可以在群晖上使用的10G网卡。有兴趣朋友有新的测试后欢迎留言补充。
测试用网卡全家福(X520被朋友借走了,不在下面图片内)
说了这么多,这边给大家看下群晖DS1817+安装网卡,这边以Intel X710为例
X710安装在PCIE插糟,相对比较方便。
从侧面可以看到X710的网卡
在DSM内部看到多出的10G网卡,并且可以看到链接速度确实10G了。
查看linux日志信息,可以看到X710完美识别
在这里教大家如何判断网卡是否可能被群晖支持和如何查看这块网卡的启动日志。
首先你要去网卡官网下载到这块网卡的linux驱动。想办法在里面找到扩展名是ko的文件。
ko文件是linux的内核模块,一般linux下网卡驱动以内核模块形式提供。
这边还是以X710为例,X710的驱动的ko文件是i40e.ko
1、判断是否会被支持
在ssh中使用命令
ll /usr/lib/module
复制代码
如果出现
-rw-r--r-- 1 root root 401328 Apr 28 08:04 /usr/lib/module
复制代码
类似找到ko文件,说明你所选的卡,有很大可能被群晖支持。
这个方法可以在你购买网卡之前,简单判断下网卡支持程度。
如果ko文件都不存在,那么这个网卡一定不被支持。ko文件存在,网卡很有可能支持,但最终要看测试结果。
2、查看网卡启动日志
前面给出了X710的启动日志,这边给出获取启动日志的命令
dmesg | grep i40e
复制代码
性能测试
这里对使用10G网卡的DS1817+做一个性能实测。
测试环境
NAS:Synology DS1817+
磁盘:Intel SSD DC S3710 200G *8
交换机:Quanta LB6M, MTU 9000
网卡:Intel Ethernet Converged Network Adapter X710-DA2
测试用PC:CPU I7-5775C,内存 4G*2,网卡直连CPU,磁盘Intel SSD 750 400G
测试硬盘
8块Intel SSD DC S3710排开还是很震撼的
SSD叠叠乐,没错我就是show SSD的。
来摆一个造型
8块SSD安装到群晖的托盘架子上
可以再DSM内部看到8块SSD
RAID5的方式把8块磁盘组成存储空间
群晖可以看到SSD的smart信息
简单测试
这里先使用win10的网上邻居复制下NAS上的数据,看下速度
NAS读取速度
NAS写入速度
可以看到1817+读取可以跑满10G带宽,写入达到550M还是很不错的。
需要更详细的性能可以查看群晖官网的测试
【总结】
拥抱10G时代,Synology DS1817+给10G进入普通用户家吹响了号角。随着路由交换机等10G设备的平民化,越来与多的10G设备会出现在用户家庭之中。在10G时代,传统硬盘的IO已经跟不上网络的速度,传统硬盘和SSD的组合可能是更好地选择。群晖这次给我们带来了新时代的试金石和新的玩法,希望未来群晖能给我们带来更多好的产品。
1.《关于12g不对称双通道评测我想说拥抱10G——Synology DS1817+开箱拆解评测》援引自互联网,旨在传递更多网络信息知识,仅代表作者本人观点,与本网站无关,侵删请联系页脚下方联系方式。
2.《关于12g不对称双通道评测我想说拥抱10G——Synology DS1817+开箱拆解评测》仅供读者参考,本网站未对该内容进行证实,对其原创性、真实性、完整性、及时性不作任何保证。
3.文章转载时请保留本站内容来源地址,https://www.lu-xu.com/guonei/2041499.html