顺势而为,戴尔加速流动文件系统进化-程序员宅基地

技术标签: 系统架构  


   来自第三方机构的数据显示:全球基于文件应用与基于数据块应用的存储容量发货量对比来看,从2008年到2015年,文件应用方面的存储容量发货量的增长较数据块应用高出数倍。出现这样变化,根源在于虚拟化、电子资料存储、文件共享、数字记录保存、Web2.0技术,以及新型应用的广泛性与活跃性。

为此,对客户需求保持极高敏感度的戴尔不断推出创新技术,同时也在自己的流动文件系统Fluid File System (FluidFS)上加速进化。

FluidFS的更新迭代有故事想听听吗?为了便于大家对戴尔流动文件系统的理解,我们就从FluidFS的源头说起。

 

FluidFS源自戴尔在2010年收购以色列的Exanet公司,作为富有代表性的NAS技术厂商,Exanet在与EMC(iSILON)、NetApp、HDS(BlueARC)之间曾经有过激烈的竞争。不过,在归队戴尔之后,Exanet很快获得了新的发展和进步。

从FluidFS v2算起,这应该是戴尔Compellent使用的第一代可扩展的NAS技术。然后,戴尔一代一代地升级FluidFS,通过技术更新迭代,帮助企业级用户实现数据存储未来就绪。

随后,FluidFS v3出现,将文件系统技术进一步升级。FluidFS v2针对单一文件系统限制在1PB容量大小;FluidFS v3允许单一文件系统大小比上一代翻倍,高达2PB的容量。

不仅如此,FluidFS v3采用了来自戴尔2010年所收购的Ocarina Networks整合而来的重复数据删除和压缩技术。从而,使得戴尔的FluidFS可与存储业界大佬相比肩。

从FluidFS v3开始,戴尔就对外表示:重复数据删除和压缩功能,将随所有戴尔Compellent FS8600控制器免费提供,并对已有的控制器提供更新。这不仅帮助用户合理地利用好文件系统,同时也保护了用户投资,利于用户存储效率的提升,以及达到更佳的存储应用效果。

从另一个侧面也表明,戴尔一贯的收购策略,在整合新的技术厂商资源的基础上,必然会为企业级用户提供更高级别、更完善的解决方案。同时,戴尔也将结合新技术与自有的拳头存储产品,形成更有效的组合,去满足用户在更广泛领域的具体存储需求。

显然,我们看到戴尔通过收购Ocarina和 Exanet,并相应与戴尔Compellent FS8600结合,正在引发更多的变化。

就在2015年10月底,Dell World大会报道《DellWorld2015收官:收购EMC,戴尔构建存储新世界》一文曾提到:“Dell Storage FS8600其实就是之前的Dell Compellent FS8600,非常经典,采用FluidFS第4版规格的FS8600现在支持的存储阵列包括:SC40、SC8000和SC9000控制器,SCOS 6.5.3或更高版本,Enterprise Manager 2015或更高版本。”虽然文章里面没有提及在单一全局命名空间中到底能到达多少PB,但是,后面的版本给了用户一个大大的惊喜。

威武帅气的FluidFS第5版FluidFS第5版的出台,成就了性价比更具竞争力的横向扩展NAS解决方案——FS8600。针对高速存储和较低总拥有成本(TCO)进行了优化,效果和之前的流动文件系统版本到底有何不同呢?

FluidFS v5能够以经济实惠的方式实现更好的每秒文件操作数(OPS),进一步实现了性能的提高和容量的扩展:

借助SPEC SFS 2008,线性性能扩展可实现494000次文件打开次数以及11.9 GB/秒的最大吞吐量。

通过镜像高速缓存和自动负载平衡,即使在添加更多数据的情况下也能提高性能。

最多可在单一横向扩展存储解决方案中配备四台FS8600 NAS设备和八个SC系列存储阵列。

对于存储密度和成本方面,FluidFS v5在软件的帮助下,实现了用户更高的需求。Dell Storage Center搭配FS8600和SCv2080存储阵列可为存储密集型工作负载提供理想的机架密度,可在14U机架空间中存储1 PB的原始容量,同时对于1 PB的原始容量,每GB成本低至0.18美元/GB。

关键在于:借助横向扩展体系结构,以及闪存优化、自动分层功能和块级重复数据删除和压缩功能,可以实现用户存储效率提升,通过NAS精简配置和空间回收,容量不受限制。


另外,为了FluidFS具备更加便捷的灵活性,戴尔还有几个小技术细节需要透露一下。如:虚拟IP方便客户端访问全部命名空间的内容,目录结构用于共享和导出文件,逻辑卷用于管理文件,单一命名空间可以跨集群使用,灵活扩展从1-4个流动文件系统设备,透明分离数据块空间。


这里多说一句:NAS卷精简配置(thin provisioning)要求管理员分配比实际NAS池空间更多的“广告”空间,从而给最终用户或者应用更多灵活性,在增长NAS卷空间上不受物理实际空间的制约。当使用的空间到达用户预先定义的警戒线时,系统会对管理员报警。


精简卷克隆如何实现的?第一步,对一个卷或者文件系统做个快照;第二步,创建一个独立的文件系统元数据结构,展现一个映射了新的目录结构的文件系统的虚拟复制卷给客户;第三步,从独立获得的新的目录结构的克隆卷进行写入操作。精简卷克隆的过程不会有空间占用,直到数据发生了变化。也可以激活编码和工作流测试,而不至于使非生产数据影响正常的应用和容灾。

需要着重指出的是:精简卷克隆以透明的方式按需添加和管理驱动器、存储盘柜或NAS设备,帮助用户即时扩展现有基础架构中的文件存储性能和容量。通过多协议支持,包括支持SMB、NFS和FTP的协议,增强了系统的灵活性。通过使用快照、NDMP 备份、远程复制和快照存档,保护本地数据。

FluidFS v5带来下一代企业级横向扩展NAS新一代Dell Fluid File System第5版(FluidFS v5) 不仅在单一文件系统中最高达4 PB,在单一全局命名空间中超过20 PB。戴尔表示:FluidFS v5可以为企业级用户带来下一代企业级横向扩展NAS,并且总体拥有成本(TCO)将会做到最佳。



那么这一切得以成功实现,是源于以下四个特性:

1. 提供同类最佳性能的NAS组合,采用 FluidFS软件的 Dell Storage FS 系列,可为 SC 和 PS 系列平台提供线性性能扩展和较低的每文件 OPS 成本。

2. 存储容量和性能可以实现无中断的独立扩展,根据需求变化在单一命名空间内进行,不必进行昂贵的断代升级。

3. 支持复制、快照、精简等各种可靠性功能,以确保FluidFS可以带来强大的数据保护和高可用性。

4. 具备重复数据删除和压缩功能,Dell FluidFS 可在不需要冗余数据时,对进行重复数据删除和压缩,最高可将常用企业数据所需的容量减少 48 %。

来自用户端的体验回馈令人兴奋亚利桑那州州立大学ASU 高级计算中心Operations Manager Charlie Collins表示:“得益于 Dell CompellentNAS 解决方案,我们能够向科研人员提供最低的数据存储价格以及灵活的使用期限。”

Phoenix Sky Harbor国际机场是美国十大最为繁忙的机场之一,采用了Dell Fluid File System视频解决方案之后,可以更好地处理日益增长的数据存储需求,并且可以无中断地扩展这个方案,随着需求的变化而增加存储。


ESG在一份《ESG Lab Review - Dell Fluid FS v5 - February 2016》专门的测试报告中指出:随着需求的增长和发展,FS8600 可在单个文件系统内无中断地扩展存储容量和性能,同时保证各扩展部分相互独立,从而避免代价高昂的平台全盘更换。此外,负载均衡功能还可以随着FS8600 系统的扩展持续优化性能。


也就是说:进入的连接访问会被自动均衡到客户端口和集群中所有的FS8600控制器上:单一命名空间意味着在增加了额外的FS8600设备的时候,文件数据不需要被共享或者 分配到新增加的单独的文件管理夹。

FS8600 利用Dell Storage Center 平台的优势,进一步提高性能,最终的关键还是要能交付企业级的弹性和数据保护能力。为此,戴尔每个流动文件系统设备包含两个双活控制器,提供系统高可用性,避免系统资源闲置。

同时,每对控制器之间通过40Gb带宽提供缓存镜像和写回操作。

流动文件系统架构具备电池保护和冗余复制功能,充分保护元数据,提供数据一致性保护能力。而内置硬盘可以用于本地启动,闪盘用于备份配置信息。原生支持NDMP 和 ICAP双重防病毒,帮助企业级用户提供关键业务数据的多重保护。

结语从最早的FluidFS v2到当前FluidFS v5,FluidFS在戴尔存储技术的推动与演进下获得了持续演进,同时FluidFS v5也带来下一代企业级横向扩展NAS解决方案。

戴尔FluidFS v5帮助企业级用户利用最新存储技术,并提供了支持SMB、NFS和FTP协议的灵活平台,在驱动器、 连接选项、 存储系统和 NAS 设备等方面的利用上都带来了新的改变。

作者:佚名
来源:51CTO
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_33843409/article/details/90396095

智能推荐

c# 调用c++ lib静态库_c#调用lib-程序员宅基地

文章浏览阅读2w次,点赞7次,收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加 外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案,在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建:添加Visual C++ , Win32 项目这......_c#调用lib

deepin/ubuntu安装苹方字体-程序员宅基地

文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体,挺好看的。注重颜值的网站都会使用,例如知乎:font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang

html表单常见操作汇总_html表单的处理程序有那些-程序员宅基地

文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--action,当提交表单时,向何处发送表单中的数据,地址可以是相对地址也可以是绝对地址--><!--method将表单中的数据传送给服务器处理,get方式直接显示在url地址中,数据可以被缓存,且长度有限制;而post方式数据隐藏传输,_html表单的处理程序有那些

PHP设置谷歌验证器(Google Authenticator)实现操作二步验证_php otp 验证器-程序员宅基地

文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证(即Google Authenticator服务)后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器

【Python】matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距-程序员宅基地

文章浏览阅读4.3k次,点赞5次,收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距

docker — 容器存储_docker 保存容器-程序员宅基地

文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节,实现了多层数据的堆叠,为用户 提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制(CoW)策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的,不建议用于生成环境。_docker 保存容器

随便推点

网络拓扑结构_网络拓扑csdn-程序员宅基地

文章浏览阅读834次,点赞27次,收藏13次。网络拓扑结构是指计算机网络中各组件(如计算机、服务器、打印机、路由器、交换机等设备)及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式,也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn

JS重写Date函数,兼容IOS系统_date.prototype 将所有 ios-程序员宅基地

文章浏览阅读1.8k次,点赞5次,收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时,通常的做法是:new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的,而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠,也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑,需要做一些额外的特殊处理,笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数,一劳永逸,避免每次ne_date.prototype 将所有 ios

如何将EXCEL表导入plsql数据库中-程序员宅基地

文章浏览阅读5.3k次。方法一:用PLSQL Developer工具。 1 在PLSQL Developer的sql window里输入select * from test for update; 2 按F8执行 3 打开锁, 再按一下加号. 鼠标点到第一列的列头,使全列成选中状态,然后粘贴,最后commit提交即可。(前提..._excel导入pl/sql

Git常用命令速查手册-程序员宅基地

文章浏览阅读83次。Git常用命令速查手册1、初始化仓库git init2、将文件添加到仓库git add 文件名 # 将工作区的某个文件添加到暂存区 git add -u # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,不处理untracked的文件git add -A # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,包括untracked的文件...

分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120-程序员宅基地

文章浏览阅读202次。分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120

【C++缺省函数】 空类默认产生的6个类成员函数_空类默认产生哪些类成员函数-程序员宅基地

文章浏览阅读1.8k次。版权声明:转载请注明出处 http://blog.csdn.net/irean_lau。目录(?)[+]1、缺省构造函数。2、缺省拷贝构造函数。3、 缺省析构函数。4、缺省赋值运算符。5、缺省取址运算符。6、 缺省取址运算符 const。[cpp] view plain copy_空类默认产生哪些类成员函数

推荐文章

热门文章

相关标签