NBC集群式文件存储系统

目前存储应用中的主要技术难点 海量文件的快速查询、读写 在文件查询应用中基本都会使用缓存技术来缓解大量并发请求带来的磁盘IO压力，但是因为文件数量极其庞大，而且热点文件的不确定性，导致缓存命中率极低，几乎失去作用，应用需要直接到后端磁盘上获取数据，这样就会给存储系统带来极大的压力。现有的存储系统单个目录存放一定数量的文件时，文件的查询效率将会大大降低。有些用户为了避免这个问题采用了多级目录存放的方式，但是当目录的深度较大时，文件检索的开销进一步加大，速度也随之下降。 数据量快速增加，存储系统需要可持续扩容 传统存储系统的总体容量很难进行简单有效的扩展，用户不得不在存储系统建设初期就要选择超大的总体存储容量。用户无法做到按需投资。 高并发访问，IO带宽压力大 在面对大量用户的并发访问需求时，存储系统将面对巨大的带宽压力。传统存储由于结构上的限制很难满足越来越高的IO带宽需求，往往成为整个系统中的性能瓶颈。 可靠性需求高 数据安全是所有存储应用的重中之重，但传统存储方式在面对高负载的存储应用时无法提供有效的安全保障机制，如各种磁盘损坏、服务器宕机和人为误操作等因素。 NBC集群式文件存储系统 产品概述 全球第一款多元数据服务器协同工作集群存储系统 采用完全自主、业内领先的多元数据服务器技术，可以高效管理几亿至上百亿个文件 采用完全自主、业内领先的快速文件查询技术，一个目录下可以高效存放几百万到上千万个文件，并且可以快速查找其中的任何一个文件 网络存储技术的革命性改变 能够提供几十GB至上百GB的聚合数据读写带宽 具有极高的并发I/O性能及文件的创建和查询效率（这一点对于Web相关的应用尤其有效） 提供全局单一系统映象，所有应用服务器看到相同的视图，可以访问所有的文件 全面解决目前文件存储系统中的各种局限 通用--应用无需修改或重新编译，提供完全POSIX标准的访问接口，可以对文件进行随机读写和修改，提供简洁统一的配置管理设施，简化文件系统的管理，极大的简化系统部署难度、缩短系统部署周期 低成本--可完全通过通用标准部件构建大规模高效率的在线存储系统，可动态按需扩展存储空间和应用服务器，保护用户的投资 高效能--可根据用户的实际应用访问模式进行针对性的定制，充分发挥硬件性能，支持应用高效运行 高可用--在某些数据存储节点失效的情况下仍然能够访问所有数据,高效的自动数据恢复技术，恢复时间只是通用RAID技术的五分之一 功能特点 解决现有文件存储包括以数据库形式管理的文件系统的读写I/O问题，尤其是对大量文件的并发访问有明显的速度提高；彻底消除存储带宽屏颈；解决数据信息共享问题，完全的全局文件共享，对任一台应用服务器可访问全部文件；数据安全性问题，任意一块或多块硬盘同时损坏，数据不丢失，并以写盘的速度同步恢复，所有访问应用不中断。解决扩展性问题，应用及存储硬盘线性扩展，可以一块硬盘为单位在线增容。解决应用透明性问题（无关性），使用本技术现有应用完全无需改变，硬件设备基本无需改变。 适用范围 以网站形式开展的各类应用服务，尤其是拥有大量音、影、视文件、图片文件、图书报刊文件的应用场景。 典型用户：广播电视台新媒体网站、互联网音视频、图片网站，数字图书馆等等； 应用特征： 文件种类庞杂、多种格式、音频、视频、图片、文件并存 上传量、访问量与日俱增，几十T到几百万T的存储量，几千万到几亿的文件量，每日都有大数额增加。 因业务快速发展的原因，需不停扩展设备、带宽容量、不断修改应用，充分考虑数据安全性。 大文件并行高速访问类应用，主要应用场景为视频监控、视频点播、动画渲染、IPTV、石油、卫星类勘测、生物计算等等场景。 应用特征： 大规模运算时海量数据的存储与调用需要存储系统具有极高的IO性能。 计算机集群系统做大规模运算需要全局文件共享。 长时间持续运算需要系统具有极高的可靠稳定。