发布于 2020-12-10
文件作为使用多年的非结构化数据存储手段,能够满足大多数的使用场景,但文件存储最大的问题是海量的文件,特别是小文件的处理,会因为元数据的频繁处理以及目录结构的访问导致性能急剧下降,而对象通过更扁平的Key直接访问后端的对象,再加上使用桶等技术对对象进行封装,可以大幅度... (more)
传统的基于RAID的NAS的得盘率,就不讨论了。我们来讨论基于纠删码的分布式文件和对象系统。 大家都基于纠删,所以大家的容错机制基本一样,在采用相同的N+M后,大家的得盘率是一样的。所以,只要能够提供更低的冗余,就能换来更大的得盘率。 相反的,对于重要的数据,我们提供更高的冗余... (more)
小孩子才做选择题,成年人当然是全都要! 基于HDFS的平台成熟可靠,基于S3的平台灵活好用!所以都要,数据湖解决方案同时支持S3和HDFS协议在内的主流访问协议,支持实时计算、支持就地分析、支持未来更多协议扩展!... (more)
非结构化存储管理我认为至少应当包括两大方面,基础架构的管理以及其中的数据的管理。 基础架构的管理,各家都有相应的管理工具,再加上开源的工具,最多再定制一下,都是能够满足各种需求的。 其实,更多的是数据管理,如数据标记、热点数据分析、数据生命周期管理,甚至是数据迁移、... (more)
能够通过标准协议达成的东西,不要让应用变得更复杂。 对象存储除了打包以外,还提供扁平化的访问,更吸引我们的是,未来支持对象的整个生态,软件、硬件、应用环境。而影像平台的打包功能,如同通过限号来让交通更顺畅,你懂的,管不了多久。... (more)
楼上的回答很全面了。 这也从另外一个角度解释了对于企业级应用,强一致性的重要性。 主机可以就近同时访问不同的物理站点,而对象系统本身通过强一致性特性来处理数据的一致性要求,当出现不一致(数据在其它站点有修改)时,从最后版本“拉”数据过来已保证数据的“最新”。 主机... (more)
非结构化数据同结构化数据一样,可按照不同的需求,实现多种方式的备份。而唯一不一样的,对于大数据,或者说海量的非结构化数据,由于数据量的巨大,不能用传统的备份方式来处理,这时候我们会建议采用历史数据归档替代传统的备份,一方面保证数据保护的时间窗,同时确保数据的回溯访问时... (more)
随着数据量的爆炸式增长,非数据化数据迁移的过程变得越来越难以控制,最佳的办法就是从此远离“数据迁移”,采用数据湖技术:类似于“存储虚拟化”,数据可以在不同的硬件设备之间自由“流动”,而同时仍然保持对外的持续服务。 如果非要做数据迁移的话,需要考虑业务数据的改变量的... (more)
严重同意其他的几个回答,主要需要应用层面对不同存储的访问方式提供支持,包括对数据的完整、可用性做校验。 单纯从存储级别来说,可以提供多种工具来做这种数据迁移,比如DataIQ,可以对数据做标记,跨平台类型迁移数据,监控数据使用情况,如果需要,还可以开发定制的插件以实现特殊的... (more)
非结构化数据的可靠及有效存储,可以采取不同的存储协议和存储方案,但具体采用哪一种方案,需要视具体的需求来定。 比如:数据大小,对象/文件数量,访问速率要求,访问时延要求,数据安全要求,数据访问方式,活动数据改变量,这些都会影响到具体的方案选择。 数据湖解决方案,支持多种访问共... (more)
戴尔科技集团(Dell Technologies) 是一个独特的企业家族,旨在为企业提供不可或缺的基础架构,帮助企业打造数字化的未来、变革IT 和保护最重要的资产——信息。DellTechnologies 由七个品牌组成,Dell、DellEMC、Pivotal、RSA、Secureworks、Virtustream 和 VMware。戴尔科技金融行业解决方案中心将为twt社区金融行业会员持续提供产品技术服务与支持,助力金融企业创新变革。