海量数据存储解决方案 第1篇
批量检索费用更低:单次请求可获取PB级数据,适合非紧急场景。
避免频繁小文件检索:检索请求按次数计费,建议聚合文件后归档。
数据恢复注意事项
提前估算恢复时间与费用(可通过AWS Pricing Calculator模拟)。
对检索延迟敏感的业务,建议结合S3 Intelligent-Tiering自动分层。
某国内短视频平台使用Glacier存储超过500TB历史视频源文件,通过生命周期策略自动归档6个月前的数据。相较于原有本地磁带库方案:
存储成本降低82%:年支出从150,000降至150,000降至27,000
运维人力减少70%:无需维护物理设备,故障率趋近于零
AWS Glacier以接近磁带存储的成本提供了云原生的高可用性,是构建低成本、可持续数据战略的理想选择。对于日均增长TB级数据的企业,合理利用冷热分层存储,将成为降本增效的关键举措。
海量数据存储解决方案 第2篇
使用表格存储的多元索引(SearchIndex)功能,您可以有效解决海量元数据的管理问题。表格存储具有即开即用,按量收费等特点。
表格存储面向海量结构化数据提供Serverless表存储服务,具有海量数据存储、热点数据自动分片、海量数据多维检索等功能,能高效解决数据大爆炸的挑战,在应对数据横向扩展和纵向扩展上能充分发挥其优势。
多元索引支持按需创建,是Meta元数据管理的合适方案。同时,多元索引在保证用户数据高可用的基础上,提供了数据多维度搜索、统计等能力。针对多种场景支持创建多种索引,实现多种模式的检索。用户可以在需要时创建索引,由表格存储来保证数据同步的一致性,能极大地降低用户方案设计、服务运维、代码开发等工作量。
海量数据存储解决方案 第3篇
某智能媒体管理平台为用户提供文件(图片、视频等)管理服务,用户通过自研(或售卖)的智能媒体分析工具对目标文件进行分析,并使用分析后的信息丰富文件原有的元数据信息。因此,平台需要一套有效的元数据管理方案,为用户提供元数据信息的管理、分析和统计功能。需求样例说明如下:
用户A:(用户A的文件)*(近1年)*(标签含[开心])的所有图片,按标签分数排序
用户B:(用户B的文件)*(出现某某明星)的所有视频,按明星相似度排序
海量数据存储解决方案 第4篇
为了对存储的集中的统一管理维护,使需要存储的各种业务把对存储的工作解放出来,把精力放在应用开发上,腾讯构建了统一存储平台,上层是根据腾讯业务数据模型构建云化的存储服务供业务调用,下层是根据业务存储性能、成本的诉求构建不同的介质集群,具体如下:
结合腾讯业务的数据模型,为了整合腾讯公司众多业务的不同存储需求,让业务专注于业务开发和服务,不要为后端的基础存储分散人力,腾讯在软件平台上提供了对应的云化存储服务:
针对非结构化数据(文件类)提供了CBS(Cloud Block Service)服务它是SAN(Storage Area Network),CBS盘以普通块设备的方式挂载到服务器上,可以作为服务器系统盘分区或者数据盘分区。使用方式上与本地块设备完全相同,能够以裸盘或者挂载文件系统的方式来使用。
同时也提供CFS( Cloud File System)服务,它是NAS(Network-attached storage)一种,对应用而言,CFS就是一个无限空间、超级安全、超高吞吐的“大磁盘”。针对结构化数据(数据库类)提供了CDB(Cloud Database)服务它为第三方开发人员提供的DB存储解决方案。
主要特点包括:高性能、高可靠的Mysql服务;同时整合自动化管理工具,最大程度减少开发人员在部署、监控、扩容和故障恢复等方面的投入,使开发者可以集中精力进行产品开发和运营。针对半结构化数据(key-value类)提供了CKV(Cloud Key-Value)服务为第三方开发人员提供的KEY-Value存储集群的解决方案,支持开源的memcached协议。
云化的服务,其最终落地的数据要求的性能也是不同的,更具不同业务性能的需求,再结合现有的存储硬件的IO访问速度及采购试用成本,作为数据落地的介质分层,搭建不同的存储集群,分别如下:
可以看到如上图的金子塔的存储结构,各种存储介质组成的存储集群及对应的云化服务和每TB数据的IO响应速度范围。其中绿色部分为将来技术发展后,可能的数据存储集群和应用场景。
海量数据存储解决方案 第5篇
京存存储支持在线扩容,能够在不影响原有数据和使用的情况下,轻松增加存储容量,这对于需要不断扩展存储容量的环境来说,无疑是一个巨大的优势。同时,京存存储提供的免费售后服务和终身7*24小时技术咨询和系统支持服务,也大大降低了运维成本。
综上所述,京存存储解决方案在大规模数据的存储方面有显著优势,在存储系统建设方面发挥着重要作用。京存存储提供的海量数据存储空间、高IO高吞吐能力、数据安全保障技术以及高效在线扩展服务,可以有效帮助企业组织机构建设更高速安全可靠的数据存储系统。