海盒大数据平台SDP

海盒大数据平台(SDP)主要包括基础平台和多模数据管理两部分,集成了不同的分布式架构组件,为用户提供了分布式存储(HDFS)、对象存储(OSS)、分布式计算(Mapreduce2、TEZ、Yarn)、协调服务管理(Zookeeper)、数据仓库SQL服务(Hive、Spark)、NoSQL数据库服务(HBase)、实时流处理(Flink、Storm、Kafka、Flume、Logstash)、分布式内存(Alluxio、Redis)、索引搜索(ES、Solr)、数据库联邦查询(Presto、Drill)、MPP数据库服务(Impala、Kudu、Clickhouse、GPDB)、图数据库、时序数据库、关系型数据库、数据湖(Iceberg, Hudi、Delta Lake)等功能和服务,并且具有高可靠的安全管理、多租户、调度、元数据、实时日志流即时查询、实时数据分析系统和丰富的图形化交互界面,为企业级客户提供高性能的一站式大数据产品解决方案。

产品优势

简易操作和管理

支持产品便捷部署、组件一键升级和图形化运维,并提供了异常告警和可视化健康监测功能,帮助用户简化运维过程。

多渠道数据集成

支持结构化、半结构化、非结构化的异构数据秒级实时接入;主流关系数据库高效导入,支持文本类日志数据离线导入。

海量数据存储

支持分布式文件、NoSQL从GB到PB量级的存储解决方案。高可扩展设计,存储系统可动态随数据量增加从G到P级的动态扩容,支持系统不停机动态扩容、负载均衡等。

一站式数据开发

提供贯穿数据全流程的数据开发平台,集数据集成、存储、处理、分析、探索、挖掘、监控到数据可视化一体化能力,实现闭环的数据业务开发全流程。

计算性能优异

集成交互式SQL、实时内存计算、流式计算、全文检索等技术,实现多数据源、多数据场景及多数据模型的联合计算平台,比传统型数据仓库和开源版分布式架构计算效率提升10倍以上。

平台灵活应用

外部链接标准化快速接入平台,实现系统功能线性扩展,可按实际情况申请使用,完成用户打通,最大程序满足业务应用需求。

主要功能

功能

SDP基础平台提供大数据的基础能力,包括分布式存储(HDFS、Hive等)、分布式计算(MapReduce、Spark、Flink等),集成了多个大数据基础组件(Yarn、 Zookeeper等)、数据规划(项目管理、数据源管理、库表管理、数据生命周期管理、元数据监测)、可视化部署运维、资源管控(存储/计算资源管理包括小文件管理、作业资源管理等,HDFS文件管理)、数据分析(离线/实时开发、数据查询、任务调度、数据挖掘、外部日志分析、知识图谱、Notebook建模分析、BI可视化)、数据安全(用户及权限管理、多租户管理、链接管理、平台日志、加密脱敏、访问审计)等。
SDP多模数据管理功能支持业界主流的多种存储模型管理,包括宽表数据库管理(Hbase)、缓存数据库管理(Redis)、分析型数据库管理(Clickhouse)、时序数据库管理(LineDB)、消息队列管理(Kafka)、ES集群管理、大数据检索(Solr)、Mongo数据库管理、图数据库管理(Seagraph)、对象存储管理(SeaOSS)等在内的10种数据存储模型管理,满足不同业务场景,提高易用性并大幅降低综合成本。

应用场景

场景


数据汇聚与共享服务场景。重点面向政务及企业,存在业务系统分散、数据孤岛现象严重,或者需要与内外部进行数据共享交换的场景。海盒大数据平台SDP提供完整的产品解决方案,基于数据的汇聚存储,进行数据开发、处理等操作,满足客户在大数据阶段的不同需要。
湖仓建设与数据分析场景。面向金融、交通等行业,在数据统一汇聚的基础上,深度挖掘数据价值,通过建设数仓,以数据应用、数据可视化的方式赋能业务。海盒大数据平台SDP提供数据集成和开发处理,完成数仓、数据湖的建设,搭配丰富的服务组件支持,满足实时的数据分析需求。
数据搜索分析场景面向工业能源等行业,针对海量日志、文本数据,进行结构化处理并提供实时、在线的搜索、分析需要。海盒大数据平台SDP通过数据搜索分析,完成海量数据的查询分析,支持日志分析、安全监控、可视化等多种应用场景。