海盒大数据平台SDP
海盒大数据平台（SDP）集成多种数据存储组件，包括分布式分析型数据库、NoSQL、宽表、文档、图、时序、键值、内存数据库，以及分布式文件系统和对象存储；分布式计算引擎涵盖批处理、实时流计算、联邦查询、多维分析和搜索引擎。同时提供基于这些组件的操作管理、部署运维、任务调度及数据安全等二次开发功能。
产品概述
海盒大数据平台提供大数据的基础能力，包括分布式存储、分布式计算、分布式分析，集成了多个大数据基础组件，包括数据接入、分布式存储引擎（分布式文件系统、数仓管理、存储服务、消息队列、对象存储管理、内存数据库管理、多集群管理等）、分布式计算引擎(计算资源管理、离线开发、实时开发、列式数据库开发、联邦查询等）、分布式分析引擎（多维分析、交互查询、图数据库分析、数据可视化）、任务调度、数据安全（用户管理/租户管理/项目管理、票据下载、访问管理）和部署运维（集群管理、监控告警、日志中心、反向代理）等多个功能模块。SDP可满足不同规模和业务需求下的湖仓一体和流批计算的大数据处理和分析需求。
主要功能
部署运维 SDP-D
支持对多个大数据集群中的多个节点进行统一安装部署、系统管理和优化，以提高整个集群的性能和稳定性。
存储引擎管理 SDP-S
支持业界主流的多种存储模型管理，满足不同业务场景，提高易用性，将各种类型的数据进行集中存储、查询和处理，满足对结构化、半结构化和非结构化数据的统一管理需求。
计算引擎管理 SDP-C
支持多数据源的流/批/OLAP计算、百万级高吞吐、毫秒级低延时业务需求和海量数据离线计算，可以帮助用户快速开发湖仓一体、流批一体、实时数据仓库、实时报表分析、实时智能推荐、实时欺诈检测与风险控制等应用。
分析引擎管理 SDP-A
能够在更短的时间内从更多来源利用更多数据，并使用户能够以不同方式协同处理和分析数据，从而做出更好、更快的决策。
任务调度 SDP-T
可以解决大数据任务之间错综复杂的依赖关系，整个数据处理开箱即用。
核心优势
创新的多模型技术架构
支持业界主流的多种存储模型管理，包括宽表数据库管理、缓存数据库管理、分析型数据库管理、时序数据库管理、消息队列管理、ES集群管理等在内的多种数据存储模型管理。
海量数据存储
支持分布式文件、NoSQL从GB到PB量级的存储解决方案。高可扩展设计，存储系统可动态随数据量增加从G到P级的动态扩容，支持系统不停机动态扩容、负载均衡等。
数据湖仓化- 新一代的披流融合简洁架构
打破传统流处理和批处理独立模式，采用统一计算引擎，能同时处理实时数据流和批量存储数据。提供统一存储平台，能存结构化、非结构化和半结构化数据，并进行统一管理。
存算分离化
能让存储和计算系统独立发展，存储系统可线性扩展，计算系统可灵活调配资源，提高资源利用率、降低成本，增强系统灵活性与扩展性。
多源异构联邦查询
处理和分析来自不同数据源和数据格式的数据的技术。它允许用户在一个统一的查询界面中，对多个异构数据源进行查询和分析，而无需关心底层数据源的具体细节。
租户和应用资源管理优化
在父租户下创建子租户时，子租户可以从 yarn 总队列再次分配独属于自己的计算资源。这需要在 yarn 资源管理系统中，为父租户和子租户分别设置合理的资源队列和资源分配策略。同时，在数据存储和访问层面，通过数据加密、访问控制列表（ACL）等技术手段，确保用户在不同租户和项目中的操作数据相互隔离，保障数据安全。
简易运维部署及百亿小文件处理方案
支持产品便捷部署、组件一键升级和图形化运维，并提供了异常告警和可视化健康监测功能，帮助用户简化运维过程。大量的小文件会占用大量的文件系统资源，影响系统性能。因此，小文件合并是优化大数据处理性能的关键步骤。
自主研发、安全可控
通过自主研发，掌握核心技术，减少对外部技术的依赖，增强技术自主权。大数据平台可以在国产化适配过程中更好地满足国内用户的需求，提升系统的安全性、稳定性和性能。
应用场景
一键式安装与动态扩容
大数据集群运维
数据仓库构建
全文检索与日志分析
数据仓库开发与调试
实时数据分析
跨数据源联合分析
通过图形化界面实现分布式集群的快速部署，支持动态扩展计算与存储资源，适配企业从单节点到多节点集群的弹性需求。
管理和运维多个Hadoop、Spark等分布式计算集群，支持PB级数据存储与处理，支持界面一键巡检及报告导出。
整合多源结构化数据（如销售、库存），支持SQL查询与OLAP分析。
内置集群动态扩缩容、故障自动切换及数据备份机制，保障金融交易、医疗数据分析等高可靠性场景的连续性。
处理Kafka流数据，结合窗口函数实现用户行为分析（如电商点击流统计），响应延迟可达毫秒级。
通过Web界面编写Hive SQL、Spark任务，简化ETL流程，适用于金融数据建模、电商用户画像分析。
整合分布式文件系统、数仓管理、消息队列等多系统数据，支持金融、政务领域的全链路数据洞察。
客户案例
在信息科技信息系统建设管理制度和规范的指引下，构建托管大数据平台体系架构和数据模型，并在数据管控体系的支撑下建立一套集数据采集、清洗、转换、应用和服务于一体的托管大数据平台，全面支持我行托管业务相关的数据分析、应用和服务<strong>。</strong>
—某银行托管大数据平台
项目基于海盒大数据平台来实现具备对海量数据的处理能力，支持的数据处理方式有：实时、批量、交互式，支持的数据格式有：结构化、半结构化、非结构化。并对50T债权交易历史数据进行分布式加工，将结果写入分布式内存，完成海盒大数据平台与平安领航平台的结合验证。
—某银行债权大数据平台
通过搭建统一大数据平台，全面整合多源异构数据，满足“一次汇聚，多次共享”，并构建阳光消费金融应用模型，实现分散数据的快速有效联动，按需提供应用支持。同时，针对大数据平台汇聚的数据资源，提供数据资源目录服务，通过建立数据标准，提升数据质量管理，保障各类基础数据源的有效存储与应用。建设数据湖仓架构体系，整合源头数据，建立数据湖、数据仓库，计算汇总指标，提高数据使用效率和质量。
—某消金大数据服务平台
建设大数据基础平台，提供数据的存储和计算能力。逐步开展数据管理工作。为发展金融科技提供基础数据平台保障和支持，指标分析应用等。
—某证券大数据平台
采用海盒大数据平台技术，为海南省政府建立健全标准规范体系和安全体系，实现一个统一规范、集中部署、安全规范、充分共享的数据处理平台，形成海南省政府独立拥有的大数据信息平台，支撑数据开放及上层大数据应用系统建设，服务政务、行业、社会。
—某省政务大数据公共服务平台
数字化转型是实现检验认证这一使命的关键，也是该公司发展战略的重要举措。集团通过构建数据平台，以数据为核心生产要素，打通各环节信息，优化业务流程，培育数据文化，激发数据价值，实现数字中检目标。海盒大数据平台弥补了其性能不足、数据内容不完整、数据质量待提升、数据共享不完善、数据价值挖掘不够等问题。同时将继续加强数据治理，完善数据共享机制，提升数据价值挖掘能力，实现“平台中检、智慧中检、生态中检”的战略目标。
—某检验认证集团大数据中心
作为一家领先的医疗健康企业，拥有先进的“一湖三台”数据架构。我们的核心优势在于利用“一湖三台”数据架构通过建设统一标准的数据湖，搭建数据中台、技术中台、开放平台，为多元化应用奠定坚实基础。同时，我们建立了完善的运营保障体系与安全体系，确保数据的安全性与可靠性，为“惠政、惠医、惠企、惠民”的应用提供有力支撑，打造大数据应用生态的坚实基石。
—某医疗健康企业疾控中心项目
为了满足不断增长的业务需求，某汽集团数据中心综合智能化平台需要进行扩容和功能优化。海盒大数据平台采用租户化模式，在云底座基础上构建，为用户提供安全可靠的网络区域和灵活配置的资源。该平台支持统一资源管理、多云管理和自动化调度。两个数据中心通过分布式存储方式进行交互，满足用户对大容量存储的需求。
—某汽车集团大数据平台项目
某电网需要进行数字化转型，而SDP ES数据库集群正好满足该企业的需求。目前，SDP ES数据库集群在该电网企业运管平台、电量管理平台、电网管理平台、仿真平台等得到了充分应用，已累计部署超过30个节点。
—某电网大数据平台与数据湖建设项目
深燃集团各类信息化数据分散，存在数据标准不统一、数据管理机制缺失、数据存储分散、数据决策低效等问题，不能有效发挥数据价值通过统一任务调度管理系统，为大数据平台打基础，打造坚实的数据平台底座，为各业务领域提供统一的数据服务，为集团数字化战略提供支撑。
—某燃气大数据平台
通过蒙昆烟草大数据平台的构建，通过深度分析用户海量数据，在复杂环境下及时把握用户体验，挖掘消费者在烟草包装、口感、购买渠道等偏好，从而实施精准营销，为制定各品牌和市场投放计划提供数据；精准洞悉真、假、私；通过深度挖掘数据与信息价值，更早洞悉烟草从设计到生产到销售各环节存在的问题，及时调整生产经营过程。
—某烟草综合分析平台项目
在信息科技信息系统建设管理制度和规范的指引下，构建托管大数据平台体系架构和数据模型，并在数据管控体系的支撑下建立一套集数据采集、清洗、转换、应用和服务于一体的托管大数据平台，全面支持我行托管业务相关的数据分析、应用和服务<strong>。</strong>
—某银行托管大数据平台