安装环境要求
安装环境要求¶
本章说明SeaboxMPP数据库的硬件配置及操作系统软件要求。
操作系统及软件环境要求¶
SeaboxMPP数据库可运行在RHEL 64-bit 7.6或CentOS 64-bit 7.6及以上版本,支持中标麒麟V10、统信UOSV6等国产操作系统。
依赖软件包¶
安装SeaboxMPP数据库服务端要求操作系统安装以下软件RPM包:
apr | openldap |
apr-util | openssh |
bash | openssl |
bzip2 | openssl-libs |
curl | perl |
krb5 | readline |
libcurl | rsync |
libevent | sed |
libxml2 | tar |
libyaml | zip |
zlib |
安装SeaboxMPP数据库客户端程序要求操作系统安装以下RPM包:
apr | libyaml |
apr-util | libevent |
重要:在所有的SeaboxMPP数据库节点上,必须禁用SELinux和防火墙软件。
Java¶
SeaboxMPP数据库的FDW组件连接部分数据源要求JDK支持,java版本为Open JDK 11或Oracle JDK 11.
硬件和网络¶
建议安装前与数据库系统工程师一起检查预期的环境,以确保数据库以最优配置运行。
SeaboxMPP数据库集群各组件硬件配置要求如下:
Coordinator配置建议¶
通常部署时coordinator实例与GTM、SCDCS组件部署在相同的节点上,coordinator节点建议配置见下表:
配置项 | 最小配置 | 推荐配置 | 说明 |
---|---|---|---|
规模 | 2 | 3+ | 测试环境中,coordinator节点可与executor节点在相同服务器上,即复合节点 |
CPU | 2*4核 | 2*16核以上 | 支持任意X86_64架构CPU或鲲鹏、飞腾等ARM架构CPU |
内存 | 16GB | 256GB或512GB | |
磁盘 | 100GB | 500GB以上 | 库安装的程序需每节点150MB存储空间,元数据及运行日志需预留较多空间 |
网络 | 千兆网 | 千兆网(对外)、万兆网(对内) | 数据库集群内部万兆网络连接,服务器有多个网口时建议使用多网卡绑定 |
Executor配置建议¶
为确保集群整体性能,建议所有Executor节点保持相同的配置。下表是executor节点建议配置:
配置项 | 最小配置 | 推荐配置 | 说明 |
---|---|---|---|
规模 | 2 | 3+ | |
单节点实例数 | 2主2备 | 4主4备 | |
CPU | 2*8核 | 2*16核以上 | 支持任意X86_64架构CPU或鲲鹏、飞腾等ARM架构CPU |
内存 | 64GB | 256GB或512GB | 建议设挂载swap分区,大小为物理内存一半 |
磁盘 | 500GB | 4TB以上 | 库安装的程序需每节点150MB存储空间,存储数据的磁盘需保留合理的空闲空间,通常存储的数据不超过整体磁盘空间70% |
网络 | 千兆网 | 万兆网 | 数据库集群内部万兆网络连接,服务器有多个网口时建议使用多网卡绑定 |
ETL服务器配置建议¶
强烈建议配置独立的ETL服务器,ETL服务器用来运行scfs文件服务及kafka-flow组件,建议配置:
配置项 | 最小配置 | 推荐配置 | 说明 |
---|---|---|---|
规模 | 1 | 2+ | kafka-flow组件支持高可用特性,生产环境部署在2个ETL服务器上,可有效确保业务连续性 |
CPU | 2*4核 | 2*16核以上 | 支持任意X86_64架构CPU或鲲鹏、飞腾等ARM架构CPU |
内存 | 16GB | 256GB或512GB | |
磁盘 | 100GB | 2TB以上 | 主要考虑ETL要加载的数据的数据量以及保留周期 |
网络 | 千兆网 | 千兆网(对外)、万兆网(对内) | 与数据库集群内部万兆网络连接,服务器有多个网口时建议使用多网卡绑定 |
SeaboxMPP数据库支持IPv4或IPv6协议。
图形化管理工具服务器配置建议¶
图形化监控管理工具SCMS与sdAdmin工具建议部署在同一服务器上,具体配置如下:
配置项 | 最小配置(开发测试环境) | 推荐配置(生产运行环境) | 说明 |
---|---|---|---|
规模 | 1 | 1 | 开发测试环境可不部署该组件,建议虚拟机或容器部署 |
CPU | 2*4核 | 2*8核以上 | 支持任意X86_64架构CPU |
内存 | 16GB | 32GB | |
磁盘 | 20GB | 500GB以上 | 主要考虑监控历史数据存储 |
网络 | 千兆网 | 千兆网或 |
SeaboxMPP默认端口¶
SeaboxMPP数据库集群运行中各组件使用不同的端口号进行通信及数据传输,下表是各组件使用的默认端口,安装部署时需确保这些端口是可用的:
节点类型 | 服务 | 默认端口 | 描述 |
---|---|---|---|
管理节点 | 管理节点客户端连接端口 | 3000/3001/3002 | SeaboxMPP数据库所有管理节点与SQL客户端连接端口,每个管理实例一个端口。 TCP协议,可配置。 |
管理节点 | 一致性协议服务(SCDCS) | 2379/2380 | SeaboxMPP数据库用于集群锁、全局对象管理的一致性协议服务端口,每个服务2个端口,分为服务端口和内部连接端口。TCP协议,可配置。 |
管理节点 | 全局事务管理器(GTM) | 3566 | SeaboxMPP数据库用于全局事务管理的服务端口。TCP协议,可配置。 |
数据节点 | 数据节点主/镜像实例的连接端口 | 可变,默认从3800开始,随实例序号增加同步增加。 | 数据节点主实例的连接端口。数据节点上的每一个主executor实例和镜像实例都必须有唯一的端口。这些端口在数据库初始化或扩容时分配。TCP协议,集群内部使用。 |
数据节点 | 数据节点各实例间数据传输连接 | 1025-65535,动态分配 | 查询执行期间,SeaboxMPP各executor实例之间传输数据,UDP协议。 |
加载服务器 | SeaboxMPP数据库文件分发服务scfs | 8080 | scfs文件服务能够在MPP数据库各节点上或外部服务器上运行。启动该服务时可用用-p选项指定连接端口。 |
所有类型主机节点 | SSH服务 | 22 | SeaboxMPP安装、初始化、启停等工具使用scp和ssh在节点之间传输文件并且管理集群中的SeaboxMPP系统,默认22,如操作系统调整ssh端口可通过修改相关配置文件后使用新端口,tcp协议。 |
其他配置建议¶
-
建议操作系统编码UTF8
-
建议所有节点系统盘与数据盘分别配置,通常系统盘要求2块盘一起做raid1
-
建议数据盘做RAID5或RAID50,磁盘文件系统使用xfs,挂载时需添加挂载选项rw,nodev ,noatime ,nobarrier ,inode64选项