近日,星环数据云平台 Transwarp Data Cloud (以下简称 TDC)正式推出 3.1版本。TDC是采用云原生技术,融合星环科技全系产品打造的统一 PaaS平台,可以为企业提供数据流通交易平台、企业湖仓一体数据湖、企业数据中台、联邦云、企业数字化转型、政务大数据、云原生数据科学云和高并发数据应用八大解决方案,能够满足企业各种数据处理场景的需求,帮助企业实现企业数据与应用的生态化建设。截至目前 TDC已经为政府、银行、基金、能源等多个行业提供完整的数字化建设解决方案。

在星环科技 2022年春季产品发布周上,TDC重磅发布了 3.0版本,提供了三大核心能力:第一,支持星环科技全系产品新版本,同时 PaaS能力持续增强;第二,新增联邦云管理功能;第三,安全升级,新增隐私计算区。3.0版本发布以来被众多客户认可,是一套优秀的数据云平台。经过半年的打磨,TDC再次推出 3.1版本,此次的新版本新增了八大功能,同时对原有能力进行了优化升级!

新增滚动重启、存储扩容、存储回收站等八大核心功能

滚动重启,保障业务连续性

新增对多副本高可用角色(工作负载)的滚动重启能力。将底层滚动重启能力和业务重启逻辑结合,在变更过程中,实现了分布式系统的可靠自动有序重启,保障在 TDC上运行的大数据业务的运行连续性。

多种存储扩容方式,满足数据持续增长

支持对星环科技存储引擎 TDFS、TDDMS进行手动扩容存储,扩容方式支持在线增加磁盘大小、增加磁盘个数、增加副本数。在扩容开始前系统将进行资源预检,无论是否可以成功扩容,都不会影响原来业务运行,并且在扩容过程中可正常提供数据读写操作。

存储回收站,避免数据误删

删除 TDFS、TDDMS、KunDB组件或所属实例时,数据不会直接被删除,可以选择放入回收站,从而避免用户误操作删除数据导致生产事故。支持展示租户回收站内的存储总量,并可按需一键清理并查询清理记录。

高性能网络,满足 TP场景高性能需求

引入 Macvlan高性能网络,业务可按需开启高性能网络,满足 KunDB等对网络性能的要求。相较于开源 Macvlan网络方案,TDC的方案没有物理网段的限制,可以任意自定义第二块网卡使用的网段(包括物理网段,因此不需要申请额外申请固定的 IP网段),并且能够自动的提供第二块网卡的服务发现,完整实现了底层 Kubernetes的 Service功能。

除此之外,TDC的网络能力还做了如下改进:

【VIP】虚拟 IP支持绑定二层网络下的节点集合(网络可用区),虚拟 IP将在选择的可用区对应的网段中创建,从而可以做到外部流量不只是通过 master节点进来,提高了集群处理外部流量的能力,也通过分散到不同节点提高了可用性。

【SLB】为组件配置 SLB时可开启流量转发高性能网络,开启后访问配置对象的流量将会被转发至高性能网络上,提升访问性能。

联邦云网络统一管理,更便捷联通两地集群

通过统一的域名解析体系实现联邦云集群之间的网络连接与通信,打通底层多个集群之间的网络。应用场景有:统一管理分布式部署在不同集群上的数据库实例,分散读写请求流量,提高读写效率,同时支撑在多个数据中心之间星环产品(例如 KunDB )的数据安全通信需求。在传统跨机房通信中,是通过手工搭建的方式实现的,搭建过程比较繁琐,耗费人力和时间,联邦云实现了自动的跨集群通信,更加便捷。

开源生态对接,更好满足客户多样需求

实现开源 Spark在 TDC的上架和运行,并与星环科技大数据体系对接,以便更灵活满足客户使用场景以及支撑星环智能分析工具 Sophon:

支持在 TDC上可视化部署 Spark,支持 HA部署,支持通过运维入口查看历史任务,支持资源扩容和缩容。

支持对接星环科技大数据安全管理软件 Guardian,支持对接开启安全的星环分布式文件系统 TDFS。

GPU分组,更灵活管理 GPU资源

支持 GPU分组,可以精细管理和调度 GPU资源,不同工作负载或者租户在使用时,可以指定分组的 GPU卡资源,实现资源分组和配额管理。

高可用增强,提升平台可靠性

针对客户对于高可用的更高要求,TDC从操作系统层开始进行梳理,并通过严格的高可用测试,改进了 TCOS和 TDC云管平台,以及云产品星环科技大数据开发工具 TDS和智能分析工具 Sophon的高可用能力,可以实现单组件副本、硬盘故障、网络故障、控制单节点故障、工作多节点故障下,平台仍然可以正常对外服务。

同时,为了提升易用性,TDC还新增了模块化安装功能,安装 TDC时可按需选装所需系统服务,后续有需要时可通过 TDC安装工具按需部署。目前可选装包括微服务引擎、DevOps、应用市场、数据市场模块。

除新增功能外,TDC本次升级也对原有功能进行了优化和升级,其中包括:

【统一用户】TDC各系统实现统一用户、登录和门户,同时兼容原有租户用户管理模式,提升用户登录体验。

【权限管控】增强 HDFS权限管控,解决不同租户的同名用户权限不隔离的问题,实现多租户共享 TDFS目录权限隔离,规范并实现上游组件在 TDFS/ Zookeeper/KunDB创建不同路径,同时支持白名单机制,实现跨租户访问 TDFS权限由 Guardian严格控制。

截至目前,星环科技数据云平台 TDC已经在数十家大型企业落地,覆盖多个行业。其中典型案例包括:为江苏农信建设的大数据 DAAS应用平台,提升了江苏农信数据输出服务能力;为上海大数据中心建设了上海市数据共享交换平台,为一网通办、政府大屏、政务决策等政务应用提供支撑,有效提升政府部门办事效率;为中化中化信息大数据平台建设提供了一站式的大数据解决方案,充分整合和管理企业各个系统全生命周期数据,快速挖掘数据背后的价值,综合提升企业管理和运营能力。