计算机与现代化 ›› 2025, Vol. 0 ›› Issue (06): 120-126.doi: 10.3969/j.issn.1006-2475.2025.06.019

• 信息系统 • 上一篇    

基于虚拟化的数据中台资源隔离调度机制

  

  1. (国家电网江苏省电力有限公司信息通信分公司,江苏 南京 210000)
  • 出版日期:2025-06-30 发布日期:2025-07-01
  • 作者简介:作者简介:刘子寒(1993—),男,江苏淮安人,工程师,硕士研究生,研究方向:信息化系统建设,E-mail: 594683221@qq.com; 通信作者:沈力(1994—),男,江苏盐城人,工程师,研究方向:信息化系统运检,E-mail: 337339411@qq.com; 奚梦婷(1995—),女,江苏无锡人,工程师,研究方向:电力行业信息化技术,E-mail: 774511273@qq.com; 朱佳佳(1990—),女,陕西西安人,高级工程师,研究方向:电气工程及自动化,电力信息化,E-mail: 15811446189@126.com; 陆佳鑫(1995—),男,江苏常州人,工程师,研究方向:信息系统自动化运维,E-mail: 1812388762@qq.com; 查俊杰(1997—),男,安徽宣城人,工程师,研究方向:信息系统自动化运维,电力信息化,E-mail: 1253284326@qq.com。
  • 基金资助:
    基金项目:江苏电力信息技术有限公司(XM202337160144)

Virtualization-based Resource Isolation Scheduling Mechanism for Data Middle Platform

  1. (State Grid Jiangsu Electric Power Co.,LTD. Information & Techcommunication Branch, Nanjing 210000, China)
  • Online:2025-06-30 Published:2025-07-01

摘要: 摘要:在数据中台环境中,各部门系统架构与技术栈往往存在较大差异,整合收集的数据来自不同存储方式的数据库,数据异构程度较大,资源需求也不同,这些差异性使得数据中台需要对各部门进行资源隔离,保证不同部门的数据和计算资源互不干扰。同时为确保各部门系统正常运行,能够处理业务变化带来的资源需求量变化,数据中台需要在各部门间进行资源调度操作。针对这些挑战,本文设计一种基于虚拟化技术的数据中台隔离方案,并使用Kubernetes虚拟化容器管理平台,对各部门的虚拟化容器进行管理,为每个部门创建独立的虚拟环境,实现资源的隔离和独立管理。在此基础上提出一种改良的Kubernetes负载均衡策略,该策略结合数据中台特性,综合考虑CPU资源、内存资源、数据传输带宽资源与磁盘IO资源,根据节点负载评估情况进行负载均衡操作,通过这种方式,能够更加合理地分配资源,提高系统的整体性能以及稳定性。实验结果表明本文策略相较于Kubernetes现有的负载均衡策略有40%左右的提升,表明本文提出的负载均衡策略在维持虚拟化容器系统内的均衡性有着较好的表现。


关键词: 关键词:数据中台, 资源隔离, 多租户隔离, 资源调度

Abstract:
Abstract:In a data middle platform environment, departmental systems often have significant differences in architecture and tech stacks. The collected data comes from various databases, resulting in high data heterogeneity and different resource needs. This necessitates resource isolation to ensure no interference between departments' data and computing resources. To handle changing resource demands due to business changes, resource scheduling is required. This paper proposes a virtualization-based isolation solution using the Kubernetes container management platform. Each department has its own virtual environment for resource isolation and management. An improved Kubernetes load balancing strategy is introduced, considering CPU, memory, bandwidth, and disk I/O resources. This strategy enhances resource allocation and system performance. Experiments show a 40% improvement over existing Kubernetes load balancing strategies, demonstrating its effectiveness in maintaining balance in the virtual container system.

Key words: Key words:data middle platform, resource isolation, multi tenant isolation, resource schedule

中图分类号: