贲锋：启迪设计私有云数据中心建设实践|V课堂第109期

作者：苏小静 2018-05-08 14:28:50

云计算 启迪设计集团股份有限公司信息技术中心主任、高级工程师贲峰，贲主任从启迪设计私有云架构设计、平台功能、数据中心机房建设等几个方面深度畅聊了启迪设计企业部署私有云数据中心的实战和探索。

成都创新互联主营衡阳县网站建设的网络公司,主营网站建设方案,App定制开发,衡阳县h5成都微信小程序搭建,衡阳县网站营销推广欢迎衡阳县等地区企业咨询

第109期【智造+V课堂】“优秀CIO”主题分享月第一期，启迪设计集团股份有限公司信息技术中心主任、高级工程师贲峰，贲主任从启迪设计私有云架构设计、平台功能、数据中心机房建设等几个方面深度畅聊了启迪设计企业部署私有云数据中心的实战和探索。

一、分享嘉宾

启迪设计集团股份有限公司信息技术中心主任   贲 锋

1. 个人简介

• 启迪设计集团股份有限公司信息技术中心主任/高级工程师;
• 从业30余年一直工作在信息化建设第一线，推进并见证了启迪信息化的发展历程，主持完成企业信息化规划、ERP、协同设计及数字化交付平台等全部信息化项目实施。

2. 获奖情况

• 主持完成的项目获省勘察设计行业软件二等奖;
• 所带领的团队连续获中国勘察设计行业“十一五”、“十二五”信息化建设单位先进称号、2017年度江苏省企业信息化优秀团队;
• 个人获中国勘察设计行业“十二五”信息化建设先进个人、2016年全国优秀CIO、2017年江苏省企业优秀CIO等殊荣。

二、分享主题

《启迪设计私有云数据中心建设实践》

三、分享大纲

1. 启迪设计概况;

2. 启迪设计私有云架构设计;

3. 平台功能;

4. 与传统架构的对比;

5. 有待优化部分;

6. 数据中心机房建设。

四、原文实录

原文实录context：

今天很高兴在这个地方跟大家欢聚一堂，与大家分享有关企业私有云建设的一些心得，首先也要感谢江苏省企业信息化协会，让我们有机会在这个平台上面共同的交流、学习。

今年是江苏省企业信息化企业上云的推广年，江苏省刚刚颁布了企业上云工作指南，以及星级上云企业评定的标准，我们也就顺应潮流，一起来谈谈云。首先按照惯例，先简单的介绍一下我们启迪设计集团的情况。

启迪设计集团创建于50年代，到现在已经走过将近60余年的历程：

2002年由苏州市人民政府直属的苏州市建筑设计研究院改制成民营企业。 2016年2月正式在深圳上市，股票代码300500，大家可以关注一下。2017年3月8日，清华大学启迪控股参股苏州设计(也就是我们原来的前身)启迪设计正式更名而成。目前整个的启迪设计集团股份有限公司在全国各地有近20多个分公司与子公司。

这是一张我们

启迪设计在信息化过程当中所走过的一个缩影。

启迪设计是整个勘察设计行业当中比较早投入信息化工作的。九十年代开始，我们通过甩图板进入了计算机的时代，2004年正式的进入局域网的运营时代，2004年我们又成为全国较先开展协同设计以及信息化管理的设计企业。2006-2015年是我们信息化的发展跨越年。在这个过程当中，我们注重项目的全过程的信息化管理：从设计输入->设计输出->一体化的协同设计平台的建设。2015年适应公司股改以后的集团化的运作和资源整合，为了顺应集团全国化布局战略，我们开始进行私有云建设的尝试。通过私有云建设的过程来实现了我们核心信息系统：ERP系统、一体化协同设计与数字化交付以及数字化档案的全过程信息化应用平台等的云端部署。

2016年我们建成了现有的一个私有云数据中心，这张图是我们的私有云架构设计图。

底层是我们常说的核心物理层基础架构层：存储、网络以及计算单元。其实，再怎么的“云里雾里”还是离不开IT基础架构的建设。

在IT物理基础架构之上，我们搭建了虚拟化环境，也就是图中的中间层;再上层，我们通过云服务组件来实现了自动交付，自动部署;最上层是基于EMC的EHC私有云门户。

图的左侧是保护整个云环境数据安全完整的数据备份解决方案。

图的右侧是我们的日志管控，智能化运维的组件。

在与外界交流当中，经常我听到一些同仁受某些系统集成商的蛊惑，把虚拟化和云混为一谈，经常会出现搞了几台虚拟器，然后跟大家说我们已经云化了，已经部署了私有云……。

通过这张图，大家应该比较能够清晰地了解私有云的一个完整架构所应涵盖的，必须具备基本要素。它除了虚拟化层面以外，底层架构，自动化的部署服务和交付，数据安全以及智能运维，这些元素都是不可或缺的。

接下来这张图是私有云平台的功能模型。

我们知道，私有云建设第一步是需要把所有的资源进行池化和整合，在这个解决方案中我们有计算资源池、存储资源池以及网络资源池，然后通过虚拟化的管理和自动编排，实现计算即服务、存储即服务，以及备份即服务。

这张图是我们私有云平台的逻辑架构图。

底层是x86的服务器，上面从左至右是计算虚拟化、存储虚拟化以及网络虚拟化。这三个虚拟化构成了三个不同的资源池。

图的右侧是我们基于云的全方位完整备份系统，是整个云数据安全的保障。当然其实这个私有云平台最终是可以与公有云形成一个完整的混合云的架构，在这个环境中可以加入公有云资源进行共同管理。

图的上方是我们资源池的集中监控、运维管理组件和平台门户。

接着上面一张图，这张图是前面一张图的软件模块投射上去以后的成果展示。

包括我们的硬件投射上去以后，形成的基于VMwarevCloud技术结合IT基础架构所形成的一个私有云云平台逻辑架构。

这张图也就是基于VMware vCloud实现自动化交付的所有云组件，其中包括：实现资源调配流程的流转以及自动部署组件+EHC的企业门户来构成的云平台的租户隔离系统。

我们刚刚讲到，我们私有云平台基本的架构设计和平台的一些功能模型，同时我们也谈到了私有云的逻辑架构。这个图给大家展示的是私有云从物理层面架构的组成部分。

从底层来开始：存储这一块我们是基于EMC做了两个存储分区，一个是文件存储是一台NAS，当时部署是5个节点Isilon，400TB的总容量，主要用来保存我们非结构化文件;第二个存储是一台SAN存储，部署了一台EMC高端的存储Vmax100K，作为核心存储存放虚拟化环境数据及应用数据库等结构化数据。存储全部通过两台8GB的光纤交换机与我们上面的云计算节点进行连接，这两台8GB的光纤也是虚拟化实践常用到的存储光纤交换机DS6510，全万兆模块置备。

云计算节点在初期的时候我们配置了四台的X86服务器，作为私有云的数据中心来部署。另外我们部署了三台置备虚拟化专业显卡的X86服务器搭建虚拟桌面服务器群。X86的虚拟桌面服务器群重点是解决我们三维设计的VDI桌面虚拟化应用。

图的最上层是我们两台局域网数据中心三层核心交换机，通过这两台万兆的数据中心交换机，与我们整个集团总部的局域网进行相连。我们目前的网络布局是干线万兆+千兆到桌面的部署。

图的右侧是我们的备份单元，是基于EMC的备份存储DATA DOMAIN，加上EMC整个的备份管理套件Network+AVMAR分别来备份我们的虚拟化环境、核心应用数据库，以及我们大批量的非结构化文件备份。

这张图是我们整个云环境部署以后的拓扑结构图。

底层除了刚刚讲过的SAN存储和NAS存储，底层的右侧还有一台备份存储。然后通过EMC的ViPR组件进行存储的虚拟化。中间是我们的虚拟化层，整个虚拟化数据中心的计算单元里面一共部署了大概40多台的业务虚机，加在私有云平台组件虚机20余台一共是六十几台虚机。

讲到计算单元和存储单元的时候，我们重点要强调在云的部署过程当中，我们很容易忽视掉的一个是什么?就是云环境本身所占用的资源，其实这一块的资源消耗量也是比较大的。首先从计算单元来讲，整个云环境所要的虚机数大概要20台左右，存储也要将近3～4个TB的存储，作为核心存储的开销，其实这个开销的成本是非常大的。在这一点上，大家在做私有云数据中心计算单元的评估、评价时，需要想清楚或者说预留我们相应的云本身所需要的资源，包括存储资源和计算资源，这点非常重要。

图中虚拟化层当中是我们基于Citrix部署的一个虚拟桌面环境，它重点解决我们部分研发上对VDI虚拟桌面的应用需求。当然在这个过程当中，我们意识到由于我们行业的特性，我们对显卡的要求加上非结构化数据传输的量比较大，在虚拟桌面的使用过程当中，我们的网络流量开销是比较大的。在内网并没有觉得这一点，但是当要把它投射到外网的时候，基本上一个用户所占用的网络带宽是在10～15兆，这一点跟我们一般办公的虚拟桌面是不太一样的。

因为这一块的部署，我们是在2016年的初期完成的，当时使用的GPU虚拟化显卡是英伟达的K2。但是现在我们希望在进行扩容的时候会发现，因为GPU虚拟化这一块的成本急剧的提升，英伟达对新一代GPU虚拟化显卡的收费除显卡购置费之外还需要每一年为GPU虚拟化通道的license授权缴纳相应的服务费，所以感觉GPU虚拟化成本压力过大。在这里我也正好向大家提出来，不知道其他的同仁有没有更好的GPU虚拟化解决方案?之后能一起来沟通交流，相互学习。

图中虚拟化层的右侧就是云服务平台，包括EMC的云门户EHC、存储虚拟化组件及备份套件等。

然后是我们对整个的应用做几个分区，和一个是桌面虚拟化分区。

图右侧还有一个是综合管理分区。综合管理分区，我们部署了相应的一些网管软件、性能监控软件，以及我们的AD、日志服务、DHCP等，一些运维管理服务也部署在综合管理区。

图右下是刚刚讲到的数据备份，我们是用了基于DD250备份存储基础+EMC备份套件来构成完整的备份。

在容灾这一块，我们是利用了原有我们的一个数据中心和我们原有存储、计算单元，然后通过RP4VM进行我们的核心虚机的保护。当然不可能对所有的应用服务器进行容灾保护。我们所有的应用加在一起应该是六十几台的虚机，包括云环境本身的20台机虚机。因为我们买的RP4VM容灾保护license也不够，所以说只能保护15个关键应用虚机环境，当我们的云数据中心出现问题的时候，我们的备份数据中心就是我们的容灾中心，这就是我们利旧的原来的计算资源和存储单元，是可以在降性能的情况下进行业务连续性的保护。

网络层这一块，我们除了核心交换机以外，我们部署了一个边界防火墙、二台数据中心防火墙，同时也部署了上网行为管理以及无线管控等。

核心交换机之下就是我们的楼层交换机了，我们也是通过核心交换机与楼层交换机之间进行万兆互联。楼层交换机与楼层交换机之间，我们也是通过万兆光纤进行相互的级联。

刚刚讲了我们云平台的建设，从架构到设计，到我们的拓朴结构。这张图主要是展示我们应用层跑上去以后的云平台情况。

我们为什么要建云?我们建云跑哪些应用?

我们重点的是顶端生产平台，从设计输入->设计输出->数字化档案，完整的协同设计的生产平台。

ERP这一块重点是上了几个应用：财务、人力资源、合同管理，也就是项目管理，包括收入确认;还有就是费控预算及采购了。通过人力资源完成的人事基本信息以及我们组织架构，对整个集团所有的签入、签出合同、收入确认、对接财务管理，实现财务、业务一体化的过程。当然我们还有实现了OA的移动化应用，都在这个云平台基础上完成集团化应用。

基于这样一个云的平台，我们所有的核心应用都能通过我们集团数据中心来支撑各地的分、子公司的业务(这一块是通过我们专有的VPN防火墙来接入进来的)。讲到公有云，我们实际上使用了财务业务一体化ERP系统当中，金蝶的“云之家”的一个公有云移动平台。重点解决移动办理流程、审批以及IM的一些功能。

作为一个传统企业上云，我的体会就是，上云之后与原来虚拟化环境之间的最大的改变在于：

• 第一个，资源的整合更紧密了;
• 第二点，资源的管理也更严谨了;
• 第三点是资源的监控更到位了;
• 第四点是数据安全更有保障了;

因为通过云的平台管理构成了一个完整的数据备份以及容灾解决方案。

我们原来初期建虚拟化的时候，我们往往对虚拟化环境的备份会觉得非常困惑。其实很多场景下Vmware ESXi所提供的快照及备份方案是不可能解决虚拟化环境自身数据安全的基本问题地。

我们为什么要上云?上云对我们有什么好处?跟我们原来的传统架构之间有什么样的一个区别?

我想通过这张图跟大家来表达一下。

首先云平台建设对我们启迪设计，短时间内具备了一些敏捷自动化和标准化的云的服务提供能力。云应用回归到传统企业来讲，更关注的并不一定是它的敏捷和自动化，其实更关注的应该是它的标准化的云服务提供能力，智能化的运维能力以及刚刚讲的完整的安全架构。

也正因为这样，云平台所能提供的整个资源全生命周期的自动化管理，与传统架构相比，是有一个显着的人力资源的节约，同时也的确确地提升了IT基础架构的弹性。还有就是刚才不断的重复的，资源标准化的供给和整体运营效率和智能运维能力。

从2016年到现在，已经将近两年的时间，在这一块我们项目过程当中，我们在不断地做一些更进一步的尝试。我们现在还是通过一个数据库的评价软件，在进行了数据库的性能评价之后，我们把两个核心数据库全部虚拟化了，然后把四台的原来做数据库服务的计算单元，4U X86PC服务器接入到了我们原有的数据中心来，有效地扩展了我们现有的云数据中心的计算单元和服务能力。

当然我们数据中心在建的时候，资源模板相对来讲比较单一，云的一些资源模板也在不断地增加当中，来确保我们后面整个计算单元提供的能力。还有，为一步迎合我们后续对全国化布局的需要，我们后续将重点解决混合云的对接问题。当然我前面也提过EHC有一个先天的优势，本身它是一个基本的混合云的架构。在做一些相应的配置和扩展也是能够实现混合云的管理能力。

前面跟大家重点交流和分享的是我们云数据中心，云架构这一块。从物理架构再底层就是我们私有云数据中心的机房。机房的建设过程当中也会涉及到很多具体的一些问题，我大概简单的罗列一下。

下面这张图就是我们云数据中心机房的一个布局图。

我们看到左图中央的开孔地板是下送风单元。右侧上方分别是我们楼层的光纤接入交换机及配电单元。右下侧是一台我们讲的NAS存储。再右侧是我们的一个核心存储，EMC的VMAX。

在上面这张图上我们可以看到，最左侧的小柜子是我们的UPS，左图的右侧两个是我们的精密空调。右图是我们的UPS电池组，电池组的上方是一个排风单元和我们的一个自动喷淋。

大家不知道清不清楚，往往数据中心火灾大都是因为电池在运行过程当中产生的微量氢气遇到火花所造成的，这种是占了数据中心机房火灾80-90%的的原因。所以在数据中心机房建设过程当中，电池组一定要跟数据中心机房进行物理隔离，同时增设排风单元，将有可能散发出来的一些微量氢气抽到室外去。

我们知道，数据中心本身它的灭火系统通常是气体灭火，但是电池这一块我们可能就没那么讲究了，我们就采用自动喷淋的方式。如果是特别大的IDC机房，它的电池组的灭火系统也同样是气体灭火，但气体灭火的成本远远比自动喷淋的成本要高得多得多，有钱当然也就可以任性。

这张图是我们数据中心机房内的一张火灾气体灭火的装置，它的右侧是我们气体灭火的控制箱。气体灭火其实是在数据中心机房建设当中的一个强制标准。这一块一定要做的，你如果不做，出现问题也比较大，但是在这一块要引起注意的是，我们一般的正常的气体灭火是通过手动来控制的，。如果设置为自动状态，一旦出现烟感或者温感的误报，气体灭火如果启动，人如果在数据中心机房里面是没有办法逃生的。

在企业数据中心机房建设当中，大家一直会有个疑惑，就是精密空调成本比较高(大概要几万块钱一台)，为什么不能用舒适性的空调，就是我们的柜机替代呢?这两个空调最大的区别是什么?

舒适性空调可以控温度，但是不能控湿度。在冬季，舒适性空调制冷也是比较困难的。另外，机房除了温度的要求，它是有一个标准的湿度要求地。控制湿度基本上是在50%左右，过高过低都不利于电气性能的运行。

机房建设除了刚刚讲的这几块以外，还有一块重要的一个问题，就是我们在机房建设的过程当中，我们放在什么地方?一层楼还是二层楼?正常的我们一般的办公楼，楼板如果没有做特殊加固，每平方米的承重压力在200公斤到300公斤之间。一个机柜如果是600毫米X1000毫米，也就是0.6个平方，折算下来，你机柜里面只能装载一百多公斤的设备。大家知道一台满配硬盘的服务器，是在65公斤到70公斤之间，也就是说我们一个机柜里面也只能放三台服务器。

我们经常会奇怪一些机房的机柜里面为什么不满配?除了刚刚讲的荷载的作用因素以外，还有一个就是每个机柜的散热能力，正常的讲一个机柜的用电负荷不能超过8KW，超过8KW可能就要在机柜底部加一个ADU的强制送风单元才能保证机柜散热了。

另外，在机房的设计过程当中，千万不要忘了等电位器的部署。为了保证我们机柜的布线清晰和理线能力，建议大家选用80公分宽度的机柜，多出的20公分是左右各安置一个垂直理线架。这样的垂直理线比60公分宽度的机柜水平理线，能够更保证机柜里面的线路的清晰和整齐。

戳这里，看该作者更多好文

分享文章：贲锋：启迪设计私有云数据中心建设实践|V课堂第109期
本文路径：http://www.shufengxianlan.com/qtweb/news3/520253.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联