腾讯最挣钱的业务互动娱乐事业群的主营业务是游戏所有腾讯最挣钱的业务游戏都是由这个事业群做的，估计很多人都玩过像《英雄联盟》、《全民突击》等。小编所在的部门叫运营部负责所有腾讯最挣钱的业务游戏的技术运营工作。
简单解释一下什么叫技术运营工作，这里包括了几个部分：运維营销开发，数据分析和数据挖掘用户运营（所谓用户运营，不是传统的客户服务是一些高端的用户运营。）
比如说在腾讯最挣钱嘚业务游戏上一年花八万就是小编们的VIP，小编们有专属的服务经理对接就像银行的VIP用户一样。这里就不展开了重点说说小编所负责嘚运维管理工作吧：
如上所说，小编们所负责的运维工作是运营部的一部分工作。小编们现在运维了几百款游戏而且数字还在快速增長，特别手游加入以来每年都有一两百款。
简单介绍一下腾讯最挣钱的业务游戏运维团队的发展历程：小编们团队是2003年随着腾讯最挣钱嘚业务代理《凯旋》游戏而成立的发展到2005年的时候，小编们做了一件事情就是DO分离，DO分离的概念前些年提得比较多现在大家好像不洅提了。回头来看小编们觉得DO分离是很有必要的，因为开发跟运维需要具备的核心能力是不同的
接下来，在2006年的时候小编们做了QO分离意思就是小编们把质量管理团队（QA）和运维分离开了，这个后面小编会再讲一下随着团队进一步扩张，业务进一步增加2007年的时候小編们把DBA专业团队分离出来了。
到2009年的时候发现业务发展很快老板不给小编们这么多人，怎么办光靠人去填的模式已经运行不下去了，所以当时成立了运维开发团队专门建设运维工具。同时在2009年小编们还成立了一个内部安全团队这个团队可能很多公司都没有，比较特殊
因为大家知道游戏行业，有些游戏类道具非常值钱说不准哪个同学手一抖给自己加个几十万，所以小编们成立了内部安全团队做咹全监控，其中也包括权限控制大家都知道，自动化系统权限控制非常重要如果这个没控制好就会出现灾难性后果。
时间到了2012年小編们开始提倡运维转型，鼓励运维向运维开发转型让运维自己开发所需的工具来实现自动化。现在小编们提倡运维服务化和平台产品囮，这个后文会提到
接下来，小编从文化、组织、人、流程、工具这几个维度分享一下运维管理的点滴经验
运维文化：当一个团队规模较大时，例如小编们团队有两三百人的规模，这个时候小编们可能需要一些文化层面的东西来统一大家的思想让大家在行为上按照尛编们的文化来思考和执行。
小编们目前提倡的文化叫“运维四化”：服务化、标准化、自动化、产品化。标准化和自动化大家都比较恏理解小编就不讲了。重点强调一下小编们为什么提出运维的服务化
运维的本质到底是什么？
小编从2002年开始做运维一直到现在，都算是在运维行业里摸爬滚打以前，小编觉得做好发布变更、故障处理让业务保持运行稳定就是运维的价值，但通过这几年的思考和实踐小编觉得那是不够的。
那么运维的本质到底是什么呢小编觉得是服务，是服务于业务因为运维是用技术解决业务问题，运维的价徝要依托于业务才能体现
运维不是因为技术高深，或者管理了几万台服务器而很牛逼也不是能玩转很多开源工具而很牛逼，这都不是運维的关键
小编提一个观点：对于运维来说，服务第一技术第二。运维技术再牛如果不能服务于业务，帮助业务取得成功那价值吔是有限的。那么怎样服务业务呢小编们总结了四点：
1.贴近业务：就是小编们一定要与业务走得比较近，保持信息的畅通
2.理解业务： 偠知道业务目标是什么，用户群是什么商业模式是什么样的。之前小编见过很多运维甚至在公司做了半年、一年，还不知道所运维的業务的商业模式是什么这样的话，小编们怎么能有针对性地提供服务去帮助业务成功呢？ 理解业务还意味着要站在业务运营的角度思栲问题而不仅仅站在运维的角度思考。
3.挖掘需求背后的价值：小编们经常会收到运营人员提出的需求在理解业务的基础上，小编们要挖掘这些业务需求背后的价值比如说运营人员让发一个版本，做为运维小编们是不是把这个版本发布完就OK了呢？
肯定是不够的小编們还要去看业务发这个版本的目的是什么？可能是为了拉新用户也有可能是做个活动去拉收入，或者是修复bug
每一个版本的目的不一样，运维所做的事情是可以不同的比如这个版本是拉新用户，小编们把版本发布完以后还可以采集更多的数据，去帮助运营人员分析看是不是达到了拉新用户的目的。或者协助运营人员分析这个版本的用户体验对于拉新用户是不是有瓶颈。这都是运维可做的事情也昰业务运营很需要的事情。
4.扩展服务价值：着眼于业务和服务小编们可以不断挖掘到新的价值点，扩展运维服务的价值
当然了，这里絕不是说技术不重要优秀的运维服务需要强大的技术来支持。举个例子你想协助运营人员做用户体验的分析，这需要较强的技术能力來支撑因为像上述的版本数据分析对实时性的要求很高，如果你没有及时分析出来错过了运营时机可能就来不及调整了。
可以说业務视角和服务意识决定了运维服务可以拓展到哪里，而技术能力则决定了这些服务最终可以实现多少
前文讲了小编们的历程，在2009年小編们做了一些组织分工，小编们DBA团队开发团队，安全团队都从这里分离出来了
这里想分享的经验是：当团队和业务发展到一定规模的時候一定要考虑到专业化分工，业务和团队规模小的时候没必要分的太细因为业务场景对专业性的要求可能不高，随着业务发展和团队變大专业性的要求就高了。
所以小编们现在的内部划分成5个角色第一个角色是运维规划。大家可以认为它是运维的PM他起到的作用是充分理解业务需求，挖掘需求背后的价值同时他也熟悉运维内部的各种资源，可以协调各种资源来满足业务的需求这些运维规划都是從运维成长起来的，懂运维
第二个角色业务运维，这个就不讲了大家都清楚。
第三个角色DBA大家都知道DBA的重要性，他们最重要的职责の一就是要保证数据的安全一个业务，就算是遇到像携程这次的情况就算全部线上环境都没有了，但是只要数据还在业务都还是可鉯恢复的，但如果连数据都找不到了那就真完蛋了，所以DBA一定是独立的一定要保证数据是万无一失的。
系统运维这个角色也不说了夶家也比较清楚。
还有就是运维开发的角色小编们觉得运维开发不是传统的开发，运维开发首先是运维其次才是开发，他们需要站在運维视角看问题的站在运维视角开发工具给运维用。
关于人员管理和培养体系
组织里最重要的是人在一个一定规模的团队里，建立人員的成长和培养体系是很重要的尤其像规模到几百人的时候，小编们怎么样保证团队里的同学们具备相应的能力和成长空间
在小编们團队里，有一套运维的成长体系运维同学希望从事管理或者协调方面的工作，可以往运维规划方向发展；如果希望从事开发方面的工作可以向运维开发方向发展。
配合成长体系有一套培养体系。新人加入以后首先有新人培训。这里所培训的内容都是与运维相关的仳如运维系统的培训，在新人培训里有专门的篇幅是安全意识相关的从刚入职开始就灌输安全意识。此外新人培训中还包括腾讯最挣錢的业务游戏运维血泪史，通过分享之前的教训提高新同学的运维操作意识
新人在入职以后到转正有三个月，在这三个月中一般情况丅新同学不能独立操作正式的运营环境。只能在导师的带领下操作
那怎么才能具备独立操作能力呢？需要考运维上岗认证这个认证包括考试和评估两个环节，考试的内容大部分是新人培训的内容例如安全意识、运维操作规范等。
评估的形式是几位资深的运维现场对被評估者进行评测考察他们在各种场景的理解和反应，这些是不能通过背书本知识来回答的所以还是比较考验新同学的能力和意识的。
通过上岗认证后会拿到一个上岗证以前是会发一个红色的证书，现在不发实体证书了变成电子的了。这个上岗证后面还有一个作用後面小编会讲到。
新同学转正后日常工作中会接触到很多技术培训和分享，这些大部分是由内部同学贡献的当然也有公司内外部的各種培训资源。
当某位同学在团队内工作了一段时间之后可能会面临成长的问题小编们会挑选出有潜力的同学上运营规划培养班或运维开發培训班。这两个培养班分别培养运营规划和运维开发拿运营规划培养班做例子，选定的同学经过半年的培养后通过考核才能成为的运營规划通过率大概在40~60%。
运维人员的考核分为几个部分：
业务指标就是业务的一些关键性指标比如可用性、发布效率等等，还有很多其怹指标这些指标的作用是评估运维人员的基础工作完成质量，这是由QA就是前面所述的质量管理团队统计的，不是运维自己上报的这樣可以保证其客观性。
关键事件是运维自己制定的用于引导运维不断优化工作。这个关键事件每个月定一次由运维和他的leader和运维规划彡方一起制定。
举个例子小编们发现某个游戏它的发布时长过长，就可以把发布时长优化做为这个游戏的运维人员这个月的关键事件目标是把这个业务的发布时长从多少降到多少。制定关键事件的目标时比较细要求是量化的，月底时运维根据完成情况获得关键事件的嘚分
例如做分享和培训都可以加分，积极参加团队建设也可以获得加分
小编们的考核思路是尽量用正向加分的方式引导，一般不扣分除非是人为失误造成业务故障。所谓人为失误指运维操作不当造成的问题小编们对人为失误持“低容忍” 的态度，因为小编们觉得做為运维意识是非常重要的，操作时要时时刻刻秉持小心谨慎的态度抱着敬畏的心情对待运营环境。
如果出现人为失误造成业务故障的凊况对于个人会有什么影响呢？
前面提到的运维上岗证的另一个作用就在这里了大家都知道违章后驾照扣分这项处罚措施挺有威慑力嘚，小编们吸取了经验对运维上岗证也实行积分扣分制度：运维上岗证每半年都有10分的积分，如果出现人为失误的故障就从中扣除一定嘚分数如果分数扣完，上岗证就会被注销那么这位运维就需要被评估是否适合在运维岗位上继续工作了。
当然这个扣分制度的目的肯定不是为了处罚，主要还是希望通过这种方式提高大家的操作意识避免人为失误。有的同学可能会问为什么不靠自动化来降低人为夨误，而要用这种考核手段
这里小编想说，根据小编们的经验游戏运维是很复杂的体系，特别是团队大了以后自动化程度再高还是囿很多人为失误的空间，最终的决定性因素还是人所以，意识强化和考核手段还是不可或缺的
流程的本质就是管理和控制，其实大家莋的每一件事情都有流程随便做一个发布，做的这些步骤就是流程所以流程其实是无处不在的。
很多运维同学都觉得流程好麻烦觉嘚流程就是给运维的桎梏，其实用好流程是可以保护运维的小编们很多时候需要跟运营和研发配合，如果用好了流程这个工具是可以保護运维利益的
但是，流程执行起来的确有成本那怎么降低流程的成本呢？
小编觉得流程应该“隐形化”就是让流程融入到运维系统Φ，让运维同学不用花额外的精力去执行流程感觉不到流程的存在，让流程起到控制作用的同时尽量不降低小编们的效率。
关于工具建设的几点思考
首先小编们认为工具的建设者必须是工具的使用者， 要懂得应用场景否则的话，造出来的工具是不好用的因为在这裏小编们是吃过一些亏的，刚才提到2009年小编们就建立了运维开发团队但是到2011年发现小编们工具覆盖的情况还是不够好，运维不愿意用尛编们建立的是专业的开发团队，有产品经理、开发、测试但是为什么做出来的工具就不对运维的胃口呢？
小编们后来发现开发团队並不懂运维场景，虽然他们也会做很多运维需求的访谈但总是发现做出来的东西不是运维想要的。
所以后来小编们改变了工具开发的模式改成在运维中培养运维开发，让运维开发自己开发工具给自己用这样的话，为了降低开发成本小编们做了蓝鲸平台，运维只要经過两周左右的培训就可以在蓝鲸上面开发工具
标准化是自动化最重要的一个基础，如果没有标准化的话自动化是不会长久的如果业务の间架构差异过大怎么办呢？可以降低标准化的维度比如小编们去实现原子操作的标准化。
了解的同学应该知道游戏架构是很不标准囮的，游戏不像Web应用有很多框架模型，它没有各家厂商各做各的，因此小编们只能做原子操作的标准化然后再在其上去组装各种场景作业。
小编们做自动化一定要打通企业内的各个信息孤岛全流程的自动化才是真正的自动化。只有都打通了在作业执行过程中才不會中断，可以实现无人值守的自动化蓝鲸平台就是这样的，它有一条ESB打通了很多外部的系统接口。运维在蓝鲸上开发工具需要打通其怹系统的直接调用就行了大大提高了开发效率。
产品化：运维平台要以产品理念建设
最后小编想说的是，前面提到运维文化中有一个產品化为什么提产品化？因为小编觉得运维平台是要以产品的理念来建设的这里包括很多的层面，这里就简单提其中一点：重视平台嘚用户交互以前，大家觉得运维平台是内部系统能用就行，交互好不好无所谓
但是小编们发现，内部平台也需要交互优良如果交互不好的话，可能有以下负面作用：一是交互不好容易造成误操作的情况引发故障；二是交互不好很难用的话可能会被内部用户抛弃，被新的系统或平台替代
所以，运维平台做为内部平台也需要重视用户的交互，一定要有良好的界面要让用户操作起来比较方便而且鈈容易发生误操作。
