报表需求铺天盖地,每次业务都很紧急。仔细想想,到底有多少报表是真正需要的。 一、数据利用之现状——报表迷宫 企业对于数据的重视程度越来越高,很多业务部门也深刻意识到了数据的重要性,希望通过数据挖掘出动态变化着的、复杂的、跨越多渠道的、内外部集成的业务现象背后的逻辑,从而来指导决策和运营。 如何让业务人员更体系化,更高效快速地利用数据,对业务产生可度量的价值,则成为了困扰很多业务和数据分析人员的问题。 在很多企业,我们看到了一些存在于数据利用方面的普遍问题: 企业不知该如何合理利用数据,大部分利用数据的方法就是出报表,做可视化。 业务部门对数据报表的需求非常多,不同部门、不同阶段、不同产品都需要不同的报表,由于这些数据集和报表都是为特定的部门和业务条线开发出来的,口径往往不一致;所以又会出现数据不一致、数据不统一的问题。 对数据的需求都很急迫,总是希望一两天就能够做出来。而且很多时候是为了当下特定的主题或者活动所做的数据分析,比如月度需要各种汇总统计报表,季度需要各种预测预算报表。 很多报表是面向用户角色的,通常情况下不同部门、不同角色用户所使用的数据报表并没有拉通,有的不同需求的报表其间的差异很小,但经常重复开发。 有些业务部门,提需求的时候很着急,但是等IT部门进行开发的时候,配合度却有限,需求澄清不清晰,数据对不齐,准确性测试不充分,导致最后产出的报表达不到预期的效果。 有的企业的数据仓库报表数量众多,管理混乱,版本复杂,同样的主题报表冗余重复,非常多临时性的报表,甚至是一次性使用的报表,占据了大量的存储空间和桌面,形成"报表迷宫";业务人员自己都不知道用哪个报表是准确的,在什么情况下用什么报表。 不同的业务域,数据对象的定义不统一,不标准,导致业务间协作沟通的效率低下。 业务的需求紧急,数据和技术开发团队疲于应对,缺乏架构设计质量不高,很多投入并没有产生收益。 业务是否使用了数据报表,数据报表是否对业务产生了价值,缺乏清晰的度量和反馈。 总的来讲,用一首打油诗来形容这些现状: 报表需求铺天盖地,每次业务都很紧急。 报表之间缺少逻辑,数据加工缺少设计。 时间久了很少用起,重复开发成为垃圾。 用和不用放在那里,增加成本没有意义。 传统方法正需要改进,数据利用必须被抓起。 二、现象背后的分析和诊断 1. 面向产出(Output)而非面向成效(Outcome)的文化 多年以前我们在数据仓库(Data Warehouse)和商业智能(Business Intelligent)项目上线汇报的时候,总会把这个项目交付了多少分析主题,建立了多少用户角色,开发了多少张报表作为很重要的成果,让领导们意识到,我们的项目是卓有成效的、是收获满满的。 的确,快速按照业务人员的需要开发出报表是有产出的,但是这样的产出是不是最佳的、对于业务有成效的呢?不一定。 我们的业务人员往往没有企业级全局的数据视角,他提出来的需求只是在一个领域、一个时间段基于他的认知的需求,而不一定是最好的解决问题的方法。 所以,作为IT或数字化部门,不能仅仅被动响应业务人员的需求,他说干什么就干什么,而应该刨根问底去挖掘他这个需求背后的业务价值、业务问题。然后站在企业的视角,从数据战略的角度去看,哪些资源、哪些方法、哪些能力能够服务于这个业务问题,再给出最佳的数据解决方案。 从数据报表的角度来看,在达到同样业务效果的基础上,报表要越少越好,报表里的信息也要尽可能越少越好,最好是直接给出业务用户他要的问题的答案,而不是让他要在一堆报表中翻来覆去地查看,然后一边看着电脑屏幕,一边在纸上自己做着人工计算。 "大数据,小展示",数据工作者的成效,就是让业务人员花更少的时间,来产出更多有价值的数据洞察。 2. 业务人员的数据认知和利用能力不够 一个农民,如果他不知道有飞机这样的技术,就不可能设想出具体的用无人机喷洒农药这样的新方法。所以,业务人员对于数据的认知和利用能力决定了他提出的数据需求是否是更创新的、更有价值的。 必须提升业务人员对数据和相关技术的认知,让他们全面了解数据和人工智能这样的技术能够做什么?行业里都在做什么?未来的趋势是什么?才能够让他们在提需求的时候更加前瞻,对业务的价值更大,能够充分利用数据和技术的红利。 数据是构成数字化世界的原子,建立一定的数据思维是每一个业务人员所必须的能力,因为数据思维是数字化时代的底层思维能力。 3. 数据在企业内部不开放,不共享 我们经常会发现,在数据项目的会议上,有时候会出现甲部门正在寻找的开发的数据集同时也是乙部门的需求。而且随着近几年大家都意识到数据的重要性,这种情况也愈发常见,数据成为了某些数据产生环节所属的部门资产,不愿意公开共享给其他部门。 流程在企业间是有清晰的界限的,哪些流程的节点在哪个部门,哪些流程归属哪些部门审批。但是数据不同于流程,数据是企业的核心资产,任何一个企业的核心数据,都是各部门、各流程协作去产生、加工、利用的。 每一个企业,都需要一个开放的,共享的数据目录和结构,并且实时更新。从而让每个业务单元和个体,都清晰的知道当他需要一个数据的时候,可以从哪里,通过什么样的渠道和方法去获取这些数据。 4. 缺乏面向未来的思考 过去的数据项目,都是从已有数据资源开始,而不去涉及那些数据库里还没有的数据。比如,经常听到企业的CIO说,"我们连数据都没有呢,谈什么数据分析和利用啊"。 这样的思考是局限的,没有实体的数据存储在数据库里,就不能去思考数据规划,不能思考如何利用数据么? 答案是否定的。 数据就像空气,企业的业务只要在运行,数据就在产生,只是没有将它们存储下来而已。而企业的业务模式就决定了这个企业可能会产生哪些数据,即使它的业务还没有正式开展。 所以,我们完全可以基于这些业务假设提前做数据利用的思考和规划,而不是等到业务系统已经构建好,再去思考数据的事情——那个时候,往往数据孤岛已经形成。 建立面向业务的数据思考模型,建立面向未来的数据规划思维,是打通数据孤岛、实现数据全集成的基础。 5. 数据开发方法响应慢 传统的数据开发,大部分是面向报表和数据可视化的,所以经过层层的抽取、处理、转换;并且是面向一个个业务主题的。 所以当业务发生变化,业务有新的需求的时候,这样的过程往往需要重新来一次,更需要从底层数据结构上做修改,导致响应比较慢,数据的开发速度也比应用开发速度慢。 如何建立更快速、高响应、柔性的数据利用和开发的方法,是业务对于数据最紧迫的需求。 6. 数据报表的形式缺乏有效的用户反馈和价值度量体系 目前,企业利用数据的方法还是以报表为主。而报表的形式是单向的,是一下子推给用户(PUSH),用户被动接受这样的服务。 但是最后看没看、看了哪些报表、在哪些报表中获得了业务洞察、哪些报表产生了业务价值?报表系统是缺乏反馈和分析机制的,更无从谈起如何度量每一个报表的业务价值。 数据不仅要被业务获取,还要建立持续的数据分析和运营体系,从而能够获取反馈,度量价值,持续优化。 三、解决问题的方法 1. 建立面向业务价值的数据产品思维 数据项目从业务价值开始,是否对业务有价值、有帮助,是最高优先级的指标。哪怕没有数据,数据质量不好,这些都是可以通过技术,通过管理去解决的问题,但是最重要的是,一定要找到对业务的价值。 首先,要建立面向业务价值的数据产品的思维,不能局限于数据现状而放弃了对业务价值的探索。 这一点就是精益思想的第一个原则——"特定的业务价值",每一个数据产品数据报表都要服务于特定领域的业务价值,解决特定的业务问题。 传统做数据报表的设计核心是基于"用户要看什么数据"出发的,所以都是从数据出发,看看系统里有什么数据,数据在哪里,然后怎么将指标,维度组合出业务人员要看的内容。 但是,看数据并不是业务人员最终的目的,解决业务问题才是最根本的目的。要找到这个业务问题是什么,然后站在企业级数据的视角去思考,解决这些问题需要什么数据,而不仅局限于现有数据。 建立面向业务价值的数据产品思维的第一步,是从"用户要看什么数据"转变到"用户要解决什么问题"。 2. 赋能业务人员以数据和相关的技术能力,让数据需求更合理 数据是一个很专业的领域,所以很多时候业务用户会说,"我不懂数据"。但是,IT和数字化部门,必须要通过培训、工作坊等形式,让业务人员理解数据和相关技术能够给业务带来的帮助。 只有赋予业务人员数据和智能的能力,他们才能够更好地利用数据,更准确地利用数据;并且能够和数据以及技术人员更好地沟通协作,避免出现鸡同鸭讲,最后项目达不到效果的无用功。 这个培训和赋能的工作的核心就是要将数据和技术语言业务化,场景化。 通过一个个的业务场景、数据故事让业务人员知道预测、优化、聚类、OCR这样的数据和智能的工具和算法能够在哪些领域起到作用、能做什么、不能做什么、依赖的条件是什么。这样,以后业务人员提出需求的时候,才会更早考虑到这些因素,降低双方沟通协作的成本,提高效率。 让业务人员理解数据和相关的技术,从而建立起业务和数据的桥梁,是产生更合理、更优化的数据需求的基础。 3. 建立数据资产目录,开放共享数据资产结构 每个企业都需要一个数据资产目录,这个目录能够方便、快捷地让所有业务人员知道企业都有哪些数据、数据的业务含义、已经开发了哪些数据产品、这些数据的结构。 因为数据安全的原因,一条条的数据本身可以不开放,但是这样的一个数据地图,描述数据资产和资源的元数据的开放程度,直接决定了这个企业数据集成、利用和创新的复杂度。 数据资产目录,是每一个企业进行高效的数据利用的一个基础。不管它是以什么形式存在,要能做到满足业务需要的更新频率、访问便捷、随用随取、可跟踪可审计。 4. 建立精益数据战略和规划,打造数据产品为业务提供数据洞察和创新的价值 数据战略对于每一个企业来说都是非常重要的,尤其是在现在每个部门都特别重视数据的利用的情况下。 企业有限的IT预算一定是无法支撑所有的业务部门对于数据的需求的,那么聚焦哪些关键业务问题,数据产品和创新的实施优先级是怎样的,他们的建设顺序是怎样的?如果数据战略制定错误,损失的不仅是资源和成本,更是最宝贵的时间和机遇。 每一个企业都需要一个精益的数据战略,来确定数据产品蓝图。从而根据业务战略,制定对应的建设路线,持续开发打造数据产品,为业务提供数据洞察和创新的价值。 5. 建立数据中台,提供高响应、柔性的数据开发服务体系,从而加快数据产品的迭代速度 有了数据产品蓝图,但是不能一个个地去建设和开发产品单体,必须要将那些数据和技术的部分抽象沉淀成能力平台,也就是现在很火的数据中台。利用数据中台去提供高响应、柔性的数据开发和服务体系,从而支持和加快数据产品的迭代速度,响应市场的变化。 企业的数据管理者,要从数据报表的单一形态里解脱出来,站在数据中台上为业务提供更多的数据产品,满足业务多样化的需求。 6. 建立数据治理运营体系,不断发现新的价值,持续改进和优化 数据战略指导着数据中台支撑多样化的数据产品,企业的数据产品就像一个个的触手,从四面八方持续不断地获取内外部的数据。这些数据是企业新的生产资料,如何持续开采、加工这些数字化世界的石油,就成了企业的核心竞争力。 企业要在制定数据战略的同时,建立自己的数据治理和运营的体系,包括组织结构、工具平台、运营的流程制度、绩效度量,才能不断发现新的业务价值,利用数据去持续改进和优化我们的产品和服务。 四、总结 所有陷入"报表迷宫"的企业,其核心原因就是没有建立起面向业务价值的数据战略——IT和数字化部门被动围绕业务提出的表面的、紧迫的、眼前的现象去服务,并没有刨根问底,找到业务最根本的问题,从而系统性、有规划、有体系地做顶层设计,通过多样化的数据产品、数据中台、数据运营三个层次来解决问题。 数据报表的问题,从数据战略做起。