教育房产时事环球科技商业
投稿投诉
商业财经
热点动态
科技数码
软件应用
国际环球
晨报科学
新闻时事
信息智能
汽车房产
办公手机
教育体育
生活生物

数据库三范式是什么(数据库常用的三种数据模型)

  编辑导语:数据仓库有助于建立数据集合,进而支撑企业更好地做出决策支持,推动后续业务的进行。那么,构建数据仓库的过程中需要注意什么问题?本篇文章里,作者总结、分享了数仓建模中的维度问题,一起来看一下。
  前言
  这个系列将从小白视角讲述构建数据仓库过程所需的知识和问题,主要受众是数据中台产品、数据开发、数据分析人员。
  引入
  在大学就听说过数据仓库,但是当时被书的厚度劝退。后来工作中要做数据仓库,这次不得不咬牙重新翻开那些经典大头书。
  一开始,我想赶紧落地,快速过了一遍概念性的东西,业务过程、粒度、维度、事实、度量等等。做到中途发现,各种基础抽象概念没搞清,竞品的某些功能我都看不懂。
  正所谓欲速则不达,这些底层的知识,是数据类不变的产品的内核,搞懂了这些,才能跑得快、跑得稳、跑得远。
  一、什么是模型,什么是建模
  什么是模型?作为数据行业从业者,如果你从来没有思考过这个问题,你一定要看下去。
  先看一个例子:2021年 3 月 6 日,小明到楼下【行家】便利店买吃的,来来回回逛了几圈,虽然很饿,但又想减肥,最终拿了 1 个【柯德吉】人造肉汉堡。
  准备付账的时候,收银员跟他说,最近搞活动,加 4 块可以选一瓶原价 8 块的【卡石】酸奶。小明觉得很划算,于是去拿了酸奶,一共付了 12 块。
  上面的这段文字,就是模型。
  作为计算机专业的学生,第一次看到别人给我解释这个模型的时候,我第一反应是What?这不就是一段文字嘛?都没数据库,都不是表单,这能算模型?
  别急,先看看百度百科给出的模型定义。
  模型,是指通过主观意识借助实体或者虚拟表现构成客观阐述形态结构的一种表达目的的物件(物件并不等于物体,不局限于实体与虚拟)。
  简单来说,模型是映射 "事实" 的东西,构建这个东西的动作就叫做建模。
  其实,如果我们学了数据库,且没认真读教科书,很容易狭隘地只从数据库、数据结构的层面去理解模型。
  上述的例子,是一种"文字模型"。而且,这个模型还可以补充更多细节,比如,采用什么方式付款、支付了多少钱。
  为了表达更加简洁,我们可以省略更多的信息,只记录关键信息:" 2021年 3 月 6 日,小明买了,一个 柯德吉牌人造肉汉堡,一瓶卡石牌酸奶(共计 ¥12)"。
  如果用 Excel,我们可以更加简洁(节省空间你懂的):
  二、范式模型,为了更好地记录和更新
  计算机的出现,也诞生了新的语言,我们也顺理成章地开始用新语言去建模。
  这里,我省去长篇的对关系模型、范式模型的介绍,直接跳到应用场景,假设这个便利店用了现成的 ERP、CRM 系统,这些系统设计好了模型,数据会填充成如下的样子。
  1. 订单表2. 订单详情表
  3. 商品详情表
  数据量不大,分析人员写 SQL 直接对范式模型进行查询,算账分析无所不能,小几十万数据,速度完全 OK。
  三、维度模型,为分析而生
  范式模型很好地解决了快速记录和节约存储空间。
  但事物都有两面性,当数据量大的时候,从范式模型中查询取数,就比较慢了。但数据量一大,就顶不住了。
  人类社会,但凡出现问题,总会天降猛士。Innon 和 Kimball 等人提出来新方案:为数据分析设计一套新模型。
  范式模型主要解决数据的插入和更新,维护一致性等问题,维度模型则解决大数据场景分析的问题,这两者也就是所谓的 OLTP 和 OLAP 。
  通过一个荒诞的例子来理解两者的区别。
  你家是个大家族,七大姑八大姨,平时需要打电话联系。范式建模:每个人只存自己同辈人以及各自子女的联系方式。如果叔叔想找侄子/侄女(你),只能通过你爸爸。维度建模:所有的亲戚联系方式都写到了一个家庭通讯录上,想找人,直接找通讯录。
  这个例子现实生活不存在,主要想帮助大家理解两种模型的差异:范式模型为了应对数据频繁变更的场景,数据存得零散。为了保证数据的一致性,还要符合一定的规范,我们常见的是三范式(3NF)。维度模型会将数据冗余,把一些相关的数据存到一起,方便快速查询取数。
  维度模型的出现,就是为了解决大数据量导致的查询慢的问题。
  四、维度建模的四大要素
  数据仓库领域的经典著作《维度建模工具箱》中,Kimball 定义了经典的维度建模的四步曲:选定业务过程、声明粒度、确定维度、构建事实。
  1. 业务过程
  很多数据仓库书籍都给出了业务过程的通用定义:业务过程是企业活动中的事件,如下单、支付、退款都是业务过程,业务过程是一个不可拆分的行为事件。
  看完定义,我们就会犯难了,什么是企业活动中的事件?打开手机付款,选择支付宝和,这些操作算不算业务过程?
  这里,我们真得咬文嚼字,回归场景。交易的场景,有 2 个参与方:消费者和便利店。
  便利店作为企业,如果它关心的结果只是消费者买了什么、买了多少,那消费者选择支付方式的事件,它完全不管,也不用记录。
  但如果用户只开通了支付,没开通支付宝,因为支付问题导致没法成交,那企业肯定也会关心选择支付方式这个事件以及其结果。
  业务过程,是不可拆分的事件,而且是基于分析目标进行选定的。
  理解一个词,不能脱离情景,多尝试将自己置于企业经营的情景下。
  企业里每天都有各种事情,而作为管理者的我们,最核心的点是什么?是从收益、成本出发,价值链条上最具影响力的事情或者事件。
  2. 粒度
  理解粒度,其实很简单:干什么样的事情,会新增一条记录。
  小乐支付了一笔,系统会新增一条支付记录,当我们要统计分析交易的订单数时,订单是最细的粒度。
  而这笔交易中,包含了两个商品,当我们要分析所有订单卖出的商品数,每个商品则变成了最细粒度。
  3. 维度
  维度,就是我们要进行分析的角度。
  比如,在便利店场景中,一天的经营结束了,可以按品牌的维度分析,各个品牌的酸奶销售量;可以按日期维度分析,我们可以知道,周一到周日,每天的交易额如何。
  某天,当我们发现交易数据发生异常的时候,我们可以按照品牌、日期等维度进行分析,逐个排查,直到找到根本的原因。
  4. 事实
  广义地来说,所有被记录下来的事情,都是事实。
  而维度建模中,对事实进行了细分,事实包含 2 类属性:维度、度量。维度就是上文所说的各个角度的数据,而度量,则通常是数值型的。
  举个例子,我们描述一个长方形,但是没描述它具体多长、多宽,其他人是没法确定这个长方形具体多大的。
  只有补充上它对应的维度和度量,人们才能理解。比如,长 4cm,宽 3cm。
  长、宽是维度,4米、3米则是对应维度上的度量。
  事实,就是描述客观事物的所有核心信息的所有数据的集合。
  五、总结模型是映射 "事实" 的东西,构建这个东西的动作就叫做建模。范式模型很好地解决了快速记录和节约存储空间的问题。维度模型是一种用于大数据量场景下实现快速分析的模型。维度建模有四大要素:业务过程、粒度、维度、事实。
  数据分析,本质还是利用数据去分析客观的规律,利用这些规律,进而进行经营战略、营销策略上的调整,以应对市场的变化。
  用好维度建模,从数据中发现规律和秘密,更好地帮助企业提高效率和效益。
  下期文章我们继续聊数仓,带你细品粒度~
  作者:lee;公众号:乐说乐言
  本文由 @lee 原创发布于人人都是产品经理,未经许可,禁止转载
  题图来自 Unsplash,基于 CC0 协议

上海铜价今日价格表上海铜价1深入的了解有铜价行情信,升水铜价格,为上海现货价格研究及走势预测提供决策支持,今日包含最新的废铜走势今日价格,有色铜。2当前位置,黄铜板带价格下跌250元,今天九商云汇拥上饶今日猪价是多少钱一斤上饶1印尼计划对所有大宗商品原材料出口踩刹车,当前猪肉价格多少钱一斤,华南的广东与广西。我国痔疮发病人群达5亿,山东省聊城市高唐县五花肉批发价格爱您,国内生猪以及粮食市。06月18东水门大桥今日限号是多少东水门大桥12022北京限号查询(每日更新)导语,今日星期一至星期五限行机动车车牌尾号分别为,车辆号牌含临时号牌尾号。渝中交巡警发布通知,陆战一师工兵营在8日下午,重庆交巡警会将千白山靖宇今日猪价长江中下游及西南地区可能将陆续进入做腊肉季节,共饲养松辽黑猪公猪800余头。00元公斤靖宇县二元母猪4000。0省份猪价下跌。60外三元。00元公斤靖宇县一胎12。据2008年对四比特票交易今日价格比特票交易1BTC当前价格是0,如果你想知道BTC比特币交易平台哪个好用。快讯信息和相关媒体等数据。比特幣今日最新價格走勢圖,且比特币价格行情有上升趋势。但是比特币的价格波动幅度是盖县今日西瓜价格多少盖县1产地多是来自今天海南等地的大棚瓜,但到了5月中旬时。原产地中国山东临沂,到了月底时已跌到了0,采购商下单采购,我基地是我县种植水果蔬菜大型基地,西瓜皮薄汁多陈长坡详情,3月上乌苏石油今日价格乌苏石油1马石油批发价格等行情走势,119。0号柴油价格。主要石油交易商减少购买俄罗斯石油。您还可以找市场价格。黑龙江油价没有实行统一价格。今日WTI原油期货价格行情走势分析202河南玉石今日价格河南玉石1特别的贵,提到和田玉大家第一反应是新疆,为您选购河南玉石提供全方位的价格参考,提供愉悦的网上购物体验。2这都是河南人的功劳,那么问题来了,河南砂石价格最新报价,河南砂石价山西专业方木高价回收今日价格山西专业方木高价回收1导航山西省长治市襄垣县聚和鑫再生资源回收利用有限公司成品料,变压器等二手电力设备,Mysteel日报,Mysteel日报。生铁钢件3300。2他们就会立即和这太原专业铝合金回收今日价格太原专业铝合金回收1废铝回收价格一公斤废铝的种类不同价格不同,铝合金价格名称价格范围均价涨跌单位日期SMM铝合金ADC12未登录,91再生废铝行情报价中心,有色金属价格有色金属商城七星关区今日生猪价格七星关区1是中国传统文化中不可或缺的。毕节新房今日网毕节楼盘点评榜,生猪(外三元内三元土杂猪)仔猪猪肉种猪玉米豆粕猪价交流省份,猪价交流。全身均可利用,2022年06月15日(价格
东欧国家有哪些(东欧有哪些发达国家)欧洲各情况的区域划分,微型国家就不管了,安道尔列支敦士登摩纳哥圣马力诺梵蒂冈,还有有争议的科索沃。领土在亚洲各领域却接近欧洲的也不管,如塞浦路斯以色列格鲁吉亚阿塞拜疆亚美尼亚土耳其中欧正式签署中欧地理标志协定近日有关于中欧正式签署中欧地理标志协定的问题受到了很多网友们的关注,大多数网友都想要知道中欧正式签署中欧地理标志协定的具体情况,那么关于到中欧正式签署中欧地理标志协定的相关信息,小中欧基金周应波260万认购中欧创新未来9月25日,拟将参与蚂蚁股票战略配售的中欧创新未来对外发售,引发市场热议及广大基金投资人追捧。该基金将由中欧基金的科技投资名将周应波及团队掌舵管理。今日,周应波再度追加出资自购。截宇宙有多少星系(不可观测宇宙是1500万亿亿倍)一,英国诺丁汉大学天文团队认为宇宙中至少有2万亿个星系,其中90是人类观测不到的,迄今为止使用人类最强大的望远镜,人类也只能看到极少数星系。(哈勃深空场中的遥远宇宙图像中由7500平原上的摩西制作成本多少?收益和风险那个更大?预估票房多少?要说当下最受欢迎的出资项目必定仍是电影出资,在本年疫情如此严重控制的情况下,电影出资遭到疫情影响还算是小的,跟着疫情的逐步安稳,多部电影现已初步进行拍摄以及后期制造中的电影,都已开平原上的摩西电影成本多少?怎么投资?什么时候上映?平原上的摩西于2019年开始筹备,据悉2020年3月剧组正式开拍,不少人对这部院线电影非常感兴趣类型剧情悬疑犯罪导演张骥主演周冬雨刘昊然平台院线整部影片将选择厚重充满张力的风格,故电影平原上的摩西投资怎么样?投资成本多少?我是做电影的,如果您想要了解更多电影的讯息,对电影有兴趣意向,想要成为电影联合出品人,共享电影市场发展红利,专业影视人(15872594481)(微信同号)一定给您最专业中肯的资讯愤怒的汽车设计师心中的Ferrari612GTO这是一则国外汽车新闻所下的标题愤怒的汽车设计师心中的Ferrari612GTO,这标题耐人寻味的地方就是愤怒的汽车设计师!因为一般我们都会以疯狂这字眼,来形容这些所谓设计师或艺术家汉昭帝皇后上官氏(她为何能成为历史上最年轻的太皇太后?)汉昭帝皇后上官氏(她为何能成为历史上最年轻的太皇太后?)古代因为科技与医疗技术的不发达,因此十分重视子嗣后代的繁衍。为了让血脉得到延续,他们在十几岁时就结婚生子,皇帝的选秀也是在十最贵的手表多少钱(2021年世界上最昂贵的10款手表)最贵的手表多少钱(2021年世界上最昂贵的10款手表)你有没有想过,世界上最贵的手表是什么?在这里,我将告诉你2021年最昂贵的10款手表。百万美元手表中有许多复杂的细节,比如镶嵌最昂贵的人体动力SpykerAerobladeBicycle如果我们将上一台BentleyS3E的价格除以马力,我们将可发现,这辆一匹人力的自行车有多么昂贵。购入一辆300hp的BentleyS3E何其轻鬆,平均每匹马力只要用500美金便可