什么是建模:是对事务的一种无歧义的书面描述
数仓建模:本质上是对数仓中表的设计和实现
为什么要对数据仓库进行建模:
数据仓库的作用:对所有企业业务数据进行集中的汇总分析和处理,为企业提供数据价值
但是数据量一般都比较大,分析的维度也比较复杂,因此我们要进行数据分层。
1.让数据存储更加规范,每一层都有自己的职责和规范
2.这样在使用数据的时候方便理解,使得处理数据的流程变得简化,比如我们可以把原来的需求和任务分割成若干成使得任务处理变得简单
3.使数据接口统一化,数据写入和读取口径统一。
ods:操作数据存储层,直接来源于业务系统,要和业务系统端的数据保持一致,尽可能保持所有历史数据。
命名方式ods_业务系统库名_业务系统表名
dwd:保持粒度和ods一致,但是会进行数据清洗,空值填充,字段补齐,脏数据剔除,
dws:业务中间层,用于提供后续的业务查询,保存时间段,
ads/dm:直接提供给数据产品和产品使用,mysql、redis、存储两周、遵循