Doris:概念与基础操作

您所在的位置:网站首页 物化视图删除不了 Doris:概念与基础操作

Doris:概念与基础操作

2024-07-10 21:19:34| 来源: 网络整理| 查看: 265

Doris

一款现代化的MPP分析性数据库产品

支持亚秒级响应

支持10PB以上数据集

兼容MySQL协议

基础概念

doris有3种基础表:

明细表(Duplicate):一张普普通通的表,doris默认表模式,支持数据预排序 主键表(Unique):一种特殊的聚合表,如果主键重复,会自动更新其他值 聚合表(Aggregate):聚合模型的表只有key、value列,指定好key列后,后续的数据都会自动聚合求value

doris支持分区(Partition)分桶(Tablet),一个桶就是一个分片,也是数据划分的最小逻辑单元。

Tablet 之间的数据是没有交集的,独立存储的。Tablet 也是数据移动、复制等操作的最小物理存储单元。 Partition 可以视为是逻辑上最小的管理单元。数据的导入与删除,都可以或仅能针对一个 Partition 进行。 Apache Doris 的使用场景

如下图所示,数据源经过各种数据集成和加工处理后,通常会入库到实时数据仓库 Apache Doris 和离线湖仓(Hive, Iceberg, Hudi 中),Apache Doris 被广泛应用在以下场景中。

Apache Doris 的使用场景

报表分析 实时看板(Dashboards) 面向企业内部分析师和管理者的报表 面向用户或者客户的高并发报表分析(Customer Facing Analytics)。比如面向网站主的站点分析、面向广告主的广告报表,并发通常要求成千上万的 QPS,查询延时要求毫秒级响应。著名的电商公司京东在广告报表中使用 Apache Doris,每天写入 100 亿行数据,查询并发 QPS 上万,99 分位的查询延时 150ms。 即席查询(Ad-hoc Query):面向分析师的自助分析,查询模式不固定,要求较高的吞吐。小米公司基于 Doris 构建了增长分析平台(Growing Analytics,GA),利用用户行为数据对业务进行增长分析,平均查询延时 10s,95 分位的查询延时 30s 以内,每天的 SQL 查询量为数万条。 数据湖联邦分析(LakeHouse):通过外表的方式联邦分析位于 Hive、Iceberg、Hudi 等离线湖仓中的数据,在避免数据拷贝的前提下,查询性能大幅提升。 日志检索分析:在 Apache Doris 2.0 版本中,支持了倒排索引和全文检索,能够很好的满足日志检索分析的场景,并且依赖其高效的查询引擎和存储引擎,相比传统的日志检索分析的方案可以有 10 倍性价比的优势。 统一数仓构建:一个平台满足统一的数据仓库建设需求,简化繁琐的大数据软件栈。海底捞基于 Apache Doris 构建的统一数仓,替换了原来由 Spark、Hive、Kudu、Hbase、Phoenix 组成的旧架构,架构大大简化。

Doris主要用于实时数仓,或是数据湖。如今很火的StarRock可被用于湖仓一体项目,打破数据孤岛局面。

Doris架构

Doris 整体架构如下图所示,Doris 架构非常简单,只有两类进程

Frontend(FE),主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。 Backend(BE),主要负责数据存储、查询计划的执行。

这两类进程都是可以横向扩展的,单集群可以支持到数百台机器,数十 PB 的存储容量。并且这两类进程通过一致性协议来保证服务的高可用和数据的高可靠。这种高度集成的架构设计极大的降低了一款分布式系统的运维成本。

整体架构和技术特点

数据类型

Apache Doris 支持标准 SQL 语法,采用 MySQL 网络连接协议,高度兼容 MySQL 相关生态。因此,在数据类型支持方面,尽可能对齐 MySQL 相关数据类型。

Doris 已支持的数据类型列表如下:

类型名 字节数 描述 BOOLEAN 1 布尔值,0 代表 false,1 代表 true。 TINYINT 1 有符号整数,范围 [-128, 127]。 SMALLINT 2 有符号整数,范围 [-32768, 32767]。 INT 4 有符号整数,范围 [-2147483648, 2147483647] BIGINT 8 有符号整数,范围 [-9223372036854775808, 9223372036854775807]。 LARGEINT 16 有符号整数,范围 [-2^127 + 1 ~ 2^127 - 1]。 FLOAT 4 浮点数,范围 [-3.410^38 ~ 3.410^38]。 DOUBLE 8 浮点数,范围 [-1.7910^308 ~ 1.7910^308]。 DECIMAL 2004/8/16 高精度定点数,格式:DECIMAL(M[,D])。其中,M 代表一共有多少个有效数字(precision),D 代表小数位有多少数字(scale)。有效数字 M 的范围是 [1, 38],小数位数字数量 D 的范围是 [0, precision]。0 < precision


【本文地址】

公司简介

联系我们

今日新闻


点击排行

实验室常用的仪器、试剂和
说到实验室常用到的东西,主要就分为仪器、试剂和耗
不用再找了,全球10大实验
01、赛默飞世尔科技(热电)Thermo Fisher Scientif
三代水柜的量产巅峰T-72坦
作者:寞寒最近,西边闹腾挺大,本来小寞以为忙完这
通风柜跟实验室通风系统有
说到通风柜跟实验室通风,不少人都纠结二者到底是不
集消毒杀菌、烘干收纳为一
厨房是家里细菌较多的地方,潮湿的环境、没有完全密
实验室设备之全钢实验台如
全钢实验台是实验室家具中较为重要的家具之一,很多

推荐新闻


图片新闻

实验室药品柜的特性有哪些
实验室药品柜是实验室家具的重要组成部分之一,主要
小学科学实验中有哪些教学
计算机 计算器 一般 打孔器 打气筒 仪器车 显微镜
实验室各种仪器原理动图讲
1.紫外分光光谱UV分析原理:吸收紫外光能量,引起分
高中化学常见仪器及实验装
1、可加热仪器:2、计量仪器:(1)仪器A的名称:量
微生物操作主要设备和器具
今天盘点一下微生物操作主要设备和器具,别嫌我啰嗦
浅谈通风柜使用基本常识
 众所周知,通风柜功能中最主要的就是排气功能。在

专题文章

    CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭