华为数据仓库服务 GaussDB(DWS)
Tags: GaussDB(DWS)IoT数仓OLAP华为云数据仓库
简介
数据仓库服务(Data Warehouse Service,简称DWS)是完全托管的企业级云上数据仓库服务,具备免运维、在线扩展、高效的多源数据加载能力,兼容PostgreSQL生态。助力企业经济高效地对海量数据进行在线分析,实现数据快速变现。
DWS是基于华为融合数据仓库GaussDB产品的云原生服务,兼容标准ANSI SQL 99和SQL 2003,同时兼容PostgreSQL/Oracle数据库生态,为各行业PB级海量大数据分析提供有竞争力的解决方案。
文档:
https://support.huaweicloud.com/dws/index.html
https://www.huaweicloud.com/product/dws.html
1、支持云上直接购买、线下物理机部署
2、由gaussdb 200发展而来
3、同时兼容PostgreSQL/Oracle数据库生态
4、标准数仓
5、基于PGXC开发而来,不过现在代码基本都是自己开发的
数据仓库产品类型
- 标准数仓:高性价比,支持冷热数据分析,存储、计算弹性伸缩,无限算力、无限容量,并按需、按量计价。适用于“库、仓、市、湖”一体化的融合分析业务,是OLAP分析场景的首选。
- 实时数仓:在大规模数据查询和分析能力基础上,提供高并发、高性能、低时延、低成本的事务处理能力。适用于HTAP混合负载场景,“一库两用,生产即分析”,支持单机部署和集群部署两种部署方式。
- IoT数仓:在标准数仓基础上,提供高效的时序计算和IoT分析能力,支持实时和历史数据关联,内置时序算子,最高40x压缩。适用于物联网IoT等实时分析场景。
IoT数仓简介
物联网时代,各种维度的数据信息爆炸式增长,并与我们的生活息息相关,通过采集这些数据信息,能够帮助我们更好的生活。
例如当下非常火热的自动驾驶,需要在汽车上配备各种传感器,用以实时采集运行时汽车的各项监控数据,采集的维度包括:坐标、速度、方向、温度、功率等等。每辆汽车上每天采集的数据量可达到TB级。而这些数据和时间强相关,采样时间间隔固定,包含了物体在历史时刻中测量数据的变化,我们将这种类型的数据统称为时间序列(Time Series)数据。通过这些时序数据不仅帮助我们了解物体的实时状态,而且还能从多个维度分析目标对象的趋势和规律等,甚至能够帮助我们预测不确定的未来。
GaussDB(DWS)的IoT数仓提供自研的时序引擎,提供扩展的时序场景语法,以及分区管理、时序计算、时序生态函数等服务功能,基于时序表提供时序计算能力。
与标准数仓的区别
IoT数仓与标准数仓是GaussDB(DWS)的两种不同类型产品,在使用上也存在一定差异,具体可参考表1进行对比分析。
数仓类型 | 标准数仓 | IoT数仓 |
---|---|---|
适用场景 | 融合分析业务,一体化OLAP分析场景。主要应用于金融、政企、电商、能源等领域。 | 应用性能监控及物联网IoT等实时分析场景。主要应用于环境监测、自动驾驶、系统监控等行业。 |
产品优势 | 性价比高,使用场景广泛。支持冷热数据分析,存储、计算弹性伸缩,无限算力、无限容量等。 | 高效的时序计算和IoT分析能力。丰富的时序处理函数,支持实时和历史数据关联,内置时序算子,海量数据写入,高压缩以及多维度分析等能力。并且继承标准数仓的各种优势场景。 |
功能特点 | 支持海量数据离线处理和交互查询,数据规模大、复杂数据挖掘具有很好的性能优势。 | 千万时间线,秒级聚合,典型IoT场景下导入和查询较传统引擎提升数倍。 |
SQL语法 | SQL语法兼容性高,语法通用,易于使用。 | 兼容标准数仓语法,新增IoT数仓特有DDL语法。 |
GUC参数 | 丰富的GUC参数,根据客户业务场景适配最适合客户的数仓环境。 | 兼容标准数仓GUC参数,新增支持IoT数仓调优等GUC参数。 |
参考
https://support.huaweicloud.com/IoTdevg-dws/dws_14_00001.html