
01
项目背景
02
业务痛点
数据的时序性
设备源源不断地产生数据,且这些数据会带着时间戳上报到平台
数据流量稳定
上报频率比较稳定,采集频率在30秒一次
数据是数值类型
是一些使用累计量、电压、电流、压力之类的数据
数据不存在变更
数据是记录某一时刻的采集表计数据,上报无需更新或删除
数据的聚合及分析基于时间维度、空间维度
时间维度分为年、月、周、日、时,最短15分钟统计一次;空间维度从厂家、车间、生产线类型、生产线到设备等
数据量大
按一个工厂有4万个表需要进行计算,按照每30秒钟一笔数据,一天采集的数据会超过1亿条
03
项目实施
-
设备所有采集的数据是时序性的、结构化的 -
设备采集点的数据源是唯一的 -
数据存在时效性 -
以写操作为主,读操作为辅 -
需要统计、聚合的实时计算操作 -
数据的查询一般指定时间区间 -
支持高频数据接入
OpenTSDB
依赖HBase、HDFS和ZooKeeper等组件,硬件资源要求高、成本高,在查询时间跨度较大时,性能骤降,另外对聚合分析查询支持不好。
ClickHouse
在数据存储、跨时间段查询及数据聚合分析查询等方面,都满足所有选型要求,但是运维成本太高,扩展过于复杂,使用的资源较为繁多。
TDengine
在数据存储、数据分析查询等方面都满足需求,且集群版也已开源,支持横向扩展,占用资源少,在有限的资源条件下,是存储引擎最优的选择。
04
项目落地
