kok官方体育app下载|大数据SQL查询引擎 Presto 简介

作者:kok官方体育app下载发布时间:2022-07-29 18:33

本文摘要:一、Presto简介Presto是Facebook开发的数据查询引擎,可对250PB以上的数据举行快速地交互式分析。该项目始于 2012 年秋季开始开发,该项目已经在凌驾 1000 名 Facebook 雇员中使用,运行凌驾 30000 个查询,逐日数据在 1PB 级别。Facebook 称 Presto 的性能比Hive要好上 10 倍有多。 2013年Facebook正式宣布开源 Presto。

kok官方体育app下载

一、Presto简介Presto是Facebook开发的数据查询引擎,可对250PB以上的数据举行快速地交互式分析。该项目始于 2012 年秋季开始开发,该项目已经在凌驾 1000 名 Facebook 雇员中使用,运行凌驾 30000 个查询,逐日数据在 1PB 级别。Facebook 称 Presto 的性能比Hive要好上 10 倍有多。

2013年Facebook正式宣布开源 Presto。二、Presto 执行查询历程Presto查询引擎是一个Master-Slave的架构,由一个Coordinator节点,一个Discovery Server节点,多个Worker节点组成,Discovery Server通常内嵌于Coordinator节点中。Coordinator卖力剖析SQL语句,生成执行计划,分发执行任务给Worker节点执行。Worker节点卖力实际执行查询任务。

Worker节点启动后向Discovery Server服务注册,Coordinator从Discovery Server获得可以正常事情的Worker节点。如果设置了Hive Connector,需要设置一个Hive MetaStore服务为Presto提供Hive元信息,Worker节点与HDFS交互读取数据。1. Client 发送请求给 Coordinator。

2. SQL 语句通过 ANTLR 举行剖析生成 AST。3. AST 通过元数据举行语义剖析。4. 语义剖析后的数据生成逻辑执行计划,而且通过规则举行优化。

5. 切分逻辑执行计划为差别 Stage,并调理 Worker 节点去生成 Task。6. Task 生成相应物理执行计划。7. 调理完后凭据调理效果 Coordinator 将 Stage 串联起来。8. Worker 执行相应的物理执行计划。

KOK体育app官方入口

9. Client 不停地向 Coordinator 拉取查询效果,Coordinator 从最终汇聚输出的 Worker 节点拉取查询效果。三、Presto 为何高性能?* Pipeline, 全内存盘算。* SQL 查询计划规则优化。

* 动态代码生成技术。* 数据调理当地化,注重内存开销效率,优化数据结构,Cache,非准确查询等其它技术。

KOK体育app官方入口

获取更多Hadoop、HDFS、HBase、MapReduce、YARN、Hive等等技术内容,可会见Hadoop大数据技术专栏。(此处已添加圈子卡片,请到今日头条客户端检察)。


本文关键词:kok,官方,体育,KOK体育app官方入口,app,下载,大,数据,SQL,查询,引擎

本文来源:KOK体育app官方入口-www.bjxdzh.com