什么是流式SQL，它有什么用？

点击“终码一生”，关注，置顶公众号

每日技术干货，第一时间送达！

摘要

流式SQL是指采用用于编写数据库查询的相同的声明式SQL，而在快速变化的数据流上运行。

这很有用，因为。

当你能迅速采取行动时，数据往往更有价值
现有的从数据流中获得实时洞察力的工具过于复杂。

SQL的 “声明 “性质在解决第二点方面发挥了重要作用，因为它允许用户专注于他们想要什么，而让底层引擎担心如何完成。

在现实世界中，流式SQL被用来。

启用新的内部和面向客户的洞察力、自动化和应用程序
通过为关键指标提供单一的最新真相来源来提高商业智能数据的价值
通过取代代码进行数据协调和转换来简化微服务

什么是流式SQL?

让我们先具体说明一下我们说的流处理和SQL是什么意思。

流(事件流)

流指的是像Kafka、Kinesis或Pulsar这样的消息中介，它们将数据作为事件或消息的连续流来处理。

事件流处理一切，从交易到用户在网站或移动应用程序上的行动、物联网传感器数据、服务器的指标，甚至是传统数据库上的活动，都通过 change data capture.

SQL

在流的背景下，SQL为用户提供了一种声明性语言，用于。

创建视图，将流中的原始数据连接、过滤和分组为更有用的输出(CREATE MATERIALIZED VIEW)
从源和视图中选择数据(SELECT)

注意：CREATE MATERIALIZED VIEW命令是流式SQL的核心概念。它来自于 databases来的，在那里它被用来提前计算视图，以防数据发生变化。在流媒体中，数据一直在变化，所以查询在维护成物化视图时往往更有用。

其他常见的SQL动词如INSERT、UPDATE和DELETE在流式SQL中也有作用，但在这篇文章中，我们将重点讨论从流中读取、连接/过滤/转换这些流的核心概念，并使其输出可查询或写到一个新的流。

流上的SQL和数据库之间的区别

一旦你尝试在流上使用SQL，一些关键的区别就会变得很明显。

时间点查询与连续查询

在传统数据库上运行SQL查询，会从一个时间点上返回一组静态的结果。

以这个疑问为例：

SELECT SUM(amount) as total_amount FROM invoices;

当你运行它时，数据库引擎会扫描在查询时存在的所有的Invoices，并返回其金额之和。

使用流式SQL，你可以运行上面的确切查询，并得到一个时间点的答案。但是你查询的是快速变化的数据流，一旦你得到了结果，它们可能就已经过时了。在许多情况下，一个持续更新的查询(物化视图)在以下几个方面更有用，我们将在下面描述。

要把上面的查询变成一个物化的视图，你要写。

CREATE MATERIALIZED VIEW invoice_summary AS
SELECT SUM(amount) as total_amount FROM invoices;

当你第一次创建时，SQL引擎将处理它所能访问的整个Invoice事件历史，直到现在，然后随着新的发票事件的到来继续更新。

响应时间与滞后

传统的数据库有查询响应时间的概念：你运行一个查询，在引擎计算结果的过程中会经过一些时间，然后你得到响应。

在流处理中，最初的响应时间只是在你第一次物化一个视图时的一个因素。但是，如果我们的输入事件突然激增，在流结果中一定会有某种时间上的惩罚。这种惩罚就是时间滞后：输出比输入落后多少时间?

就像传统数据库的响应时间一样，大多数终端用户不需要考虑流式系统的时滞问题，但知道它的存在有助于以避免问题的方式编写和使用流式SQL。

不同的行动为底层引擎创造工作

在读取方面，传统的数据库引擎一直在闲置，直到它收到一个查询，然后它计划和优化它，并开始工作提供结果。一旦它回复了结果，它就会再次闲置，直到它收到另一个查询。发送查询是为引擎创造工作。

如果你回到上面的物化视图，来自流的新数据为引擎创造了工作。在Materialize中，这种方法是通过增量计算实现的：更新视图所做的工作与进来的数据成比例，而不是与查询的复杂性成比例。我们不需要对数据进行全面的重新扫描来更新结果。

这种模式的转变使得流式SQL最适合于反复询问同一问题的查询(如仪表盘、报告、自动化、大多数应用程序代码)，而不是临时性的查询。

为什么流式SQL是有用的?

1.数据最初出现时往往是最有价值的

这有两个原因，一个很明显，一个不太明显。

更快的数据=更快的决策–股票市场是这个想法发挥到极致的一个明显例子。

但它也适用于SaaS企业，像市场、旅游、活动等需要对费率和库存做出快速决策的垂直行业，以及零售和物流业，因为快速决策可以减少低效率，等等。

数据离它的源头越近，被误解的机会就越少–数据从创建的地方到使用的地方，每一步都会增加出错的可能性，即终端用户(人或机器)认为数据代表的东西并不存在。时间在其中起到了作用，它迫使人们围绕操作顺序和工作的一致性进行协调。在这种情况下，切换到流数据并不是因为它更快，而是因为你不再需要考虑时间问题。

2.SQL是一种从流式数据中获得洞察力的伟大手段

这里是另一个关于流式事件的物化视图的例子。

CREATE MATERIALIZED VIEW experiments AS
  SELECT
    experiment_views.name,
    experiment_views.variant,
    COUNT(DISTINCT(experiment_views.user_id)) as unique_users,
    COUNT(DISTINCT(conversions.user_id)) as unique_conversions
  FROM experiment_views
  LEFT JOIN conversions ON
    conversions.user_id = experiment_views.user_id 
    AND conversions.created_at > experiment_views.created_at
  GROUP BY experiment_views.name, experiment_views.variant;