Timeplus Cloud v1 and Proton
本页总结了Timeplus中每个重要更新内容,包括新功能和重要的错误修复。
2024年6月24日
*Timeplus核心引擎(Proton v1.5.10):
- Avro-Encoded Messages: Previously, Schema Registry must be enabled to read Avro-encoded messages. Now, SQL can be used to define the Avro schema and read these messages. Learn more
- Improved Proton Client:
-h 127.0.0.1
is no longer used when launching the proton-client. Proton v1.5.10 listens on both IPv4 and IPv6 ports.
2024年5月28日
*Timeplus核心引擎(Proton v1.5.9):
- You can now run table function on Kafka External Streams. 您现在可以在Kafka外部流上运行
table
函数。 这将读取Kafka主题中的所有现有数据,例如select * from table(topic) where condition=true
。 - 要获取 Kafka 主题中的消息数量,您可以运行
select count() from table(topic)
。 这将在不到1秒的时间内有效地返回消息计数,而不会扫描每个消息正体。 这将在不到1秒的时间内有效地返回消息计数,而不会扫描每个消息正体。 - 新的高级设置可用于控制历史数据回填速度,具有特定列。 。
select * from test_stream where _tp_time > earliest_timestamp() settings replay_speed=1, replay_time_column='time_col'
. - New SQL functions: parse_datetime and parse_datetime_in_joda_syntax. 例如
parse_datetime('2021-01-04+23:00:00', '%Y-%m-%d+%H:%i:%s')
返回一个值为datetime
类型的值,对于 '2021-01-04 23:00:00'。
Timeplus 控制台:
- 现在在主页的“工作区一览”部分显示了外部表的数量。
- 优化了SQL编辑器的高度调整和锁定高度行为。
- 工作区所有者现在可以看到谁创建了API密钥。
2024年5月13日
Timeplus Core Engine (Proton v1.5.8):
config.yaml
中的新设置:max_consumers_per_stream
定义了每个Kafka外部流可以创建多少个消费者。 当执行对Kafka外部流的SELECT查询时,将为该查询创建一个消费者。 这意味着同一Kafka外部流上不能并行执行超过max_consumers_per_stream
个SELECT查询。 当执行对Kafka外部流的SELECT查询时,将为该查询创建一个消费者。 这意味着同一Kafka外部流上不能并行执行超过max_consumers_per_stream
个SELECT查询。- New example in the Timeplus Proton repo /examples folder: Analyzing Nginx Access Logs, contributed by Timeplus Community member Saïd Abiola
Timeplus Console:
- 通过顶部标题栏中的新“与我们交谈”按钮向我们发送问题或评论。
- "外部表格" 资源列表现在可在左侧导航菜单中找到。
- 要在SQL编辑器中查看资源模式,请将鼠标悬停在下划线资源上,按Ctrl +单击以打开详细侧边栏。
- 对于新图表,默认颜色将为粉色(颜色方案将为“黎明”)。
- 在图表中,当系列数量超过30时,图例将被隐藏。
Apr 29, 2024
Timeplus Core Engine (Proton v1.5.7):
- You can now join multiple versioned streams using
LEFT JOIN
and by assigning primary key(s). 每当 JOIN 的任一端有更新时,就会发出结果。 Learn more - Timeplus Proton 代码库 /examples 文件夹中的新示例:
- 十亿行挑战 (1BRC),由Timeplus社区成员Saïd Abiola
- 实时检索增强生成(RAG)
Timeplus Console:
- 外部表配置:有一个新的向导可用于与ClickHouse集成。
- 查询页面上新增了“另存为”按钮:将 SQL 保存为视图、实体视图或书签。
- 在SQL编辑器中,单击流、视图或物化视图的名称,以显示该 SQL资源的数据模式。
- 创建新数据源或外部流后,您现在将被重定向到 SQL 控制台页面。
- 查看和编辑资源详细信息:在资源列表的高级操作中删除了"编辑"选项-现在在单击"查看"图标后的侧面面板中可用。
Apr 15, 2024
Timeplus Core Engine (Proton v1.5.5 and v1.5.6):
- 增加了两个新的Apache Kafka外部流设置,用于Kafka服务器认证:
skip_ssl_cert_check
允许您跳过验证服务器的证书ssl_ca_pem
允许您指定证书颁发机构(CA)内容,而无需上传CA文件
- 为日期时间添加了函数:
to_unix_timestamp64_milli
返回datetime64的毫秒UNIX时间戳to_unix_timestamp64_micro
返回微秒to_unix_timestamp64_nano
返回带有纳秒
- 新创建的流将默认将流数据保留设置为1天存储。
- 在 MacOS 上,
sudo proton install
会将 proton 安装到 /usr/local/bin 而不是 /usr/bin。
Timeplus Cloud and Timeplus Enterprise:
- Added workspace templates: you can create a new workspace from scratch, or with a demo template (Market Data or Stream Processing).
- 数据采集页面的新布局,标签显示 “来源” 或 “外部流”。
- 在 Data Lineage 中,我们针对工作空间中有大量资源时对布局进行了优化。 此外,缩小将显示图标和颜色,并添加了一个用于缩小以显示全部的按钮。 此外,缩小将显示图标和颜色,并添加了一个用于缩小以显示全部的按钮。
- 为Apache Kafka外部流和接收端添加了TLS设置和证书颁发机构(CA)输入字段。
Apr 1, 2024
Timeplus Proton:
- 新增支持从Apache Kafka外部流中选择消息键,通过
SELECT _message_key, * FROM external_stream
。 - 流处理现在支持可空数据类型。
- External Table: ClickHouse external tables with names containing special characters (such as dashes) are now supported. 只需在
CREATE EXTERNAL TABLE
DDL中设置table='test-a-b'
。 - External Stream: Error handling and connection pooling/retry for Kafka external streams have been greatly improved.
- Materialized View: Added option to skip dirty/unexpected data. 物化视图:添加了跳过脏/意外数据的选项。 如果您设置
SETTINGS recovery_policy='best_effort'
,Timeplus 将尝试最多 3 次,然后跳过脏数据并继续处理其余数据。
Timeplus Cloud and Timeplus Enterprise:
- 为 Redpanda 无服务器添加了内置支持。 为 Redpanda 无服务器添加了内置支持。 查看我们的操作指南 物化视图:添加了跳过脏/意外数据的选项。 物化视图:添加了跳过脏/意外数据的选项。 如果您设置
SETTINGS recovery_policy='best_effort'
,Timeplus 将尝试最多 3 次,然后跳过脏数据并继续处理其余数据。 - 摄取 Apache Kafka 数据:我们将 Kafka 集成的实现从基于 Benthos 的实现改为基于外部流的实现。 我们的配置向导在Web控制台中保持不变。 我们的配置向导在Web控制台中保持不变。 我们的配置向导在Web控制台中保持不变。
- “来源”新左侧菜单项。 “来源”新左侧菜单项。 “来源”新左侧菜单项。 “数据接入”页面现在将仅显示用于接入数据的选项,而不列出已添加的数据源。
- 根据用户反馈,我们增强了内置的OHLC图表,即使OHLC当前窗口没有关闭,也可以显示实时更新。
- 更新了主页布局,添加了现有资源的新统计数据,并在右上角显示当前运行查询的数量。 更新了主页布局,添加了现有资源的新统计数据,并在右上角显示当前运行查询的数量。 如果您的工作空间中没有某种资源,我们现在将隐藏统计框,而不是显示 0。 更新了主页布局,添加了现有资源的新统计数据,并在右上角显示当前运行查询的数量。 如果您的工作空间中没有某种资源,我们现在将隐藏统计框,而不是显示 0。
- 在我们的Timeplus演示工作区中对3个演示进行了增强。 在我们的Timeplus演示工作区中对3个演示进行了增强。 在我们的Timeplus演示工作区中对3个演示进行了增强。 在流处理演示中,我们添加了一个仪表板,展示如何使用实时数据和流式SQL计算标准偏差,并使用查询变量。
Mar 18, 2024
Introducing three new demos with live data in our Timeplus Demo workspace: Stream Processing, Market Data, and ksqlDB Alternative. Choose a demo via the dropdown in the top header. You can explore the demos in read-only mode, or take a quick guided tour.
Timeplus 云服务:
- 数据定义语言(DDL)在SQL控制台(以前称为查询页面)中得到支持。 您可以使用诸如
CREATE
和DROP
等命令来修改资源。 您可以使用诸如CREATE
和DROP
等命令来修改资源。 - 在 Data Lineage 中,单击资源图块后,您可以直接从详细信息侧面板对其进行编辑。 请注意,只有特定字段可以编辑特定资源类型。 请注意,只有特定字段可以编辑特定资源类型。 请注意,只有特定字段可以编辑特定资源类型。
- 在数据血统中,现在包括了ClickHouse外部表。 单击该图块可查看更多详细信息,例如地址和用户名。
- 除了流之外,您现在可以将外部流和外部表设置为物化视图的目标。
Mar 4, 2024
Proton:
- Proton can now natively integrate with ClickHouse, available for both ClickHouse Cloud or local/self-managed versions of ClickHouse. 了解更多
- 在Proton 1.5.2中,批量CSV导入得到了增强。 在Proton 1.5.2中,批量CSV导入得到了增强。 您可以通过单个SQL从多个CSV文件中加载数十亿行。 了解更多 Learn more
- Kafka Schema Registry支持Protobuf和Avro格式(Proton 1.5.2)。 了解更多 了解更多 Learn more
- 支持Schema Registry的自签名HTTPS认证(Proton 1.5.3)。
- Proton现在可以在SUSE Linux上编译。
Timeplus 云服务:
- In Data Lineage side panels, more details about the resources are added. 点击图块进行查看。
- 数据类型,如
float
或integer
已弃用。 数据类型,如float
或integer
已弃用。 数据类型,如float
或integer
已弃用。 UI将显示精确的数据类型,如int8
,uint16
等。 - In dashboard charts, the legend is maintained when rendering. Click to show or hide series.
During the Preview step of adding a new source, we now show you the time remaining for previewing data. If no event comes in after 30 seconds, you can go back to previous steps, check your configuration, then try again.
Proton:
- 在 Proton v1.5.1 中,我们根据 ksqlDB 用户的反馈推出了更多的流式结果的发布政策。 最值得注意的是,当您运行 tumble/hop/session 窗口聚合时,在窗口关闭之前,中间聚合结果可以按一定的间隔或值发生变化时发出。 Learn more in our docs
- You can now install Proton as a single binary via
curl https://install.timeplus.com | sh
. - Besides GitHub Container Registry (GHCR), you can also pull Proton Docker via
docker pull public.ecr.aws/timeplus/proton
. - 由Marvin Hansen (Emet-Labs的负责人) 贡献的Proton Rust客户端的初始版本现已在 https://crates.io/crates/proton_client 上公开发布。
Timeplus 云服务:
- 对于 NATS 数据源,我们在用户界面中添加了选择 JWT 或 NKey 文件内 容进行身份验证的选项。
- 当你使用 Avro 架构注册表添加 Confluent Cloud 数据源时,用户界面会为新数据流建议一组列名,但您需要选择正确的数据类型。 未来,我们将对其进行增强,使其从架构注册表加载数据类型。
- In an upcoming release, you will be able to run any SQL in Timeplus Cloud, including
CREATE EXTERNAL TABLE
and other Data Definition Language (DDL). 联系我们,抢先体验这项新功能。
On the Data Lineages page, if you move the tiles around, we will remember their positions and show them in the same positions the next time you visit this page. To return to default positions, click the Reset Layout button in the top right corner.
Proton (Current version: v1.4.2):
- 自 Proton v1.4.2 以来,我们增加了对读取或写入 ClickHouse 表格的支持。 为此,我们在 Proton 中引入了一个新概念:“外部表”。 Similar to External Stream, no data is persisted in Proton. In the future, we will support more integration by introducing other types of External Table. See our docs for use cases and more details.
- 根据用户反馈,我们简化了读取 Kafka 主题中 JSON 文档中键/值对的过程。 You don’t need to define all keys as columns, and no need to set
input_format_skip_unknown_fields
in DDL or SQL. Learn more - 对于随机流,您现在可以将 EPS(每秒事件数)定义为 0 到 1 之间的数字。 例如,eps=0.5 表示每 2 秒生成一个事件。 例如,eps=0.5 表示每 2 秒生成一个事件。 我们改进了若干关于产品用量匿名上报的配置。 我们改进了若干关于产品用量匿名上报的配置。 无论是单一二进制部署还是 Docker 部署,你都可以设置一个
TELEMETRY_ENABLED
环境变量。 报告间隔从 2 分钟更改为 5 分钟。 报告间隔从 2 分钟更改为 5 分钟。 - A new extract_key_value_pairs function is added to extract key value pairs from a string to a map.
- 我们改进了若干关于产品用量匿名上报的配置。 Regardless if it’s a single binary or Docker deployment, you can set a
TELEMETRY_ENABLED
environment variable. 报告间隔从 2 分钟更改为 5 分钟。 - Enhancements to our docs: re-organized Proton docs, added a “Proton How To“ page, and updated details on using certifications for Kafka external stream.
Timeplus 云服务:
- 自 Proton v1.4.2 以来,我们增加了对读取或写入 ClickHouse 表格的支持。 为此,我们在 Proton 中引入了一个新概念:“外部表”。 与 [外部流] (https://docs.timeplus.com/zh/external-stream) 类似,Proton 中不保留任何数据。 将来,我们将通过引入其他类型的外部表来支持更多的集成。 [请参阅我们的文档] (https://docs.timeplus.com/zh/proton-clickhouse-external-table) 以获取用例和更多详细信息。 引入一个新的数据源:HTTP 流。 输入URL、方法以及可选标头和有效负载。
- 现在已为 NATS 源添加了身份验证。
- 对于外部流,我们在侧面板中查看详细信息时添加了更多信息,例如 Kafka 代理、主题和数据结构。
- 在查询历史记录中,如果查询失败,您现在可以从工具提示中复制错误消息。
数据源和下游
Proton:
- Proton v1.4.1 现已发布。 请注意:您不能使用旧版本的 Proton 客户端连接到新的 v1.4 Proton 服务器——请务必更新您的 Proton 客户端。 所有现有的 JDBC、ODBC、Go 和 Python 驱动程序仍将照常运行。 请注意:您不能使用旧版本的 Proton 客户端连接到新的 v1.4 Proton 服务器——请务必更新您的 Proton 客户端。 所有现有的 JDBC、ODBC、Go 和 Python 驱动程序仍将照常运行。 请注意:您不能使用旧版本的 Proton 客户端连接到新的 v1.4 Proton 服务器——请务必更新您的 Proton 客户端。 所有现有的 JDBC、ODBC、Go 和 Python 驱动程序仍将照常运行。
- (v1.3.31) 我们添加了新的外部流设置
message_key
,该表达式返回用作每行的消息密钥的字符串值。 (v1.3.31) 我们添加了新的外部流设置message_key
,该表达式返回用作每行的消息密钥的字符串值。message_key
可以与sharding_expr
(它在 Kafka 主题中指定目标分区号)一起使用,而 “sharding_expr” 的优先级更高。 [了解更多] (https://docs.timeplus.com/zh/proton-kafka#messagekey) Learn more - (v1.3.31) Write to Kafka in plain text: you can now produce raw format data to a Kafka external stream with a single column.
- (v1.3.31) 默认情况下,我们禁用历史回填排序。 Learn more in our query guide, including how to enable.
Timeplus 云服务:
- 在 Data Lineage 中,外部流现在以不同的颜色显示,以便更好地区分。
- 此外,在 “数据血缘” 中,您可以按关键字进行搜索。
- 在图表格式设置中,您可以设置在 x 或 y 轴上为标签显示的最大字符数。
- 现在,我们会根据您的数据自动选择图表类型。 现在,我们会根据您的数据自动选择图表类型。 现在,我们会根据您的数据自动选择图表类型。 如果您有日期时间列和数字列,我们将默认为折线图。 如果您只有数字列:单值图表。 如果没有数字列:表格图表。 如果您只有数字列:单值图表。 如果没有数字列:表格图表。 如果您只有数字列:单值图表。 如果没有数字列:表格图表。
2024 年 1 月 8 日
Proton:
- 我们在 [proton/examples] (https://github.com/timeplus-io/proton/tree/develop/examples) 目录添加了一个 [Coinbase] (https://github.com/timeplus-io/proton/tree/develop/examples/coinbase) 的新示例。
- (v1.3.30) New functions for aggregation: stochastic_linear_regression_state and stochastic_logistic_regression.
- (v1.3.30) New functions for processing text: base64_encode, base64_decode, base58_encode, and base58_decode,
- (v1.3.30) 创建外部流时,可以将 sasl_mechanics 设置为 SCRAM-SHA-512、SCRAM-SHA-256 或 PLAIN(默认值)。 通过我们的文档中的 [示例] (https://docs.timeplus.com/zh/proton-kafka#create-external-stream) 了解更多信息。 Learn more with examples in our docs.
Timeplus 云服务:
- 在仪表盘图表中,您现在可以将图表切换到表格视图。
- 在仪表板图表中:在下拉列表中提供全屏显示等选项。 在仪表板图表中:在下拉列表中提供全屏显示等选项。 编辑模式下的图表大小选择器显示了大小示例。 在仪表板图表中:在下拉列表中提供全屏显示等选项。 编辑模式下的图表大小选择器显示了大小示例。
Dec 27, 2023
Proton:
- 查看 [proton/examples] (https://github.com/timeplus-io/proton/tree/develop/examples) 文件夹中的新示例:[CDC] (https://github.com/timeplus-io/proton/tree/develop/examples/cdc)、[awesome-sensor-Logger] (https://github.com/timeplus-io/proton/tree/develop/examples/awesome-sensor-logger) 和 [欺诈检测] (https://github.com/timeplus-io/proton/tree/develop/examples/fraud_detection)
- (v1.3.29) Introduced new SQL commands for managing format schemas (for now, only Protobuf schemas are supported).
- (v1.3.28) 对于
create random stream
,默认 interval_time 现在是 5 毫秒,而不是 100 毫秒。 这个新的默认值将更连续地生成随机数据。 这个新的默认值将更连续地生成随机数据。 这个新的默认值将更连续地生成随机数据。 - (v1.3.28) 函数名称不再区分大小写。 (v1.3.28) 函数名称不再区分大小写。 您可以使用count(), COUNT(), 或 Count(). 在 Proton 与其他工具整合时,忽略大小写将进一步提高兼容性。
- (v1.3.27) 随机流支持 ipv4 和 ipv6 数据类型。
- Proton Metabase Driver (v0.0.3)已发布,利用新版 Proton 的 SQL 函数大小写不敏感以提高兼容性。
- [Proton 的 Grafana 插件] (https://grafana.com/grafana/plugins/timeplus-proton-datasource) 已得到增强并发布在 Grafana Catalog 上。 您可以通过管理页面进行安装,而无需手动下载文件。 请确保可以从 Grafana 访问 Proton的 8463 和 3218 端口,因为新版本将调用 Proton 查询分析器 API(在 3218 上)来确定它是否是流式查询,然后以不同的方式呈现结果。 使用此插件,您可以使用 Proton 中的数据以及在 Grafana 中配置的其他数据源来构建图表和仪表板。 试一试,告诉我们你的想法! 您可以通过管理页面进行安装,而无需手动下载文件。 请确保可以从 Grafana 访问 Proton的 8463 和 3218 端口,因为新版本将调用 Proton 查询分析器 API(在 3218 上)来确定它是否是流式查询,然后以不同的方式呈现结果。 使用此插件,您可以使用 Proton 中的数据以及在 Grafana 中配置的其他数据源来构建图表和仪表板。 试一试,告诉我们你的想法! 您可以通过管理页面进行安装,而无需手动下载文件。 请确保可以从 Grafana 访问 Proton的 8463 和 3218 端口,因为新版本将调用 Proton 查询分析器 API(在 3218 上)来确定它是否是流式查询,然后以不同的方式呈现结果。 使用此插件,您可以使用 Proton 中的数据以及在 Grafana 中配置的其他数据源来构建图表和仪表板。 试一试,告诉我们你的想法!
Timeplus 云服务:
- 新的 Core NATS/JetStream 数据源现已推出。 我们欢迎任何反馈! 我们欢迎任何反馈! 我们欢迎任何反馈!
- WebSocket 源现在支持多条打开的消息。
- 图表类型选择器现在是一个下拉列表,其中包含禁用类型时所需列的提示。
- 在查询页面的流目录中,您可以通过流、列或两者进行搜索。
- 在图表格式设置中,单色板扩展到包括10种颜色(之前为三种)。
- 对于全屏模式下的图表,鼠标悬停在工具提示上可用。
Dec 11, 2023
Proton:
- [Proton JDBC 驱动程序] (https://github.com/timeplus-io/proton-java-driver) 的新版本 (v0.6.0) 已上线:能够列出 dBeaver 和 Metabase 中的表和列。
- [Proton Metabase 驱动程序] (https://github.com/timeplus-io/metabase-proton-driver) 的新版本 (v0.0.2) 已上线:能够列出表和列。
- New function: lag_behind, designed for streaming JOIN. 如果您未指定列名,则查询将使用左右流的处理时间来比较时间戳差异。
Timeplus 云服务:
- 新的 WebSocket 数据源:通过输入 URL 和数据类型(JSON 或文本)将 Timeplus 与 WebSocket 连接。
- 直接输入 SQL 创建外部流。
- 将 CSV 数据上传到现有流。
- 在查询页面的流目录中,您可以通过流、列或两者进行搜索。
- 在仪表板图表中,我们现在在鼠标悬停时显示所有图表类型的 “上次更新” 时间。
- (预览功能)推出新的数据源:NATS 和 NATS JetStream。 配置用户界面将很快在 Timeplus Cloud 中推出。 如果您想试用此功能,请联系我们。
2023年11月27日
Proton:
- Proton 的 [Metabase驱动程序] (https://github.com/timeplus-io/metabase-proton-driver) 现已开源。
- Proton JDBC 驱动程序可以通过 Maven 下载。