连接 Kafka、Confluent、Redpanda、Aiven、WarpStream、Upstash 等

连接到本地 Kafka 或 Redpanda

示例：

CREATE EXTERNAL STREAM ext_github_events(raw string)
SETTINGS type='kafka',
         brokers='localhost:9092',
         topic='github_events'

连接到 Confluent Cloud

示例：

CREATE EXTERNAL STREAM ext_github_events(raw string)
SETTINGS type='kafka',
         brokers='pkc-1234.us-west-2.aws.confluent.cloud:9092',
         topic='github_events',
         security_protocol='SASL_SSL',
         username='..',
         password='..'

连接到 Redpanda Cloud

示例：

CREATE EXTERNAL STREAM hello(raw string)
SETTINGS type='kafka',
         brokers='abc.any.us-east-1.mpx.prd.cloud.redpanda.com:9092',
         topic='hello-world',
         security_protocol='SASL_SSL',
         sasl_mechanism='SCRAM-SHA-256',
         username='..',
         password='..'

连接到 Apache Kafka 版 Aiven

你可以将 Proton 与 Aiven for Apache Kafka 服务连接起来。

示例：

CREATE EXTERNAL STREAM ext_stream(raw string)
SETTINGS type='kafka',
         brokers='name.a.aivencloud.com:28864',
         topic='topic',
         security_protocol='SASL_SSL',
         sasl_mechanism='SCRAM-SHA-256',
         username='avnadmin',
         password='..',
         ssl_ca_cert_file='/kafka.cert'

确保可以通过 Proton 访问 ssl_ca_cert_file。 你可以通过以下方式做到这一点：

chown timeplus: timeplus kafka.cert
chmod 400 kafka.cert

或者，您可以将 CA pem 文件的全部内容放入 DDL SQL 中。 这可以帮助你与Kafka经纪人建立安全连接，Kafka代理使用由Proton不知道的CA证书签名的证书。 当你无法设置本地文件路径或者不想挂载或修改文件（例如使用Docker或Kubernetes或在Timeplus Cloud中）时，你可能需要将CA内容内联。

CREATE EXTERNAL STREAM ext_stream(raw string)
SETTINGS type='kafka',
         brokers='name.a.aivencloud.com:28864',
         topic='topic',
         security_protocol='SASL_SSL',
         sasl_mechanism='SCRAM-SHA-256',
         username='avnadmin',
         password='..',
         ssl_ca_pem='-----BEGIN CERTIFICATE----\nMIIEQTCCAqmgAwIBAgIU..ph0szPew==\n-----END CERTIFICATE-----'

如果你想跳过验证 CA（不推荐），你可以通过以下方式创建外部流：

CREATE EXTERNAL STREAM ext_stream(raw string)
SETTINGS type='kafka',
         brokers='name.a.aivencloud.com:28864',
         topic='topic',
         security_protocol='SASL_SSL',
         sasl_mechanism='SCRAM-SHA-256',
         username='avnadmin',
         password='..',
         skip_ssl_cert_check=true

连接到 WarpStream

你可以将 Proton 与 WarpStream 或 WarpStream Serverless Cloud 的本地部署连接起来。

示例：

CREATE EXTERNAL STREAM ext_stream(raw string)
SETTINGS type='kafka',
         brokers='serverless.warpstream.com:9092',
         topic='topic',
         security_protocol='SASL_SSL',
         sasl_mechanism='PLAIN',
         username='..',
         password='..'

sasl_mechanism 可以是 PLAIN 或 SCRAM-SHA-512，但不能是 SCRAM-SHA-256。

连接到 Upstash

您可以将 Proton 与 Upstash Serverless Kafka 连接起来。

示例：

CREATE EXTERNAL STREAM ext_stream(raw string)
SETTINGS type='kafka',
         brokers='grizzly-1234-us1-kafka.upstash.io:9092',
         topic='topic',
         security_protocol='SASL_SSL',
         sasl_mechanism='SCRAM-SHA-256',
         username='..',
         password='..'

更多详细说明可在 Upstash Docs 上找到。