流传数据

Timeplus 支持两种向系统加载数据的方法：

• External Stream 适用于 Apache Kafka、Confluent、Redpanda 和其他与 Kafka API 兼容的数据流平台。 Timeplus Core Engine (Proton) 也提供此功能。
• 来源 用于更广泛的数据源。 这仅在 Timeplus Enterprise 中可用。

通过 web 控制台添加新源

从Apache Kafka加载流数据

截至今天，Kafka是Timeplus的主要数据集成。 通过与Confluent的强大伙伴关系，我们可以将来自Confluent Cloud、Confluent Platform或Apache Kafka的实时数据加载到TimePlus流式引擎。 (最近引入了一个新功能来创建 个外部流 来分析Confluent/Kafka/Redpanda 中的数据而不移动数据)

了解更多。

从 Apache Pulsar 加载流数据

Apache® PulsarTM 是一个云端、分发、开源消息和流式平台，用于实时工作量。 Timeplus增加了对Apache Pulsar的集成，它既是数据源又是数据下游。

了解更多。

从 Kinesis 加载流式数据

如果您的流数据在 Amazon Kinesis 数据流 中，您可以分两步把它们加载到 Timeplus中。

1. 首先通过 将Kinesis 源连接器为 Confluent Cloud 或 Amazon Kinesis 源连接器将Kinesis 数据加载到 Kafka 主题
2. 使用 Timeplus 上面的Kafka 源将数据加载到流中。

数据流可以用以下方式说明：

上传本地文件

如果您有一些静态数据集或查找CSV格式的表，您可以直接上传文件到Timeplus。

1. 点击 从导航菜单中添加数据。 然后点击 从 CSV 导入 按钮
2. 从您的本地文件系统拖放一个 CSV 文件来上传文件。 （即将推出：如果您的文件是从 URL 或 S3 存储桶中下载，那么您可以创建数据源来让 Timeplus 服务器加载该文件。 CSV 以外的文件格式也将得到支持。
3. 选择文件的第一行是否为列标题。
4. 为流指定一个名称，并可选择提供一个可读的描述。
5. 单击按钮开始上传数据，然后单击 查看导入的数据 按钮运行查询以查看导入的数据。

加载示例流数据

如果您没有准备好将您的真实数据加载到Timeplus中，或者只是想要与系统一起玩， 您可以使用此功能加载一些采样流数据。 我们提供了三个典型的流数据。

1. iot 将生成3台设备（device_0，device_1 和 device_2）的数据。 数字 值可以是 0 到 100 之间。 时间 列是事件生成的时间。
2. user_logins 将从两个可能的 城市 的值：上海或北京中生成两个用户的数据（用户1和用户2）。 时间 列是事件生成的时间。
3. devops 将生成3 主机名(host_0,host_1, 和 host_2, 从 3 可能的 区域(eu-central-1, us-west-1, sa-east-1), 3 可能的 机车(1,2,3), 数字 usage_user 从 0 到 100 用法系统 从 0 到 100 和 时间 列为事件时间。

您可以通过 添加数据 菜单和 示例数据 选项加载这些样本数据。 您可以为数据创建新流或选择现有流。

通过 REST 或 SDK 将数据推送到 Timeplus

Timeplus 提供数据导入REST API 和相关的不同的编程语言软件开发工具包SDK。 开发人员可以利用这些 REST API 或 SDK 将实时数据推送到 Timeplus。

了解更多。

通过第三方工具加载其他数据到 Timeplus

Timeplus可与数据生态系统合作，并可利用各种工具加载数据，甚至在摄取时进行数据转换。

DataPM（用于文件和数据库）

Data Package Manager (datapm) 是一个开源数据发布平台，供私人和公共使用。 datapm 命令行工具使得在系统之间无缝移动数据，而且易于重复。 我们为datapm开发了一个特殊的Timeplus sink，可以开箱即用发送各种数据到Timeplus。

了解更多。

Airbyte

AirByte提供开放源码软件版本和管理云以收集数据、转换数据和发送到其他目的地。

高级别会议

1. AirByte 可以从许多不同的数据来源获取数据，包括数据库/DC或基础设施日志、应用程序日志，甚至商业应用程序(例如Salesforce)
2. 数据可以通过 AirByte 内置能力正常化。 或者可以先将其保存到目的地数据库，然后依靠dbt或其他工具进行转换/实现。
3. AirByte 收集的数据可以发送到许多目的地，包括 Timeplus。

只需命名来自Airby的几个数据源：

• 应用市场，如苹果应用商店
• AWS Cloudtrail
• Google BigQuery
• 使用 Gzip/Zip/xz/Snappy 压缩从 S3/GCS/SFTP/本地加载文件，在 CSV/JSON/XML/Excel/Parquet/etc
• Github, GitLab, or JIRA活动
• Google 广告
• Instagram 社交媒体
• Slack或微软团队
• PostgreSQL, RedShift, Snowflake, MongoDB, MySQL, Microsoft SQL Server, 等等。

注意

Airbyte的 Timeplus 目标插件正处于早期阶段。 请联系我们来安排整合。

Kafka 连接器

您可以使用 Kafka Connector 将数据源中的数据加载到 Confluent Cloud，Confluent Platform 或 Apache Kafka，然后使用 Timerplus 通过内置的Kafka Source 将其加载到流中。

有几个可以通过Kafka Connects进入Timeplus的数据源例子。 详情请查看 https://www.confluent.io/product/confluent-connectors/。

• Apache ActiveMQ
• Amazon CloudWatch Logs
• Amazon Kinesis
• Amazon S3
• Amazon SQS
• Azure Blob Storage
• Azure Event Hubs
• CockroachDB CDC
• Databricks
• Github
• Google Cloud Pub/Sub
• IBM MQ
• InfluxDB
• JDBC
• Microsoft SQL Server
• MongoDB
• MQTT
• MySQL CDC
• Neo4j
• Oracle Database
• PostgreSQL CDC
• RabbitMQ
• Salesforce
• ServiceNow
• SFTP
• SNMP
• Splunk
• TiDB CDC
• Tigergraph
• Zendesk