我公司提供数据采集接入服务(DIS),可让您轻松收集、处理和分发实时流数据,以便您对新信息快速做出响应。DIS对接多种第三方数据采集工具,提供丰富的云服务Connector及Agent/SDK,适用于IoT、互联网、媒体等行业的设备监控、实时推荐、日志分析等场景。
产品优势:
高效传输:实时收集各种数据。支持百万并发连接,数据请求毫秒级响应。单分区支持最高每日百GB级别的写入量。轻松实现传输通道规格扩容。
简单易用:服务秒级开通。用户配置SDK/Agent实现免编程数据采集,快速实现数据采集、传输。
安全可靠:HTTPS加密传输。租户间资源及操作隔离,实现租户访问权限控制,保护系统和用户的隐私及数据安全。数据跨AZ存储,服务可用性99.9%。
无忧运维:具有完备的运维体系,托管运维,用户只需要聚焦数据价值。相比用户自建数据采集/传输系统(kafka/flume等),成本降低5倍。
功能描述:
数据采集:RestAPI、SDK、Agent对接多种数据源,线上线下数据实时采集。
支持多种数据源:DIS支持从用户应用系统、kafka系统、Flume系统做实时数据采集;
多种数据接入方式:提供RestAPI、SDK、Agent等多种数据接入方式,用户只需简单配置即可实现实时数据采集与传输。
数据传输:实时数据高并发、低延时、高可靠传输。
DIS提供百万连接并发,单数据流最高支持每日TB级别的数据量写入,每个分区(partition)支持最高每日百GB级别的写入量。
每个数据流的吞吐能力可以通过动态增加partition进行扩展。
数据处理:预置数据抽取、汇聚、格式转换等Connector(处理算子),对用户输入数据做预处理。
DIS预置Connector对接入数据做初步处理,提供CSV/Json到Parquet/CarbonData等格式的转换,提升用户数据质量。