1.背景 当前的数据存储基于mysql库表存储形式,目前已经无法满足愈加增大的数据存储需求,新项目基于Maxcompute数据仓库架构,需要将统计日志上传Maxcompute,本文对Maxcompute系统数据上传进行调研,测试,包括基于LogStash收集的DataHub实时数据通道和批量数据通道SDK等. 2技术调研及测试 2.1数据通道SDK 2.1.1 UploadSession 2.1.1.1 说明 MaxCompute Tunnel是MaxCompute的数据通道,可通过提供接口上传…