导入(Load)功能是将用户的原始数据导入Doris中.导入成功后,用户即可通过Mysql客户端查询数据.
基本概念-
Frontend(FE):Doris系统的元数据和调度节点.在导入流程中主要负责导入规划生成和导入任务调度工作.
Backend(BE):Doris系统的计算和存储节点.在导入流程中主要负责数据的ETL和存储.
Broker:Broker为一个独立的无状态进程.封装了文件系统接口,提供Doris读取远端存储系统中文件的能力.
导入作业(Load Job):导入作业读取用户提交的源数据,转换或清洗后,将数据导入到Doris系统中.导入完成后,数据即可被用户查询到.
Label:所有导入作业都有一个Label.Label在一个数据库内唯一,可由用户指定或系统自动生成,用于标识一个导入作业.相同的Label仅可用于一个成功的导入作业.
MySQL协议/HTTP协议:Doris提供两种访问协议接口.MySQL协议和HTTP协议.部分导入方式使用MySQL协议接口提交作业,部分导入方式使用HTTP协议接口提交作业.
Doris提供了6种不同的导入方式,每种导入方式支持不同的数据源,存在不同的使用方式(同步、异步) 所有导入方式都支持csv数据格式,其中Broker load还支持parquet和orc数据格式.
Broker load:通过Broker进程访问并读取外部数据源(如HDFS)导入到Doris,用户通过MySQL协议提交导入作业后,异步执行,通过SHOW LOAD命令查看导入结果. Stream load:通过HTTP协议提交请求并携带原始数据创建导入.主要用于快速将本地文件或数据流中的数据导入Doris中.导入命令同步返回导入结果. Insert:类似于MySQL中的I
