Doris broker load 数据源来自hdfs其并带Kerberos

希望你以后写文章别背离了互联网的分享精神，非让人充什么vip才能看，太lower 13

shell脚本：

#!/bash/bin
mysql -h IP -P 9030 -uUserName -pPassword -D example_db -e'

LOAD LABEL test001
(
    DATA INFILE("hdfs://HDFS0525/user/hive/warehouse/dws.db/test/000000_0")
    INTO TABLE center_materiel_originalfactory_materielgroup_last
    COLUMNS TERMINATED BY ","
        (f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f11,f12,f13,f14,f15,f16,f17,f18,f19,f20,f21,f22,f23,f24)
    SET
    (
                id=f1,
                create_by=f2,
                create_at=f3,
                update_by=f4,
                update_at=f5,
                comment=f6,
                readonly=f7,
                version=f8,
                data_source=f9,
                status=f10,
                materiel_id=f11,
                car_model_id=f12,
                materiel_group_id=f13,
                materiel_group_child_id=f14,
                num=f15,
                drawing_no=f16,
                materiel_hotspot_id=f17,
                manufacturer_part_num=f18,
                brand_id=f19,
                accessories_name=f20,
                veh_id=f21,       
                materiel_name=f22,
                materiel_group_child_name=f23,
                materiel_group_name=f24  
    )
)
WITH BROKER 'broker_name'
(
    "hadoop.security.authentication" = "kerberos",
    "kerberos_principal" = "etl_admin@HZ.TC",
    "kerberos_keytab" = "/opt/doris_bin/apache_hdfs_broker/conf/etl_admin.keytab"
)
PROPERTIES
(
    "timeout" = "3600"
)

'

注释：

1，'broker_name'，不能随意改变，要看Doris的配置，来确定BROKER的名字，其默认配置就是这。

2，borker_name中就是Kerberos相关配置信息

3，COLUMNS TERMINATED BY "," 不能少，官网上例子没写，stream load中到是有。

4，hdfs文件中是没有列名的，默认从f1开始，有n列就有fn，如果字段很多最好从f1开始对应一 一对应到数据库的字段明示出来，然后导入后再确认一下最好。

5，离线情况下：broker load 导入量比stream load导入量要大的多，大于10G的文件导入用brokerLoad