flink数据源(flink编程)

本文以目前最新的Flink release分支release-1.14讲解源码的编译。

源码编译前需要事先准备3个工具: git，maven，JDK。
可以通过以下指令可以查看是否安装成功：
（1）查看git安装

git --version

如果显示git信息则说明git安装成功：

（2）查看maven安装

mvn --version

ps：maven版本需要3.0以上
（3）查看jdk安装

java -version

ps：JDK需要1.8或者1.8以上

git clone https://github.com/apache/flink.git

切换到release-1.14分支

git checkout release-1.14

（1）maven配置
编译Flink源码时需要下载很多依赖，建议直接按如下配置修改maven的settings.xml文件：

    /Users/flink/.m2/repository
    
    
    
        
            nexus-aliyun
            central,!jeecg,!jeecg-snapshots,!mapr-releases
            Nexus aliyun
            http://maven.aliyun.com/nexus/content/groups/public
        

        
            mapr-public
            mapr-releases
            mapr-releases
            https://maven.aliyun.com/repository/mapr-public
        
    

    
        
            bdflink
            
                
                    Hortonworks
                    Hortonworks
                    http://repo.hortonworks.com/content/repositories/releases/
                    
                        true
                    
                    
                        false
                    
                

                
                    Cloudera
                    Cloudera
                    https://repository.cloudera.com/artifactory/cloudera-repos/
                    
                        true
                    
                    
                        false
                    
                

                
                    Confluent
                    Confluent
                    http://packages.confluent.io/maven/
                    
                        true
                    
                    
                        false
                    
                

            
        

    

    
        bdflink
    

（2）源码编译
推荐使用以下指令进行源码编译：

mvn clean install -DskipTests -Dhadoop.version=2.7.6 -Dmaven.javadoc.skip=true -Dcheckstyle.skip=true spotless:apply

（1）如果编译到中间编译失败，在第二次编译时可去掉"clean"，这样编译过的模块就不会再从头开始编译了
（2）用install代替package，因为install会把Flink中的module安装到本地仓库，这样依赖当前module的其他组件就无需去远程仓库拉取当前module了，节省编译时间
（3）注意不要使用“-Dmaven.test.skip=true”，而要使用“-DskipTests”，否则编译会报错，两者的区别为：
-Dmaven.test.skip=true：不执行测试用例，也不编译测试用例类；
-DskipTests：不执行测试用例，但编译测试用例类生成相应的class文件至target/test-classes下
（4）通过“-Dhadoop.version”指令需要关联的Hadoop版本