SparkStreaming入门案例

• • 一、准备工作
  • 二、任务分析
  • 三、官网案例
  • 四、开发NetWordCount

• 实验环境：netcat
• 安装nc：yum install -y nc

将nc作为服务器端，用户产生数据；启动sparkstreaming案例中的客户端程序，监听服务器端发送过来的数据，并对其数据进行词频统计，即为流式的wordcount入门程序

• 启动nc作为服务器端，执行：nc -l -p 6666，并输入测试数据，如图所示：
  

• 启动客户端，执行：

  bin/run-example streaming.NetworkWordCount localhost 6666
  

  结果如图所示：
  
  注意）：如果要执行本例，必须确保机器 cpu 核数大于 2
  

1. 创建maven工程
2. 添加maven依赖，即在pom.xml中添加streamming的依赖，如下：

    
        org.apache.spark
        spark-streaming_2.12
        2.4.8
    
   

3. 开发NetWordCount程序
4. 先在虚拟机上启动nc服务器：nc -l -p 6666，并输入测试数据，如图：
   
5. 然后运行程序
6. 运行结果如下：
   
   注意：程序会一直处于运行状态，等待服务器端发送数据 如想停止程序，需要手动去停止。