任务8、词频统计
-参看本博《经典案例【词频统计】十一种实现方式》
-针对单词文本文件，统计每个单词出现的次数
hello hadoop hello spark
i love you hadoop and spark
i learn hadoop and scala
-思路：读取文件，通过拆分得到单词数组，定义一个哈希映射保存词频统计结果，遍历单词数组，如果第一次遇到某个单词，就在哈希映射里添加一个元素，单词为键，1为值；如果不是第一次遇到，那么在哈希映射里找到该键，将其值加1……
（一）编程实现
-在项目根目录里创建单词文本文件 - words.txt
-在net.guoxin.p03里创建t08子包，在子包里创建WordCount类
-读取文件所有行
-将文件行按空格拆分成单词数组
-针对每行单词数组进行词频统计
-按指定格式输出词频统计结果
-利用Python的绘图库来绘制词频统计的直方图
-查看完整代码
package net.guoxin.p03.t08;
import java.io.BufferedReader;
import java.io.FileReader;
import java.util.HashMap;
import java.util.Map;
思考题：将词频统计结果按次数降序排列 -put(key, value) - 添加元素（键值对） 2、哈希集合 （三）拓展练习 -执行命令：CREATE DATABASE student CHARSET=‘utf8mb4’ CREATE TABLE t_user ( -执行语句，查看结果 INSERT INTO t_user (username, password, telephone, register_time) VALUES (‘admin’, ‘12345’, ‘13945456780’, ‘2022-01-01 09:10:34’); -执行语句，查看结果 2、创建用户实体类 import java.util.Date; public int getId() { public void setId(int id) { public String getUsername() { public void setUsername(String username) { public String getPassword() { public void setPassword(String password) { public String getTelephone() { public void setTelephone(String telephone) { public Date getRegisterTime() { public void setRegisterTime(Date registerTime) { @Override 3、添加数据库驱动程序包 -单击【Add as Library…】菜单项 4、创建数据库连接管理类 import java.sql.Connection; try { // 返回数据库连接 -运行程序，查看结果 5、创建用户数据访问接口 import net.guoxini.p03.t09.bean.User; import java.util.List; 6、创建用户数据访问接口实现类 -实现UserDao接口，就要去实现接口里的抽象方法 -默认是全选 -单击【OK】按钮 package net.guoxin.p03.t09.dao.impl; import net.guoxin.p03.t09.bean.User; import java.util.List; @Override @Override @Override @Override @Override -下面，我们编写登录方法 **@Override } -在net.guoxin.p03.t09.test包里创建TestUserDaoImpl类 import net.guoxin.p03.t09.bean.User; } -运行testLogin()测试方法
public class WordCount {
public static void main(String[] args) throws Exception {
// 定义缓冲字符输入流
BufferedReader br = new BufferedReader(new FileReader(“words.txt”));
// 定义词频统计哈希映射
Map
// 定义行字符串变量
String nextLine = “”;
// 读取文件，遍历所有行
while ((nextLine = br.readLine()) != null) {
// 按空格拆分，得到单词数组
String[] words = nextLine.split(" “);
// 遍历单词数组，进行单词计数
for (String word: words) {
wc.put(word, wc.containsKey(word)? wc.get(word) + 1 : 1);
}
}
// 按照指定格式输出词频统计结果
for (String key : wc.keySet()) {
System.out.println(”(" + key + “,” + wc.get(key) + “)”);
}
}
}
（二）知识点讲解
1、哈希映射
-get(key) - 按键取值
-containsKey(key) - 是否包含某个键
-keySet() - 键集合
-values() - 值集合
-add(e) - 添加元素
-remove(e) - 移除元素
-size() - 集合元素个数
-isEmpty() - 是否为空集
任务1、网址去重
-去掉重复ip地址，生成distinct_ips.txt
任务2、统计不同网址访问次数
（一）编程实现
1、创建数据库和表
（1）创建学生数据库
（2）创建用户表
-执行命令：USE student，打开student数据库
-创建用户表 - t_user
id int(11) NOT NULL AUTO_INCREMENT COMMENT ‘用户ID’,
username varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT ‘用户名’,
password varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT ‘用户密码’,
telephone varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT ‘联系电话’,
register_time timestamp NULL DEFAULT NULL ON UPDATe CURRENT_TIMESTAMP COMMENT ‘注册时间’,
PRIMARY KEY (id) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 4 CHARACTER SET = utf8mb4;
-插入三条用户记录
INSERT INTO t_user (username, password, telephone, register_time) VALUES (‘brown’, ‘11111’, ‘13878789089’, ‘2022-03-12 19:05:44’);
INSERT INTO t_user (username, password, telephone, register_time) VALUES (‘alice’, ‘22222’, ‘15834345670’, ‘2022-04-04 15:16:24’);
-查看用户表记录
-一条用户记录对应一个用户实体，这是一个映射
-在net.guoxin.p03.t09.bean包里创建User类
package net.guoxin.p03.t09.bean;
public class User {
private int id;
private String username;
private String password;
private String telephone;
private Date registerTime;
return id;
}
this.id = id;
}
return username;
}
this.username = username;
}
return password;
}
this.password = password;
}
return telephone;
}
this.telephone = telephone;
}
return registerTime;
}
this.registerTime = registerTime;
}
public String toString() {
return “User{” +
“id=” + id +
“, username='” + username + ‘’’ +
“, password='” + password + ‘’’ +
“, telephone='” + telephone + ‘’’ +
“, registerTime=” + registerTime +
‘}’;
}
}
-在项目根目录创建libs目录，添加数据库驱动程序包
-此时，这个jar包还不能被项目使用，需要作为库添加到项目里
-此时，数据库驱动程序包就可以被项目使用了
-查看JDBC重要的接口和类
-创建net.huawei.p03.t09.dbutils包，在包里创建ConnectionManager类
package net.guoxin.p03.t09.dbutils;
import java.sql.DriverManager;
import java.sql.SQLException;
public class ConnectionManager {
// 数据库连接属性
private static final String DRIVER = “com.mysql.jdbc.Driver”;
private static final String URL = “jdbc:mysql://localhost:3306/student?useSSL=false”;
private static final String USER = “root”;
private static final String PASSWORD = “903213”; // 改成自己数据库的密码
private ConnectionManager() {
}
public static Connection getConnection() {
// 定义数据库连接
Connection conn = null;
// 安装数据库驱动
Class.forName(DRIVER);
// 获取数据库连接
conn = DriverManager.getConnection(URL, USER, PASSWORD);
// 提示用户数据库连接成功
System.out.println(“提示：数据库连接成功~”);
} catch (ClassNotFoundException e) {
System.err.println(“异常：数据库驱动程序未找到！”);
} catch (SQLException e) {
System.err.println(“异常：数据库连接失败！”);
}
return conn;
}
public static void closeConnection(Connection conn) {
// 判断连接是否为空
if (conn != null) {
try {
// 判断连接是否关闭
if (!conn.isClosed()) {
// 关闭数据库连接，释放资源
conn.close();
// 提示用户
System.out.println(“提示：数据库连接关闭~”);
}
} catch (SQLException e) {
e.printStackTrace();
}
}
}
public static void main(String[] args) {
// 获取数据库连接
Connection conn = getConnection();
// 关闭数据库连接
closeConnection(conn);
}
}
-故意把DRIVER改错，就会抛出异常被捕获
在net.guoxin.p03.t09.dao包里创建UserDao接口（DAO: Data Access Object）
package net.guoxin.p03.t09.dao;
public interface UserDao {
int insert(User user);
int delete(int id);
int update(User user);
int findById(int id);
List findAll();
User login(String username, String password);
}
-在net.guoxin.p03.t09.dao.impl包里创建UserDaoImpl类
import net.guoxin.p03.t09.dao.UserDao;
public class UserDaoImpl implements UserDao {
@Override
public int insert(User user) {
return 0;
}
public int delete(int id) {
return 0;
}
public int update(User user) {
return 0;
}
public int findById(int id) {
return 0;
}
public List findAll() {
return null;
}
public User login(String username, String password) {
return null;
}
}
public User login(String username, String password) {
// 定义用户对象
User user = null;
// 获取数据库连接
Connection conn = ConnectionManager.getConnection();
// 创建SQL字符串
String strSQL = “select * from t_user where username = ? and password = ?”;
try {
// 创建预备语句对象（准备提供参数）
PreparedStatement pstmt = conn.prepareStatement(strSQL);
// 用参数值去设置占位符的值
pstmt.setString(1, username);
pstmt.setString(2, password);
// 执行SQL查询，返回结果集
ResultSet rs = pstmt.executeQuery();
// 遍历结果集，用记录值填充用户对象
while (rs.next()) {
// 创建用户对象
user = new User();
// 用当前记录字段值设置用户对象属性值
user.setId(rs.getInt(“id”));
user.setUsername(rs.getString(“username”));
user.setPassword(rs.getString(“password”));
user.setTelephone(rs.getString(“telephone”));
user.setRegisterTime(rs.getTimestamp(“register_time”));
}
} catch (SQLException e) {
System.err.println(e.getMessage());
}// 返回用户对象
return user;
package net.guoxin.p03.t09.test;
import net.guoxin.p03.t09.dao.UserDao;
import net.guoxin.p03.t09.dao.impl.UserDaoImpl;
import org.junit.Test;
public class TestUserDaoImpl {
@Test
public void testLogin() {
String username = “admin”;
String password = “12345”; UserDao dao = new UserDaoImpl();
User user = dao.login(username, password);
if (user != null) {
System.out.println("恭喜，[" + username + "]登录成功~");
} else {
System.out.println("遗憾，[" + username + "]登录失败~");
}
}
