栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Java实现图片上传云存储服务器以及定时清理图片(定时任务组件Qquartz、cron表达式)

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Java实现图片上传云存储服务器以及定时清理图片(定时任务组件Qquartz、cron表达式)

Java实现图片上传云存储服务器以及定时清理图片(定时任务组件Qquartz、cron表达式)

前言:

在实际开发中,我们会有很多处理不同功能的服务器。例如:

应用服务器:负责部署我们的应用

数据库服务器:运行我们的数据库

文件服务器:负责存储用户上传文件的服务器

分服务器处理的目的是让服务器各司其职,从而提高我们项目的运行效率

常见的图片存储方案:

方案一:使用nginx搭建图片服务器

方案二:使用开源的分布式文件存储系统,例如Fastdfs、HDFS等

方案三:使用云存储,例如阿里云、七牛云等

1、七牛云存储

官网地址:https://www.qiniu.com/

自行注册并登录

1.1、新建空间

1.2、空间概览

在文件管理中有个外链域名,很重要后面需它来访问空间上传文件

1.3、开发者中心手册

通过javaSDK链接访问存储空间

文档地址:https://developer.qiniu.com/kodo/1239/java

maven工程使用七牛云需要引入坐标


  com.qiniu
  qiniu-java-sdk
  [7.7.0, 7.10.99]

如果打包报错提升什么引入什么


    
      com.squareup.okhttp3
      okhttp
      3.14.2
      compile
    
    
      com.google.code.gson
      gson
      2.8.5
      compile
    
    
      com.qiniu
      happy-dns-java
      0.1.6
      test
    
    
      junit
      junit
      4.12
      test
    
  

1.4、鉴权

Java SDK的所有的功能,都需要合法的授权。授权凭证的签算需要七牛账号下的一对有效的Access Key和Secret Key,这对密钥可以在七牛云管理控制台的个人中心(https://portal.qiniu.com/user/key)获得,如下图:

1.5、Java SDK操作七牛云之上传

参考官方操作文档本地上传文件

下面的代码是基于新版本的,所以maven需要7.7以上

package com.zcl;

import com.google.gson.Gson;
import com.qiniu.common.QiniuException;
import com.qiniu.http.Response;
import com.qiniu.storage.Configuration;
import com.qiniu.storage.Region;
import com.qiniu.storage.UploadManager;
import com.qiniu.storage.model.DefaultPutRet;
import com.qiniu.util.Auth;
import org.junit.Test;


public class qiniuyunTest {
    // 1、使用七牛云的sdk实现将本地的图片上传到云服务器
    @Test
    public void test() {
        //构造一个带指定 Region 对象的配置类
        Configuration cfg = new Configuration(Region.region0());
        //...其他参数参考类注释

        UploadManager uploadManager = new UploadManager(cfg);
        //...生成上传凭证,然后准备上传
        String accessKey = "V5sCLYwDcx5YYWvSzeR9imn7aLZyU22oW0q";
        String secretKey = "1-noh3fPNBcT9rVWiZFIhQ7Atwd_av2VkP9w";
        // 空间名称
        String bucket = "itzcl";
        //如果是Windows情况下,格式是 D:\qiniu\test.png
        String localFilePath = "D:\03a36073-a140-4942-9b9b-712cecb144901.jpg";
        //默认不指定key的情况下,以文件内容的hash值作为文件名
        String key = "测试设定上传文件名称.jpg";

        Auth auth = Auth.create(accessKey, secretKey);
        String upToken = auth.uploadToken(bucket);

        try {
            Response response = uploadManager.put(localFilePath, key, upToken);
            //解析上传成功的结果
            DefaultPutRet putRet = new Gson().fromJson(response.bodyString(), DefaultPutRet.class);
            System.out.println(putRet.key);
            System.out.println(putRet.hash);
        } catch (QiniuException ex) {
            Response r = ex.response;
            System.err.println(r.toString());
            try {
                System.err.println(r.bodyString());
            } catch (QiniuException ex2) {
                //ignore
            }
        }

    }
}

查看上传的图片文件信息

查看详情可以看到图片

1.5、Java SDK操作七牛云之删除文件
@Test
public void test2(){
    //构造一个带指定 Region 对象的配置类
    Configuration cfg = new Configuration(Region.region0());
    //...其他参数参考类注释

    String accessKey = "V5sCLYwDcx5YYWvxKVSzeR9imkaLZyU22oW0q";
    String secretKey = "1-noh3fPNBcT9rVWihXQ7Atwd_avi4f2VkP9w";
    // 空间名称
    String bucket = "itzcl";
    // 指定文件
    String key = "FuM1Sa5TtL_ekLsdkYWcf5pyjKGu";

    Auth auth = Auth.create(accessKey, secretKey);
    BucketManager bucketManager = new BucketManager(auth, cfg);
    try {
        bucketManager.delete(bucket, key);
    } catch (QiniuException ex) {
        //如果遇到异常,说明删除失败
        System.err.println(ex.code());
        System.err.println(ex.response.toString());
    }

}
1.6、封装七牛云操作工具类封装
package com.itheima.utils;

import com.google.gson.Gson;
import com.qiniu.common.QiniuException;
import com.qiniu.http.Response;
import com.qiniu.storage.BucketManager;
import com.qiniu.storage.Configuration;
import com.qiniu.storage.Region;
import com.qiniu.storage.UploadManager;
import com.qiniu.storage.model.DefaultPutRet;
import com.qiniu.util.Auth;


public class QiniuUtils {
    public static String accessKey = "V5sCLYwDcx5YYWvxKVSzeR9imstn7aLZyU22oW0q";
    public static String secretKey = "1-noh3fPNBcT9rVWiZFIhXQ7Atwd_avi4f2VkP9w";
    public static String buckets = "itzcl";

    
    public static void upload2Qiniu(String filePath,String fileName) {
        //构造一个带指定 Region 对象的配置类
        Configuration cfg = new Configuration(Region.region0());
        //...其他参数参考类注释
        UploadManager uploadManager = new UploadManager(cfg);
        Auth auth = Auth.create(accessKey, secretKey);
        String upToken = auth.uploadToken(buckets);
        try {
            Response response = uploadManager.put(filePath, fileName, upToken);
            //解析上传成功的结果
            DefaultPutRet putRet = new Gson().fromJson(response.bodyString(), DefaultPutRet.class);
            System.out.println(putRet.key);
            System.out.println(putRet.hash);
        } catch (QiniuException ex) {
            Response r = ex.response;
            System.err.println(r.toString());
            try {
                System.err.println(r.bodyString());
            } catch (QiniuException ex2) {
                //ignore
            }
        }
    }

    
    public static void upload2Qiniu(byte[] bytes, String fileName){
        //构造一个带指定 Region 对象的配置类
        Configuration cfg = new Configuration(Region.region0());
        //...其他参数参考类注释
        UploadManager uploadManager = new UploadManager(cfg);
        //默认不指定key的情况下,以文件内容的hash值作为文件名
        String key = fileName;
        Auth auth = Auth.create(accessKey, secretKey);
        String upToken = auth.uploadToken(buckets);
        try {
            Response response = uploadManager.put(bytes, key, upToken);
            //解析上传成功的结果
            DefaultPutRet putRet = new Gson().fromJson(response.bodyString(), DefaultPutRet.class);
            System.out.println(putRet.key);
            System.out.println(putRet.hash);
        } catch (QiniuException ex) {
            Response r = ex.response;
            System.err.println(r.toString());
            try {
                System.err.println(r.bodyString());
            } catch (QiniuException ex2) {
                //ignore
            }
        }
    }

    
    public static void deleteFileFromQiniu(String fileName){
        //构造一个带指定 Region 对象的配置类
        Configuration cfg = new Configuration(Region.region0());

        Auth auth = Auth.create(accessKey, secretKey);
        BucketManager bucketManager = new BucketManager(auth, cfg);
        try {
            bucketManager.delete(buckets, fileName);
        } catch (QiniuException ex) {
            //如果遇到异常,说明删除失败
            System.err.println(ex.code());
            System.err.println(ex.response.toString());
        }
    }
}

2、ElementUI图片上传和预览

管理详细使用参考官方文档

2.1、上传页面搭建

    
            action="/setmeal/upload.do"
            
            :auto-upload="autoUpload"
   			 
            name="imgFile"
             
            :show-file-list="false"
            
            :on-success="handleAvatarSuccess"
    		
            :before-upload="beforeAvatarUpload">
    	
        
        
    

2.2、模型数据
var vue = new Vue({
            el: '#app',
            data:{
                autoUpload:true,//自动上传
                imageUrl:null,//模型数据,用于上传图片完成后图片预览
            },methods:{
            //文件上传成功后的钩子,response为服务端返回的值,file为当前上传的文件封装成的js对象
                handleAvatarSuccess(response, file) {
                    // 为模型数据imageUrl赋值,用于页面上传图片展示【填写七牛云的外链域名】
                    this.imageUrl = "http://rdjpjlgat.hd-bkt.clouddn.com/"+response.data;
                    this.$message({
                        type:response.flag ? "success":"errer",
                        message : response.message
                    });
                    // 设置模型数据(图片名称)后续提交ajax请求提交到数据库报错
                    this.formData.img = response.data;
                },
                //上传图片之前执行
                beforeAvatarUpload(file) {
				  const isJPG = file.type === 'image/jpeg';
				  const isLt2M = file.size / 1024 / 1024 < 2;
				  if (!isJPG) {
					this.$message.error('上传套餐图片只能是 JPG 格式!');
				  }
				  if (!isLt2M) {
					this.$message.error('上传套餐图片大小不能超过 2MB!');
				  }
				  return isJPG && isLt2M;
                }
            }
})
2.3、上传图片的控制器

配置springMVC的文件上传



    
    
    

编写上传文件的控制器

需要通过MultipartFile来接收上传的文件,并且需要通过@RequestParam("name")注解指定上传文件的name值,否则会获取不到数据

@RestController
@RequestMapping("/setmeal")
public class SetmealController {

    
    @RequestMapping("/upload")
    public Result upload(@RequestParam("imgFile") MultipartFile imgFile){
        // 1、获取到上传文件的名称
        String originalFilename = imgFile.getOriginalFilename();
        // 2、获取到最后一个点的位置
        int index = originalFilename.lastIndexOf(".");
        // 3、截取出上传文件的后缀名 .jpg
        String extension = originalFilename.substring(index - 1);
        // 4、通过UUID生产随机不重复的数据拼接新的图片名称
        String fileName = UUID.randomUUID().toString() + extension;
        // 5、调用封装的七牛云工具类上传文件
        try {
            QiniuUtils.upload2Qiniu(imgFile.getBytes(),fileName);
        } catch (IOException e) {
            e.printStackTrace();
            return new Result(false, MessageConstant.PIC_UPLOAD_FAIL);
        }
        return new Result(true,MessageConstant.PIC_UPLOAD_SUCCESS,fileName);
    }
}
2.4、完善定时上传区分垃圾图片

前面我们已经完成了文件上传,将图片存储在了七牛云服务器中。但是这个过程存在一个问题,就是如果用户只上传了图片而没有最终保存套餐信息到我们的数据库,这时我们上传的图片就变为了垃圾图片。对于这些垃圾图片我们需要定时清理来释放磁盘空间。这就需要我们能够区分出来哪些是垃圾图片,哪些不是垃圾图片。如何实现呢?

方案就是利用redis来保存图片名称,具体做法为:

1、当用户上传图片后(不一定添加数据),将图片名称保存到redis的一个Set集合中,例如集合名称为setmealPicResources

2、当用户添加套餐后(已经添加到数据库),将图片名称保存到redis的另一个Set集合中,例如集合名称为setmealPicDbResources

3、计算setmealPicResources集合与setmealPicDbResources集合的差值,结果就是垃圾图片的名称集合,清理这些图片即可

使用win版本的redis作为服务器,部署阶段需要使用Linux部署,在win系统下可以使用下面的软件进行直观的看到redis的数据变化

实现步骤

需要在父工程中引入操作redis的依赖坐标


    redis.clients
    jedis
    ${jedis.version}

  1. 在health_backend项目中提供Spring配置文件spring-redis.xml

    如果是部署在虚拟机或云服务上面的需要修改redis链接地址

    
    
    
    	
    	
    		
    			200
    		
    		
    			50
    		
    		
    		
    	
    	
    		
    		
    		
    		
    	
    
    

    在springmvc.xml配置文件中加载redis配置文件

    
    
    
  2. 创建一个常量类

    作为redis的key

    package com.itheima.constant;
    
    public class RedisConstant {
        //套餐图片所有图片名称
        public static final String SETMEAL_PIC_RESOURCES = "setmealPicResources";
        //套餐图片保存在数据库中的图片名称
        public static final String SETMEAL_PIC_DB_RESOURCES = "setmealPicDbResources";
    }
    
  3. 完善图片上传的控制器

    @Autowired
    private JedisPool jedisPool;
    
    // 在上传图片的控制器中,上传成功后面添加下面代码保存图片到redis
    jedisPool.getResource().sadd(RedisConstant.SETMEAL_PIC_RESOURCES,fileName);
    
  4. 在保存到数据库的业务工程上添加spring-redis.xml

    复制上面的配置即可

  5. 修改保存到数据库的图片的业务实现类

    @Autowired
    private JedisPool jedisPool;
    
    // 在添加成功到数据库的下面添加保存到redis
    // 将图片名称保存到redis集合
        String img = setmeal.getImg();
        jedisPool.getResource().sadd(RedisConstant.SETMEAL_PIC_DB_RESOURCES,img);
    
  6. 启动测试

2.5、定时任务组件Qquartz
Quartz介绍

Quartz是Job scheduling(作业调度)领域的一个开源项目,Quartz既可以单独使用也可以跟spring框架整合使用,在实际开发中一般会使用后者。使用Quartz可以开发一个或者多个定时任务,每个定时任务可以单独指定执行的时间,例如每隔1小时执行一次、每个月第一天上午10点执行一次、每个月最后一天下午5点执行一次等。

官网:http://www.quartz-scheduler.org/

maven坐标:


  org.quartz-scheduler
  quartz
  2.2.1


  org.quartz-scheduler
  quartz-jobs
  2.2.1

2.5.1、Quartz入门案例

本案例基于Quartz和spring整合的方式使用。具体步骤:

  1. 创建maven工程quartzdemo,导入Quartz和spring相关坐标,pom.xml文件如下

    
    
        4.0.0
    
        com.zcl
        quartz_demo
        1.0-SNAPSHOT
    
        
            
                org.springframework
                spring-context-support
                5.0.2.RELEASE
            
            
                org.springframework
                spring-tx
                5.0.2.RELEASE
            
            
                org.quartz-scheduler
                quartz
                2.2.1
            
            
                org.quartz-scheduler
                quartz-jobs
                2.2.1
            
        
    
    
    
  2. 自定义一个Job

    表示在指定的调度时间内被执行的方法

    package com.zcl.jobs;
    
    import java.util.Date;
    
    
    public class JobDemo {
        public void run(){
            System.out.println("job execute..." + new Date());
        }
    }
    
  3. 提供Spring配置文件spring-jobs.xml,配置自定义Job、任务描述、触发器、调度工厂等

    指定触发的时间,基于Cron表达式,下面配置中写的是10秒钟调度一次,如果后面的代码需要变更类和具体的方法修改一下就可以了,同时统一调度配置里面可以调度多个

    
    
        
        
        
        
            
            
            
            
        
        
        
            
            
            
            
                0/10 * * * * ?
            
        
        
        
            
            
                
                    
                
            
        
    
    
  4. 测试

    如果不手动终止项目就会一直隔10秒调度一次

    public class App {
        public static void main(String[] args) {
            new ClassPathXmlApplicationContext("spring-jobs.xml");
        }
    }
    
  5. cron表达式

    上面的入门案例中我们指定了一个表达式:0/10 * * * * ?

    这种表达式称为cron表达式,通过cron表达式可以灵活的定义出符合要求的程序执行的时间。本小节我们就来学习一下cron表达式的使用方法。如下图:

    cron表达式分为七个域,之间使用空格分隔。其中最后一个域(年)可以为空。每个域都有自己允许的值和一些特殊字符构成。使用这些特殊字符可以使我们定义的表达式更加灵活。

    下面是对这些特殊字符的介绍:

    逗号(,):指定一个值列表,例如使用在月域上1,4,5,7表示1月、4月、5月和7月

    横杠(-):指定一个范围,例如在时域上3-6表示3点到6点(即3点、4点、5点、6点)

    星号(*):表示这个域上包含所有合法的值。例如,在月份域上使用星号意味着每个月都会触发

    斜线(/):表示递增,例如使用在秒域上0/15表示每15秒

    问号(?):只能用在日和周域上,但是不能在这两个域上同时使用。表示不指定

    井号(#):只能使用在周域上,用于指定月份中的第几周的哪一天,例如6#3,意思是某月的第三个周五 (6=星期五,3意味着月份中的第三周)

    L:某域上允许的最后一个值。只能使用在日和周域上。当用在日域上,表示的是在月域上指定的月份的最后一天。用于周域上时,表示周的最后一天,就是星期六

    W:W 字符代表着工作日 (星期一到星期五),只能用在日域上,它用来指定离指定日的最近的一个工作日

  6. cron表达式在线生成器

    前面介绍了cron表达式,但是自己编写表达式还是有一些困难的,我们可以借助一些cron表达式在线生成器来根据我们的需求生成表达式即可。

    http://cron.ciding.cc/

在项目中maven项目中使用定时任务清理七牛云存储图片

解决方案就是通过定时任务组件定时清理这些垃圾图片。为了能够区分出来哪些图片是垃圾图片,我们在文件上传成功后将图片保存到了一个redis集合中,当套餐数据插入到数据库后我们又将图片名称保存到了另一个redis集合中,通过计算这两个集合的差值就可以获得所有垃圾图片的名称。

本章节我们就会基于Quartz定时任务,通过计算redis两个集合的差值找出所有的垃圾图片,就可以将垃圾图片清理掉。

  1. 创建一个maven的web工程health_jobs,打包方式为war,导入Quartz等相关坐标

    该模块同时引入了一个接口工程

    
    
        
            health_parent
            com.zcl
            1.0-SNAPSHOT
        
        4.0.0
        war
        health_jobs
    
        
            UTF-8
            1.8
            1.8
        
        
            
            
                com.zcl
                health_interface
                1.0-SNAPSHOT
            
            
            
                org.quartz-scheduler
                quartz
            
            
                org.quartz-scheduler
                quartz-jobs
            
        
        
            
                
                    org.apache.tomcat.maven
                    tomcat7-maven-plugin
                    
                        
                        83
                        
                        /
                    
                
            
        
    
    
    
  2. 配置web.xml

    
    
      Archetype Created Web Application
      
      
        contextConfigLocation
        classpath*:applicationContext*.xml
      
      
        org.springframework.web.context.ContextLoaderListener
      
    
    
  3. 配置log4j.properties

    ### direct log messages to stdout ###
    log4j.appender.stdout=org.apache.log4j.ConsoleAppender
    log4j.appender.stdout.Target=System.err
    log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
    log4j.appender.stdout.layout.ConversionPattern=%d{ABSOLUTE} %5p %c{1}:%L - %m%n
    
    ### direct messages to file mylog.log ###
    log4j.appender.file=org.apache.log4j.FileAppender
    log4j.appender.file.File=c:\mylog.log
    log4j.appender.file.layout=org.apache.log4j.PatternLayout
    log4j.appender.file.layout.ConversionPattern=%d{ABSOLUTE} %5p %c{1}:%L - %m%n
    
    ### set log levels - for more verbose logging change 'info' to 'debug' ###
    
    log4j.rootLogger=info, stdout
    
  4. 配置applicationContext-redis.xml

    需要连接redis数据库获取到里面包存的差值

    
    
        
        
            
                200
            
            
                50
            
            
            
        
        
            
            
            
            
        
    
    
  5. 配置applicationContext-jobs.xml

    设置间隔时间论调清空云存储图片

    为了方便测试正常,将调度的时间改为了10秒调用一次,项目真正的项目发布时改为注释的时间执行即可

    
    
        
        
        
        
        
            
            
            
            
        
        
        
            
            
            
            
                
                0/10 * * * * ?
            
        
        
        
            
            
                
                    
                
            
        
    
    
  6. 创建ClearImgJob定时任务类

    package com.zcl.jobs;
    
    import com.itheima.constant.RedisConstant;
    import com.itheima.utils.QiniuUtils;
    import org.springframework.beans.factory.annotation.Autowired;
    import redis.clients.jedis.JedisPool;
    
    import java.util.Set;
    
    
    public class ClearImgJob {
        
        @Autowired
        private JedisPool jedisPool;
    
        
        public void clearImg(){
            // 根据redis中保存的两个set集合进行差值计算,获得垃圾图片的名称
            Set sdiff = jedisPool.getResource().sdiff(RedisConstant.SETMEAL_PIC_RESOURCES, RedisConstant.SETMEAL_PIC_DB_RESOURCES);
            // 判断集合
            if(sdiff != null){
                // 遍历集合
                for (String picName : sdiff) {
                    // 调用工具类删除七牛云服务器垃圾图片
                    QiniuUtils.deleteFileFromQiniu(picName);
                    // 删除redis集合中的图片名称【根据名称来删除】
                    jedisPool.getResource().srem(RedisConstant.SETMEAL_PIC_RESOURCES,picName);
                }
            }
        }
    }
    
    
  7. 测试

    七牛云上的图片

    redis原来保存的图片数据

    在redis的大集合中存储有一张垃圾图片,下面就要运行程序进行删除了

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/977765.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号