例如:阿里OSS文件存储:Java使用阿里云OSS上传文件,普通上传与分片上传,轻轻松松上传小文件、大文件
2.读入数据使用阿里云OSS服务先要去官网申请:阿里云API的密钥AccessKeyID、阿里云API的密钥AccessKeySecret 有了这两个才能进行开发。
代码如下(示例):
FileService
public MapuploadFile(MultipartFile file) throws ValidationException { String saveUrl = ""; try { log.info("------文件上传方法执行------"); long startTime = System.currentTimeMillis(); // 阿里OSS SimpleDateFormat dateFormat = new SimpleDateFormat("yyyyMMdd"); Date date = new Date(); // 阿里云API的文件夹名称(子文件夹) String format = dateFormat.format(date) + "/"; // 文件名 String formats = String.valueOf(UUID.randomUUID()); // MultipartFile 转 File File newFile = MultipartFileToFileUtil.multipartFileToFile(file); // 返回结果 resultArr[0]:唯一MD5数字签名 resultArr[1]:如:"appversion/20200723/a3662009-897c-43ea-a6d8-466ab8310c6b.apk" String[] resultArr = AliyunOSSClientUtil.uploadObject2OSS(AliyunOSSClientUtil.getOSSClient(), newFile, bucketName, folder, format, formats); // 网络URL地址:s端传入cdn链接 + resultArr[1] if (resultArr != null) { String path = resultArr[1]; // 保存路径url地址:http://zhiliaoappversion.oss-cn-beijing.aliyuncs.com/appversion/20200723/a3662009-897c-43ea-a6d8-466ab8310c6b.apk saveUrl = AliyunOSSClientUtil.getUrl(bucketName, path); } // 删除本地临时文件 MultipartFileToFileUtil.deleteTempFile(newFile); long endTime = System.currentTimeMillis(); log.info("------文件上传成功,耗时" + ((endTime - startTime) / 1000) + "s------"); Map dataMap = new HashMap<>(3); dataMap.put("name", newFile.getName()); dataMap.put("url", saveUrl); return dataMap; }catch (Exception e) { e.printStackTrace(); log.info("------文件上传失败------"); Map dataMap = new HashMap<>(2); dataMap.put("name", "上传失败"); dataMap.put("url", "上传失败"); return dataMap; } }
AiyunOSSClientUtil
public static OSS getOSSClient() {
ClientBuilderConfiguration conf = new ClientBuilderConfiguration();
// 连接空闲超时时间,超时则关闭
conf.setIdleConnectionTime(1000);
return new OSSClientBuilder().build(ENDPOINT, ACCESS_KEY_ID, ACCESS_KEY_SECRET, conf);
}
public static String createBucketName(OSS ossClient, String bucketName) {
if (!ossClient.doesBucketExist(bucketName)) {
//创建存储空间
Bucket bucket = ossClient.createBucket(bucketName);
log.info("创建存储空间成功");
return bucket.getName();
}
return bucketName;
}
public static void deleteBucket(OSS ossClient, String bucketName) {
ossClient.deleteBucket(bucketName);
log.info("删除" + bucketName + "桶成功");
}
public static String[] uploadObject2OSS(OSS ossClient, File file, String bucketName, String folder, String format, String formats) {
String[] resultArr = new String[2];
try {
// 以输入流的形式上传文件(普通上传)
folder = folder + format;
InputStream is = new FileInputStream(file);
// 文件名
String fileName = file.getName();
// 文件扩展名
String fileExtension = fileName.substring(fileName.lastIndexOf("."));
// 最终文件名:UUID + 文件扩展名
fileName = formats + fileExtension;
// 上传路径 如:appversion/20200723/a3662009-897c-43ea-a6d8-466ab8310c6b.apk
String path = folder + fileName;
log.info("上传到路径" + path);
// 文件大小
long fileSize = file.length();
// 创建上传Object的Metadata
ObjectMetadata metadata = new ObjectMetadata();
// 上传的文件的长度
metadata.setContentLength(is.available());
// 指定该Object被下载时的网页的缓存行为
metadata.setCacheControl("no-cache");
// 指定该Object下设置Header
metadata.setHeader("Pragma", "no-cache");
// 指定该Object被下载时的内容编码格式
metadata.setContentEncoding("utf-8");
// 文件的MIME,定义文件的类型及网页编码,决定浏览器将以什么形式、什么编码读取文件。如果用户没有指定则根据Key或文件名的扩展名生成,
// 如果没有扩展名则填默认值application/octet-stream
metadata.setContentType(getContentType(fileExtension));
// 指定该Object被下载时的名称(指示MINME用户代理如何显示附加的文件,打开或下载,及文件名称)
metadata.setContentDisposition("filename/filesize=" + fileName + "/" + fileSize + "Byte.");
// 上传文件 (上传文件流的形式)
PutObjectResult putResult = ossClient.putObject(bucketName, path, is, metadata);
// 解析结果
resultArr[0] = putResult.getETag();
resultArr[1] = path;
is.close();
ossClient.shutdown();
} catch (Exception e) {
e.printStackTrace();
log.error("上传阿里云OSS服务器异常." + e.getMessage(), e);
} finally {
// 关闭OSSClient
ossClient.shutdown();
}
return resultArr;
}
public static String getUrl(String bucketName, String key) {
// 设置URL过期时间为10年 3600L*1000*24*365*10
Date expiration = new Date(System.currentTimeMillis() + 3600L * 1000 * 24 * 365 * 10);
OSS ossClient = getOSSClient();
// 生成URL
URL url = ossClient.generatePresignedUrl(bucketName, key, expiration);
return url.toString();
}
public static String getContentType(String fileExtension) {
// 文件的后缀名
if (".bmp".equalsIgnoreCase(fileExtension)) {
return "image/bmp";
}
if (".gif".equalsIgnoreCase(fileExtension)) {
return "image/gif";
}
if (".jpeg".equalsIgnoreCase(fileExtension) || ".jpg".equalsIgnoreCase(fileExtension)
|| ".png".equalsIgnoreCase(fileExtension)) {
return "image/jpeg";
}
if (".html".equalsIgnoreCase(fileExtension)) {
return "text/html";
}
if (".txt".equalsIgnoreCase(fileExtension)) {
return "text/plain";
}
if (".vsd".equalsIgnoreCase(fileExtension)) {
return "application/vnd.visio";
}
if (".ppt".equalsIgnoreCase(fileExtension) || "pptx".equalsIgnoreCase(fileExtension)) {
return "application/vnd.ms-powerpoint";
}
if (".doc".equalsIgnoreCase(fileExtension) || "docx".equalsIgnoreCase(fileExtension)) {
return "application/msword";
}
if (".xml".equalsIgnoreCase(fileExtension)) {
return "text/xml";
}
if (".mp4".equalsIgnoreCase(fileExtension)) {
return "video/mp4";
}
// android
if (".apk".equalsIgnoreCase(fileExtension)) {
return "application/vnd.android.package-archive";
}
// ios
if (".ipa".equals(fileExtension)) {
return "application/vnd.iphone";
}
// 默认返回类型
return "application/octet-stream";
}
MultipartFileToFileUtil
public class MultipartFileToFileUtil {
public static File multipartFileToFile(MultipartFile file) {
try {
File toFile;
if (file != null && file.getSize() > 0) {
InputStream ins = null;
ins = file.getInputStream();
toFile = new File(file.getOriginalFilename());
inputStreamToFile(ins, toFile);
ins.close();
return toFile;
}
return null;
} catch (IOException e) {
e.printStackTrace();
return null;
}
}
public static void inputStreamToFile(InputStream ins, File file) {
try {
OutputStream os = new FileOutputStream(file);
int bytesRead;
byte[] buffer = new byte[8192];
while ((bytesRead = ins.read(buffer, 0, 8192)) != -1) {
os.write(buffer, 0, bytesRead);
}
os.close();
ins.close();
} catch (Exception e) {
e.printStackTrace();
}
}
public static void deleteTempFile(File file) {
if (file != null) {
File del = new File(file.toURI());
del.delete();
}
}
}
yml配置
aliyunOSS: endpoint: # 阿里云API的内或外网域名 accessKeyId: # 阿里云API的密钥AccessKeyID accessKeySecret: P # 阿里云API的密钥AccessKeySecret bucketName: # bucket(桶)名称 folder: uploadfile/总结
提示:这里对文章进行总结:
例如:以上就是今天要讲的内容,本文仅仅简单介绍了pandas的使用,而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。



