高考报名时间2022年11月1日还剩 天 距离2023年6月7日高考还有 天
栏目分类:
子分类:
返回
名师互学网用户登录
名师互学网
快速导航关闭
当前搜索
当前分类
前沿技术 软件开发 系统运维 产品运营 生活办公 面试经验 考试题库
子分类
人工智能 大数据 云计算 区块链 物联网 深度学习 机器学习 NLP 计算机视觉 语音识别 其他 大数据系统 数据可视化 数据挖掘与分析 其他 Docker/k8s 虚拟化 云平台 其他 基本原理 数字货币 智能合约 EOS应用 其他 通讯技术 嵌入式开发 单片机 物联网应用 HarmonyOS 其他 后端开发 Web开发 移动开发 游戏开发 Python Java 架构设计 C/C++/C# PHP .Net Go语言 R语言
实用工具
学习工具 小学数学练习 字帖生成 在线画板 函数绘制 拼音字母表 在线词典 黄历查询 亲戚关系计算 安全期计算 中国历史 Excel函数 模拟请求 json格式化 浏览器指纹
热门搜索
路由器设置 木托盘 宝塔面板 儿童python教程 心情低落 朋友圈 vim 双一流学科 专升本 我的学校 日记学校 西点培训学校 汽修学校 情书 化妆学校 塔沟武校 异形模板 西南大学排名 最精辟人生短句 6步教你追回被骗的钱 南昌大学排名 清朝十二帝 北京印刷学院排名 北方工业大学排名 北京航空航天大学排名 首都经济贸易大学排名 中国传媒大学排名 首都师范大学排名 中国地质大学(北京)排名 北京信息科技大学排名
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

spark过滤数据根据事件进行属性解密

大数据系统 更新时间： 发布时间： IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

spark过滤数据根据事件进行属性解密

需求背景:

需要对事件过滤,对符合要求的数据进行解密处理

代码实现

package com.sensordata.zxjt.hispro;

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.yelong.security.sm4.SM4Utils;

import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class zxjtHistoryProcess {


    public static  void main(String[] args) {

        SparkConf sparkConf = new SparkConf().setAppName("sensordata");
        JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf);
        JavaRDD  javaRDD=  javaSparkContext.textFile(args[0]);

        JavaRDD result= javaRDD.filter(new Function() {
            @Override
            public Boolean call(String s) throws Exception {
                JSonObject jsonObject1 = JSON.parseObject(s);
                if(jsonObject1.getString("type").equals("track_signup")) {
                    return false;
                }else {
                    return true;
                }
            }
        }).map(new Function() {
            @Override
            public Object call(String s) throws Exception {
                JSonObject jsonObject = JSON.parseObject(s);
                if(jsonObject.getString("type").equals("track")) {
                   return returnEventJsonStr(jsonObject);

                }else if(jsonObject.getString("type").equals("profile_set")) {
                    return  returnProfileSetJsonStr(jsonObject);
                }
                return jsonObject.toJSonString();
            }
        });

        result.saveAsTextFile(args[1]);

    }

    public static boolean isbase64(String str) {

        if (str == null || str.trim().length() == 0 || str.length() % 4 != 0) return false;
        char[] strChars = str.toCharArray();
        for (char c : strChars) {
            if (!(c >= 'a' && c <= 'z') && !(c >= 'A' && c <= 'Z') && !(c >= '0' && c <= '9')
                    && c != '+' && c != '/' && c != '=') return false;
        }
        return  true;
    }

    public static boolean isbase64Regx(String str) {
        String base64Pattern = "^([A-Za-z0-9+/]{4})*([A-Za-z0-9+/]{4}|[A-Za-z0-9+/]{3}=|[A-Za-z0-9+/]{2}==)$";
        return Pattern.matches(base64Pattern, str);
    }

    public static boolean isMessyCode(String strName) {
        try {
            Pattern p = Pattern.compile("\s*|t*|r*|n*");
            Matcher m = p.matcher(strName);
            String after = m.replaceAll("");
            String temp = after.replaceAll("\p{P}", "");
            char[] ch = temp.trim().toCharArray();

            int length = (ch != null) ? ch.length : 0;
            for (int i = 0; i < length; i++) {
                char c = ch[i];
                if (!Character.isLetterOrDigit(c)) {
                    String str = "" + ch[i];
                    if (!str.matches("[u4e00-u9fa5]+")) {
                        return true;
                    }
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        }

        return false;
    }

    //数据校验
    public  static String returnStrVal(String value,String key) {

        String decodeval="-1";

        if (isbase64(value) && isbase64Regx(value)) {

            try {
                decodeval = SM4Utils.decodeBybase64(value, key.getBytes());
                if(isMessyCode(decodeval)){
                    decodeval="-1";
                }
            } catch (Exception e) {
            }
        }
        return decodeval;
    }


    public static JSonObject returnProfileSetJsonStr(JSonObject jsonObject){

        if(jsonObject.getString("distinct_id")!=null){

            String distinct_id = jsonObject.getString("distinct_id");
            String decodeval = returnStrVal(distinct_id, "Asdf5678ghjk1234");
            if(!decodeval.equals("-1")&&!isMessyCode(decodeval)) {
                jsonObject.put("distinct_id", decodeval);
            }
        }

        return jsonObject;
    }


    //返回event表的track格式json
    public static JSonObject returnEventJsonStr(JSonObject jsonObject){

        String distinctidRegx = "distinct_id";
        String propertiesRegx = "properties";
        String accountNumberRegx = "account_number";
        String phonenumberRegx = "phone_number";
        
        #秘钥自定义
        String key = "########";

        if(jsonObject.getString(distinctidRegx)!=null){
            String distinct_id = jsonObject.getString(distinctidRegx);
            String decodeval = returnStrVal(distinct_id,key);
            if(!decodeval.equals("-1")) {
                jsonObject.put(distinctidRegx, decodeval);
            }
        }

        //处理account_number，在properties属性里面
        if( jsonObject.get(propertiesRegx)!=null ){
            JSonObject jsonNode= (JSONObject) jsonObject.get(propertiesRegx);
            if (jsonNode.getString(accountNumberRegx)!=null) {
                String accountnumberVal = returnStrVal(jsonNode.getString(accountNumberRegx), key);
                if (!accountnumberVal.equals("-1")) {
                    jsonNode.put("account_number_plaintext",accountnumberVal);
                }
            }
        }

        //处理phone_number
        if( jsonObject.get(propertiesRegx)!=null ){
            JSonObject jsonNode= (JSONObject) jsonObject.get(propertiesRegx);
            if( jsonNode.getString(phonenumberRegx)!=null ) {
                String phonenumberVal = returnStrVal(jsonNode.getString(phonenumberRegx), key);
                if (!phonenumberVal.equals("-1")) {
                    jsonNode.put("phone_number_plaintext",phonenumberVal);
                }
            }
        }
        return jsonObject;
    }

}
 








转载请注明：文章转载自 www.mshxw.com















大数据系统相关栏目本月热门文章












热门相关搜索






路由器设置
木托盘
宝塔面板
儿童python教程
心情低落
朋友圈
vim
双一流学科
专升本
我的学校
日记学校
西点培训学校
汽修学校
情书
化妆学校
塔沟武校
异形模板
西南大学排名
最精辟人生短句
6步教你追回被骗的钱
南昌大学排名
清朝十二帝
北京印刷学院排名
北方工业大学排名
北京航空航天大学排名
首都经济贸易大学排名
中国传媒大学排名
首都师范大学排名
中国地质大学(北京)排名
北京信息科技大学排名
中央民族大学排名
北京舞蹈学院排名
北京电影学院排名
中国戏曲学院排名
河北政法职业学院排名
河北经贸大学排名
天津中德应用技术大学排名
天津医学高等专科学校排名
天津美术学院排名
天津音乐学院排名
天津工业大学排名
北京工业大学耿丹学院排名
北京警察学院排名
天津科技大学排名
北京邮电大学(宏福校区)排名
北京网络职业学院排名
北京大学医学部排名
河北科技大学排名
河北地质大学排名
河北体育学院排名















学习工具


代数计算器


三角函数


解析几何


立体几何






知识解答


教育知识


百科知识


生活知识


常识知识






写作必备


作文大全


作文素材


句子大全



实用范文






关于我们


关于我们


联系我们


网站地图






 交流群

名师互学网交流群




名师互学网客服

名师互学网客服












名师互学网 版权所有 (c)2021-2022      ICP备案号：晋ICP备2021003244-6号
 








我们一直用心在做

关于我们
文章归档
网站地图
联系我们

版权所有 (c)2021-2022 MSHXW.COM


ICP备案号：晋ICP备2021003244-6号