栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hive从入门到实战No.5

hive从入门到实战No.5

sql当中主要关键字的执行顺序问题

        select ,where,group by , order by, from优先级问题

                1)select < from

                2) select < where

                3) select < group by

                4) select > order by 

        结论

                order

项目立项书

                要做项目的时候,有一个项目的正式列入公司正常开发项目的仪式,称为项目立项书

项目分类-按项目的发布形式

                桌面型项目-C/S 结构=client/server

                        单机、本地安装、功能驱动

                web类型项目-B/S 结构=Browser/server

                        联网、分布式、功能驱动

                数据开发类项目

                        数据流驱动

                                整个过程,都是以数据节点的流程作为开发的主要依赖

数据开发项目的标准流程

        项目背景-需求说明

        需求分析

        技术方案和排期表

        开发细节和风险控制

        测试、Bug修复、调优

        正式上线-用户可以正式使用

        项目总结

细节开发的注意事项

        目录组织结构-五大金刚

                creat

                        放数据表的创建sql语句

                udf

                        放javascalapython等相关的自定义代码部分

                deal

                        放相关的具体的业务处理的shell脚本程序

                data

                        存放项目需要的一些临时数据、输入输出临时需要的数据

                conf

                        放项目所需要的配置文件相关的内容。使项目具备更好的可以执行

———————————————————————————————————————————

实战项目之APP热点标签分析

目录

        一、项目背景与目标

        二、需求分析

        三、主要思路与考点

详情

一、项目背景与目标

        项目背景

                在移动App满天飞的当下,如何做好app的营销和推广至关重要,而该环节的关键在于对APP做大众喜欢的关键字描述,从而提高APP的搜索命中率和下载率

                找到热度标签,蹭热度标签往往可以提高相应的APP的下载量和使用量。

        项目目标

                用时不超过一周,主要是通过查看之前教学资料和视频,百度搜索等方式搞定,加强实战应用开发能力和自学能力

                最终达到对于常用的小模块开发,可以在1-5天内迅速解决战斗,并形成自身的类库积累

                掌握数据开发流程、核心代码开发,达到独立开发中小型数据仓库项目的能力

二、需求分析

        给定一批app名称及其描述信息共52.9完条数据

        其内容结构为,共包含6个字段,分别为(appid,appname,一级分类,二级分类,三级分类,tags描述信息),但不一定完全规整,视实际情况可能左对齐包括四个或者五个或六个字段

        通过大数据开发之hive数据仓库命令形式,完成数据加载、udf/udaf/udtf函数、统计分析的任务,并演示项目效果即可

三、主要思路与考点

        主要思路

                通过hive命令将数据加载到数据仓库中

                使用hql+udf/udaf/udtf完成统计分析

                将统计分析结果插入到hive中自建的新表中

        主要考点

                数据仓库的目录结构和开发规范

                hive及hiveSQL常用命令

                系统函数+udf/udaf/udtf灵活使用

                hive常见问题的解决

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/354514.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号