江湖人称涛哥-CSDN博客

原创基于flink与groovy实现全实时动态规则智能营销与风控系统

本文是对视频课程《基于flink与groovy实现亿用户级实时动态规则智能运营系统》的介绍说明；本项目极具行业实用价值，可为各企业开发人员提供系统设计思路与灵感，而且，它不光可用于智能运营，也可以应用在实时规则推荐，实时广告推送，实时规则封控，实时交通监控等纪委广泛的场景中；当然，各类培训机构学员也可以通过学习此项目来丰富自己的就业简历，绝对杀手锏级别！在面试中运用得当，可以起到一锤定音立竿见影的绝杀效果！

2022-09-20 15:04:21 4985 2

原创从零构建FLINK整合Drools动态规则实时运营系统（项目案例）-第6篇（V1.0版开发篇）

前言本案例是一个专注于flink动态规则计算的项目，核心技术组件涉及flink、hbase、clickhouse、drools等项目可根据各类个性化需求进行二次开发后，直接用于实时运营，实时风控、交通监控等场景的线上生产项目完整视频教程和资料代码等，可在易学在线 https://v.51doit.cn 获取技术交流，可加微信： haitao-duan列位看官，为了能够更好地理解后续《动态规则版实时运营系统》的设计思想和代码实现，我们先来开发一个简化版且没有动态规则功能的实时运营系统；

2021-04-01 19:22:20 2790 1

原创从零构建FLINK整合Drools动态规则实时运营系统（项目案例）-第5篇（用户画像篇）

画像标签体系用户基本属性标签用户订单属性标签用户退换货属性标签用户购物车属性标签用户活跃属性标签用户偏好属性标签用户基本属性标签用户属性指标主要根据业务数据来源（业务系统中的用户信息）尽可能全面地描述用户基础属性这些基础属性值是短期内不会有改变的，如年龄、性别、手机号归属地、身份证归属地等字段类型定义备注user_idbigint用户编码login_namestring登录名称user_namestring用户姓名

2021-04-01 18:54:38 1537 1

原创从零构建FLINK整合Drools动态规则实时运营系统（项目案例）-第3篇（需求示例篇）

列位看官，为了能够更好地理解后续《动态规则版实时运营系统》的设计思想和代码实现，我们先来开发一个简化版且没有动态规则功能的实时运营系统；需求示例示例一公司最近有一个商务休闲服装品牌的商家&平台联合促销活动，在3.25-4.25期间，只要购买该品牌的服装，则都可以使用一个50元的代金券；市场运营人员不想把优惠券无差别地发放给平台所有用户，而是想把优惠券尽可能发给有可能产生购买行为的用户；因此，市场部定义了一个发放优惠券的促销规则：规则触发行为条件：用户浏览男装商品受众画像属性条件：

2021-04-01 18:36:55 894 1

原创从零构建FLINK整合Drools动态规则实时运营系统（项目案例）-第4篇（日志准备篇）

前言本案例是一个专注于flink动态规则计算的项目，核心技术组件涉及flink、hbase、clickhouse、drools等项目可根据各类个性化需求进行二次开发后，直接用于实时运营，实时风控、交通监控等场景的线上生产项目完整视频教程和资料代码等，可在易学在线 https://v.51doit.cn 获取技术交流，可加微信： haitao-duan兵马未动，粮草先行巧妇难为无米之炊，本运营系统的开发，离不开用户行为的数据记录；各类网站、app等互联网产品上，用户的行为记录数据，往往

2021-03-29 22:15:05 1002

原创从零构建FLINK整合Drools动态规则实时运营系统（项目案例）第1篇（项目介绍篇）

1 整体架构前言本案例是一个专注于flink动态规则计算的项目，核心技术组件涉及flink、hbase、clickhouse、drools等项目可根据各类个性化需求进行二次开发后，直接用于实时运营，实时风控、交通监控等场景的线上生产项目完整视频教程和资料代码等，可在易学在线 https://v.51doit.cn 获取技术交流，可加微信： haitao-duan技术架构示意图2 涉及技术Flink 实时流式计算王者引擎Canal 数据库实时采集Kafka 分布式消息缓存系统R

2021-03-29 22:06:18 2903

原创从零构建FLINK整合Drools动态规则实时运营系统（项目案例）第2篇（业务介绍篇）

项目简介项目gitee地址： https://gitee.com/hunter_d/yinew_marketing.git1.1背景介绍易牛鹰眼FLINK动态规则实时智能运营系统，是基于用户行为洞察的一站式智能运营平台；集活动创建、执行、管理、反馈、迭代为一体，能够通过用户行为、属性、标签等数据筛选受众，实现目标人群的精准触达，提升关键指标和运营效率。1.2系统功能精细化营销闭环方案活动策略制定每天都想策划行之有效的运营活动？在易牛实时智能运营上您可以灵活创建活动计划，制定活动目标

2021-03-29 21:36:27 3102 1

原创企业级大数据项目【4】数仓-业务域ODS-DWD-ADS开发篇

1概要说明业务域的数据来自业务系统的数据库通过sqoop（或datax）抽取到数仓的ods层在ods层对有需要的表进行增量合并，字段选择，反范式话，形成dwd明细层表在明细层基础上，进行各类主题的数据统计、分析课程中，主要分析的主题有：交易域分析营销域分析会员域分析物流域分析仓储域分析供应域分析…什么是业务系统：公司向用户提供业务功能的系统，比如京东：京东商城！头条：头条网站这一类系统，通常都是web系统，简单来说，分为：界面（浏览器网页）+后端（web服务）+存储（

2021-01-23 16:55:07 1789

原创企业级大数据项目【3】数仓-流量域DWD-DWS开发篇

1DW层整体设计建模思想：DWD：放明细数据DWS：数仓服务层；它的建模思想，就是为最终需求计算来提供支持服务，所以建模相对灵活常见的建模套路有：1.建大宽表（对应：维度建模思想中的维度退化）2.轻度聚合3.看具体需求（如，用户连续活跃区间记录表）1.1技术选型概述存储：HDFS运算：HIVE/SPARK1.2输入输出数仓内部输入dwd层事实表及dim层维度表输出dws层聚合表1.3主题模型举例流量会话聚合天/月表日新日活维度聚合表事件会话聚合

2021-01-21 16:50:18 2605 1

原创企业级大数据项目【2】数仓-流量域ODS-DWD开发篇

1数仓整体说明什么数仓：一个面向分析的，反映历史变化的数据仓库；数仓的技术手段：1)传统数仓一般都是采用关系型数据库软件；2)大数据领域中则尚无一站式解决方案，通常需要用到很多技术组件来实现不同环节：使用HDFS做存储使用 spark、mapreduce 作为底层计算引擎使用hive或者sparksql，作为sql引擎另外，还有impala/presto纯内存运算引擎，kylin，clickhouse 等各类组件1.1技术选型数据采集：flume存储平台：hdfs基础设施：hiv

2021-01-21 10:59:48 3091 1

原创企业级大数据项目【1】需求分析及概要设计篇

【1】需求分析及概要设计篇1学习要求每日总结当天内容需求是什么解决需求的方案是什么具体实现逻辑是什么开发过程中有遇到哪些问题2项目背景某APP上线后，由于业务模式新颖，市场需求量大，经过一段时间的精心运营后，逐渐积累起了上千万用户，以及三四百万的日活量，app的业务功能和产品种类、数量也急速膨胀；随着规模的增长，逐渐凸显出大量的问题：营销分析断层：市场营销成本居高不下，投放拉新的效果追踪出现断层，无法追踪各渠道实际转化率，难以准确分析 ROI。产品迭代无法量化：缺少实时的用

2021-01-20 17:20:32 3175

原创大型综合大数据实战项目课程分享——涛哥出品（重磅OFFER杀手）

《Titan大型综合数据运营系统》这套课程，乃涛哥呕心沥血之作，分享给有缘人！299的课程，价值实在远超价格的10倍以上，得之者，幸！B站上有老的公开版；不过B站老版本的架构、设计、各需求具体实现方案等，相比本新版本来说，有诸多不成熟之处，有许多未填之坑；学习此版本，将为你的大数据面试求职之路铺就康庄大道，在项目经验论述这块，你将游刃有余！课程内容涵盖互联网行业用户行为分析数据仓库建设OLAP分析平台用户画像机器学习算法数据挖掘精准广告投放等诸多企业重点数据开发内容，各模块同

2020-12-09 23:13:35 1202

原创《大型综合项目-基于大数据平台的数据仓库》学习笔记（12）：埋点日志报表篇3

目录一、【App分析】app版本升级分析 1、需求分析 2、ADS模型：ADS_APP_UPG 3、计算 1)、计算...

2020-11-24 16:59:57 6915

原创《综合项目：模块1--数仓系统》视频及资料更新到2.0版

各位线上视频学员，《综合项目模块1–数仓系统》视频及资料更新到2.0版，请到网盘下载新版。\数仓\doit07-综合项目-模块1-数据仓库-day0101.项目开发前置知识–git版本管理–gitee码云-提交-拉取-分支操作.wmv02.项目背景介绍.wmv03.项目背景介绍（2）.wmv04.项目模块1-数仓介绍–字典数据构建需求.wmv05.数据库和数据仓库等概念的厘清.wmv...

2020-11-24 16:44:21 5976

原创 29_多易教育之《yiee数据运营系统》附录：扩展知识点汇总系列二

目录一、OLAP多维分析概念及函数 1、cube导论 2、cube核心操作 1)、cube核心操作 &nb...

2020-02-18 00:21:36 6059

原创 apache atlas 2.0 详细安装手册

1.1 atlas编译打包l 首先，在官网下载源码包http://atlas.apache.org/l 上传到linux，解压[root@h2 ~]# tar -zxf apache-atlas-2.0.0-sources.tar.gz -C /opt/app/l [可选]步骤：为maven配置添加国内下载镜像vi $M2_HOME/conf/settings.xml<m...

2020-02-12 19:09:02 14992 4

原创 28_多易教育之《yiee数据运营系统》附录：扩展知识点汇总系列一

目录一、日志工具log4j二、高德地图服务 1、导论 2、高德地图服务申请 3、高德地图服务API三、HanLP中文分词四、hive多重插入语法五、hive动态分区一、日志工具log4jlog4j是一个java系统中...

2020-02-11 15:58:29 5660

原创 27_多易教育之《yiee数据运营系统》数据治理-atlas部署使用篇

目录一、atlas编译打包二、atlas安装配置 1、编译环境 2、编译步骤 3、安装步骤 4、hive-hook钩子配置 &nb...

2020-02-11 15:36:13 6016 2

原创 26_多易教育之《yiee数据运营系统》数据治理-atlas介绍篇

目录一、前言二、概要介绍三、核心组件 1、Core 2、Integration 3、Metadata source 4、Applications四、核心特性&nbsp...

2020-02-11 11:07:06 6013

原创 25_多易教育之《yiee数据运营系统》OLAP平台-画像分析篇

目录一、画像数据查询分析二、用户分群查询分析三、自定义标签查询分析一、画像数据查询分析二、用户分群查询分析三、自定义标签查询分析...

2020-02-11 10:22:59 5712 1

原创 24_多易教育之《yiee数据运营系统》OLAP平台-运营分析篇

目录一、技术框架选型二、web页面框架搭建三、固化报表展现开发–表格形式 1、需求说明 2、前端页面开发 3、后端controller 4、后端service&nbsp...

2020-02-11 10:16:09 6044 2

原创 23_多易教育之《yiee数据运营系统》OLAP平台-整体概述篇

目录一、OLAP 平台概述二、OLAP平台需求示例三、Presto集群搭建一、OLAP 平台概述OLAP：联机在线数据分析系统olap平台是提供给运营人员进行各种联机数据分析的人性化平台按照查询类型划分，OLAP一般分为即席查询和固化查询，即席查询:通过手写sql完成一些临时的数据分析需求，这类sql形式多变、逻辑复杂，对查...

2020-02-10 22:07:08 6057

原创 22_多易教育之《yiee数据运营系统》用户画像-消费行为性别预测篇

目录一、性别预测需求用户注册时，所填写的性别，存在大概率的随意性；不能完全作为用户画像的性别参考；在无法通过直接手段获得用户真实性别的情况下，需要通过用户的各种行为特征，来对用户的性别进行预测；二、算法选择-逻辑回归分类算法可以用朴素贝叶斯做；也可以用逻辑回归算法来做；三、特征工程-选择特征有以下样本特征数据，需要对未知数据进行消费行为性别预测category1： 30天内买得...

2020-02-10 17:58:05 5931 1

原创 21_多易教育之《yiee数据运营系统》用户画像-模型标签流失预测篇兼退拒风险概率预测篇

目录一、流失概率预测需求二、算法选择-朴素贝叶斯分类算法三、特征工程-选择特征四、特征工程-特征数据源五、特征工程-特征值离散化六、特征工程-向量规范化七、机器学习-模型训练八、机器学习-流失率预测一、流失概率预测需求根据用户的活跃度及消费情况，判断用户的流失意向。可及时对有流失趋向的用户做营销召回像这样的概率型结论，通过一个普通的算术运算来得出的话，不会太靠谱！要通过...

2020-02-10 17:44:27 5948

原创 20_多易教育之《yiee数据运营系统》用户画像-算法实例篇

目录一、算法实例KNN二、算法实例NaiveBayes 1、算法简介 2、朴素贝叶斯的原理及理解 3、算法计算示例 ...

2020-02-10 17:32:02 5872

原创 19_多易教育之《yiee数据运营系统》用户画像-算法导论篇

目录一、机器学习概念二、机器学习算法的分类 1、监督学习 2、无监督学习 3、半监督学习 4、向量入门三、机器学习的常见算法四、基本数学知识 ...

2020-02-09 23:31:00 6092 1

原创 18_多易教育之《yiee数据运营系统》用户画像-事实标签计算篇

目录一、用户属性标签二、用户登录活跃指标三、用户年龄段划分四、用户行为标签五、用户消费能力标签一、用户属性标签用户属性指标根据业务数据来源尽可能全面地描述用户基础属性这些基础属性值是短期内不会有改变的，如年龄、性别、手机号归属地、身份证归属地等字段字段类型字段定义user_idbigint用户编码login_namestring登录名称...

2020-02-09 15:01:15 5642

原创 17_多易教育之《yiee数据运营系统》用户画像-技术架构方案篇

技术架构方案篇用户画像，广义上属于“Titan数据运营系统”的一个功能模块因此它的技术架构仍属于Titan数据运营系统的体系；基础计算层，以之前已经搭建好的数仓系统为主；高级计算层，以新开发的spark模型算法程序为主；OLAP层，以之前的Presto+springboot为实时运算平台，以之前的“Titan数据运营分析平台”WEB系统为基础...

2020-02-09 14:34:36 5948

原创 16_多易教育之《yiee数据运营系统》用户画像-标签体系设计篇

目录一、产品经理视角二、技术视角-标签种类三、技术视角-标签层次四、技术视角-标签开发策略 1、事实、模型标签 2、决策标签一、产品经理视角很多用户画像初衷是好的，但是沦为了形式主义。；举身边的例子，朋友在公司建立用户画像划分了百来个维度。用户消费、属性、行为无所不包。本...

2020-02-09 14:29:15 6189

原创《大型综合项目-基于大数据平台的数据仓库》学习笔记（15）：用户画像概念介绍篇

目录一、用户画像基本概念二、用户画像的应用一、用户画像基本概念用户画像是大数据领域中一个非常核心的应用，它是和精准营销、精细化运营直接钩挂的。用户画像一点也不神秘，它是根据用户在互联网留下的种种数据，主动或被动地收集，最后加工成一系列的标签。比如猜用户是男是女，哪里人，工资多少，有没有谈恋爱，喜欢什么，准备剁手购物吗?二、用户画像的应用用户画像在企业迈大迈强的过程中有举足轻重的...

2020-02-09 14:22:56 6179 1