- 博客(32)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 Java简单应用之去除SQL文件注释
你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：撤销：Ctrl/Command + Z重做：Ctrl/Command + Y加粗：Ctrl/Command + B斜体：Ctrl/Command + I标题：Ctrl/Command + S
2023-05-25 08:48:27
426
原创 ES空字符串和null值查询
1. **不是""也不是null**{ "query": {在这里插入代码片 "bool": { "must": [ { "bool": { "must_not": { "term": { "id": "" } }, "must": { "exists"...
2022-05-24 13:38:06
6483
原创 升级flink1.12.4
java.lang.NoSuchMethodError: org.apache.flink.api.common.state.OperatorStateStore.getSerializableListState将 flink-connector-filesystem_${scala.binary.version} jar 包由1.10.1升级到1.11.2
2021-08-16 14:57:57
449
原创 centos7 安装tensorflowserving
参考:https://blog.csdn.net/u011734144/article/details/82107610docker pull tensorflow/serving$cd /root/software/$git clone https://github.com/tensorflow/servingdocker run -p 8501:8501 –mount type=bind,\source=${pwd}/serving/tensorflow_serving/servables/
2020-05-20 13:58:04
367
1
转载 centos docker 安装
参考:https://www.runoob.com/docker/centos-docker-install.htmlhttps://blog.csdn.net/u014069688/article/details/100532774yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-e
2020-05-20 09:53:00
144
原创 tensorflow 加载模型AttributeError UserObject object has no attribute
[TF2.0]加载保存的模型失败，出现“ AttributeError：’_UserObject’对象没有属性’_create_or_restore_slot_variable’参考: https://github.com/tensorflow/tensorflow/issues/26814我是升级tensorflow版本至最新解决此问题
2020-05-15 10:58:26
2735
转载 修改/etc/security/limits.conf 时却一直不能生效
ELK环境搭建时，发现需要修改ulimit 设置，否则就会报错。而修改/etc/security/limits.conf 时却一直不能生效总结下来发现要使limits.conf生效，需要设置UsePAM yesUseLogin yes #这个保证其他的用户也能修改设置/etc/pam.d/login/etc/pam.d/system-auth/etc/pam.d/sshd需要有以...
2019-11-29 15:42:07
4515
1
原创 用户画像项目笔记3
用户画像标签的设计需求简单明了: 用户标签的数量多少(以权重来表示) 为方便管理 不同的标签分类(以模块来表示)字段 gid, 模块名,标签名,标签值,权重主题分类人口属性模块、注册信息、终端设备、消费订单属性、消费商品退拒属性、生命周期、活跃属性、事件行为属性、商品偏好属性、价值属性、DSP属性、APP属性、兴趣类关键字、活跃地域标签主题和标签由字典表构成商城系统行为日志数...
2019-09-21 22:36:15
263
原创 用户画像项目笔记2
DSP业务背景当今时代，广告业务已经进入到RTB程序化实时竞价时代，公司扩展了一块DMP的业务DSP(Demand-Side Platform)：广告需求方平台！代各种广告主，去ADX(advertising Exchange ADX 广告实时竞价交易平台 )参与程序化竞价！DMP：数据管理平台；为DSP提供用户画像数据服务！数据分类1 DSP需求平台(本公司)行为日志 业务数据...
2019-09-17 23:18:32
168
原创 用户画像项目笔记1
项目立项为了更好更高效的管理、利用公司各条业务线产生的以及所需要的数据以更好地支撑公司主营业务以及其他各条业务线的运营项目核心模块数据采集数据预处理数仓ETL系统任务调度系统(azkaban|oozie)元数据、数据治理系统（atlas）数据可视化（javaee -> springboot+echarts）项目整体架构首先考虑数据来源 行为日志 业务数据 广告竞...
2019-09-17 21:28:22
258
原创 数据仓库项目笔记9
用户订单画像报表分析– 订单指标表 dm_user_order_tagdrop table if exists ads_user_order_tag;create table ads_user_order_tag(user_id bigint ,--用户first_order_time string ...
2019-09-11 21:47:12
206
原创 sqoop安装后找不到hive.HiveConf类解决办法
– 遇到错误，找不到hive.HiveConf…直接将hive安装目录中的lib中的hive-common-2.3.5.jar 拷贝到sqoop的lib中然后测试，如果通过，则恭喜你！！！！你人品爆棚！– 如果人品不行，按下列步骤，一步步照搬！！！九九八十一难！按正常流程先安装sqoop解压，修改sqoop-env.shexport HADOOP_COMMON_HOME=/opt/a...
2019-09-08 22:43:43
667
原创 数据仓库项目笔记8
路径分析-转化率概念业务背景:公司有很多很多的各种类型的业务,而每一项业务往往能分成若干个操作环节,用户在业务的各个操作环节上进行操作，一步步走向业务目标（比如买单，比如注册成功，比如充值完成，比如进入充值页）那么，一个业务的操作环节链条，就叫做这个业务的转化路径！转化率，漏斗模型: 路径中，每一个环节上的事件发生次数或人数，都会不同，一般是前面的环节上人数多，越往后越少，这样就引出一个概念...
2019-09-08 21:23:43
144
原创 数据仓库项目笔记7
用户活跃度用户连续活跃情况所需字段 : 日期 当日活跃总数 连续活跃天数 连续活跃人数select‘2019-06-09’ dt,datediff(‘2019-06-09’,first_login)+1 continue_days,count(1) act_cntsfromdemo_user_continue_actwhere continue_end = ‘9999-12-3...
2019-09-08 21:08:49
166
原创 数据仓库项目笔记6
用户活跃留存:求出当日以前的所有日期在(当日-每个日期)天后留存可以用当日的日活join所有的日期日活获取用户活跃留存这样join表数巨多, 另辟蹊径 如果有一张表记录了每个用户的活跃状态的日期区间 就能解决以前历史表不能获取所有日期用户是否活跃的问题用户活跃记录拉链表 状态的固定区间然后形成链记录了每个用户的活跃状态的日期区间拉链表设计: 需要uid , 用户首登日期, 用户连续活跃...
2019-09-05 20:47:23
151
原创 数据仓库项目笔记3
知识点:spark DSL风格:表示column方式: $“field” 'field col(“field”) dataframe(“field”)每遇到select 方法生成一张新的表,后续方法 相当于子查询agg 聚合函数 同时聚合多个字段 参数用map表示 字段->函数名where 条件 score > 80 把score类型转为int 比较seq:* 返...
2019-09-05 20:28:18
326
原创 数据仓库项目笔记2
业务需求:1 清洗过滤: 去除不必要的字段和无效数据2 数据解析: 解析数据为扁平格式3 数据集成: 根据经纬度添加省市县信息4 数据存储: 存储为parquet格式所用技术:sparkjson解析广播变量所学:shuffle : 一批数据需要分配到不同地方才能完成任务spark运行机制: rdd的遇到action算子, 开始汇总rdd 从最后一个rdd往前推, 是否与前一个...
2019-09-05 20:28:01
127
原创 数据仓库项目笔记1
Created with Raphaël 2.2.0前端埋点(js)nginx分布式收集存储到日志服务器供数据分析日志数据清洗: ODS(数据操作层)->DWD(数据明细层)日志数据格式:id, pid, address, add_type, longitude, latitude业务需求: 提取地理位置信息生成字典表所用技术: geohash编码: 根据经纬度生成geohash...
2019-09-05 20:27:54
156
1
原创 数据仓库项目笔记4
知识点:sparksession.createDataset 需要对元素序列化(发送到task), import sparksession.implicits_ 只支持基本数据类型和case class 序列化自定义序列化 Encoders.kryo(clazz)hive本地运行:set hive.exec.mode.local.auto=true 本地模式with view as(sel...
2019-09-02 23:27:13
188
原创 数据仓库项目笔记5
用户留存分析用户留存含义: 当日的新增用户在所求日期也活跃用户留存解析: 所需字段日期新增用户数1天后留存数2天后留存数因为日期的不同, 几天后的列数不固定, 因此转为横表更有利于设计日期新增用户数天后(留存天数)留存数根据历史表日期用户id用户首登日期最后登录日期首登日期的用户即为新增用户 以首登日期分组count即为日...
2019-09-02 01:00:30
155
原创 数据库和数据仓库区别
数据库: 联机事务处理 OLTP 联机=实时 特性:实时增删改查(响应)在线(不宕机)逐条不断修改事务处理 只能看到最终修改状态 mysql oracle sqlserver数据仓库: 用来分析 联机数据分析 OLAP 特性:面向主题集成的相对稳定反映历史变化分主题(订单)数据汇聚相对稳定反映历史变化...
2019-08-24 20:55:44
302
转载 spark RDD系列——2.HadoopRDD分区的创建以及计算
原文链接:https://www.maiyewang.com/?p=606Spark经常需要从hdfs读取文件生成RDD，然后进行计算分析。这种从hdfs读取文件生成的RDD就是HadoopRDD。那么HadoopRDD的分区是怎么计算出来的？如果从hdfs读取的文件非常大，如何高效的从hdfs加载文件生成HadoopRDD呢？本篇文章探讨这两个问题。 SparkContext...
2019-08-04 14:36:48
256
原创 hive 开窗函数理解区别range和row以及默认省略语句
数据准备：name，orderdate，costjack,2017-01-01,10tony,2017-01-02,15jack,2017-02-03,23tony,2017-01-01,29jack,2017-01-01,46jack,2017-04-06,42tony,2017-01-07,50jack,2017-01-08,55mart,2017-04-08,62mar...
2019-07-20 23:09:53
2543
原创 linux 普通用户傻瓜式安装启动mysql5.7.26
wgethttps://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.26-linux-glibc2.12-x86_64.tar.gzuseradd mysqlpasswd mysqltar -zxvfmysql-5.7.26-linux-glibc2.12-x86_64.tar.gz-C /home/mysqlcd /home/m...
2019-07-19 22:47:12
466
转载 分析函数名(参数) OVER (PARTITION BY子句 ORDER BY子句 ROWS/RANGE子句
分析函数的语法结构一般是：分析函数名(参数) OVER (PARTITION BY子句 ORDER BY子句 ROWS/RANGE子句)。即由以下三部分组成：分析函数名：如sum、max、min、count、avg等聚集函数以及lead、lag行比较函数等；over： 关键字，表示前面的函数是分析函数，不是普通的集合函数；分析子句：over关键字后面挂号内的内容；分析子句又由下面三部分组...
2019-07-17 21:01:26
1224
转载 java实现zip压缩多个目录及子目录和文件
java实现zip压缩文件（同一文件夹下的多个文件夹打成一个zip包）博客分类： JAVA此文链接:http://zhangzhaoaaa.iteye.com/blog/2115048 参考：http://blog.163.com/shanqing_shuixiu@yeah/blog/static/165319229201192444434865/
2018-03-22 17:12:30
10550
转载 tomcat 自启动
原文http://blog.csdn.net/wangli61289/article/details/37924785Linux下tomcat开机自动启动有两种方法，一种是简单，一种是复杂而又专业的，使用shell脚本要实现，我们一般推荐shell脚本启动方式。下面我们分别介绍这两种方法。1.shell脚本启动众所周知，在Linux中设置开机自启动的服务，需要在/etc/r
2018-02-27 18:45:20
210
转载 Windows 下安装 nvm 管理 nodejs 版本
原文链接https://segmentfault.com/a/1190000007612011 npm node.js nvm 电波马达 2016年11月27日发布赞 | 3收藏 | 269.1k 次浏览1. 下载安装与使用Github： Download nv
2017-12-07 10:46:21
249
转载 解决Fiddler "creation of the root certificate was not successful”的问题
http://localhost:8888/ 安装证书，如果提示没有证书（8888是你在Tool->Fiddler Option->Connections设置的Fiddler监听端口）cd "d:\Program Files\Fiddler"makecert.exe -r -ss my -n "CN=DO_NOT_TRUST_FiddlerRoot, O=DO_NOT_TR
2016-10-10 18:03:59
2793
原创 cassndra spring.xml配置
[java][cassandra][spring]java操作import com.datastax.driver.auth.DseAuthProvider;import com.datastax.driver.core.AuthProvider;import com.datastax.driver.core.HostDistance;import com.datast
2016-07-07 17:28:49
647
转载 JVM垃圾回收机制
Java垃圾回收机制Java垃圾回收机制 说到垃圾回收（Garbage Collection，GC），很多人就会自然而然地把它和Java联系起来。在Java中，程序员不需要去关心内存动态分配和垃圾回收的问题，这一切都交给了JVM来处理。顾名思义，垃圾回收就是释放垃圾占用的空间，那么在Java中，什么样的对象会被认定为“垃圾”？那么当一些对象被确定为垃圾之后，采用什么样
2016-06-08 10:22:42
232
转载 mysql主主搭建
关于mysql-HA，目前有多种解决方案，比如heartbeat、drbd、mmm、共享存储，但是它们各有优缺点。heartbeat、drbd配置较为复杂，需要自己写脚本才能实现mysql自动切换，对于不会脚本语言的人来说，这无疑是一种脑裂问题；对于mmm，生产环境中很少有人用，且mmm 管理端需要单独运行一台服务器上，要是想实现高可用，就得对mmm管理端做HA，这样无疑又增加了硬件开支；对于共享
2016-05-25 09:26:18
343
chrome浏览器js调用exe
2017-09-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人