weixin_33310807的博客

原创 数据质量怎么监控

数据质量监控方法论

原创 Firebase使用总结（早期）

文章目录1. 活跃用户数2. 留存3. 会话数4. 人均使用时长5. 国家6. 推送事件打开数为07. First_open事件归因的记录8. Firebase和BQ数据差异9. Firebase和GP的数据差异10. FCM相关事件11. FCM的到达率1. 活跃用户数Firebase的Dashboard中的活跃用户数基于user_engagement事件，此事件于应用在前台运行时随机触发，时间间隔不定（以目前我查到的数据来看，从3秒到70秒不等）。此外，Firebase的活跃用户数并不是真正活跃

原创 BigQuery查询

文章目录1.导入BigQuery后数据表的结构a)数据集b)表c)行d)列2.BigQuery查询指令示例1示例2示例31.导入BigQuery后数据表的结构a)数据集针对每个启用了 BigQuery 集成的 Firebase 应用，系统都会添加一个以软件包名称或软件包ID为基础来命名的数据集。b)表在每个数据集中，系统会为每天导出的数据导入一个表。此类表的名称格式为“app_events_YYYYMMDD”。此外，系统还会为当天收到的事件导入一个表。此表的名称格式为“app_events_int

原创 Kylin 调优方法

1. 调优方法一：查看 Kylin 服务器日志1.1 Kylin 服务器日志的用途查看日志的目的在于，确认某个高频查询的请求是否准确命中了某个 Cuboid，建议为每个高频请求构建对应的 Cuboid，就可以提高 Cuboid 的响应速度。1.2 Kylin 日志所在路径以下即为 kylin 日志所在的路径：$KYLIN_HOME/logs/kylin.log用以下命令追踪日志，就可以看到最新查询的日志了~tailf $KYLIN_HOME/logs/kylin.log1.3 Kylin

原创 Kylin源码项目结构一览

kylin 源码各模块功能说明以下即为 Kylin 源码中的各个模块（后续会逐步添加详细说明）。模块功能assemblymaven-assembly-plugin 打包多模块代码后生成的结果build构建脚本，全是shell scriptcache各级缓存core-common公用组件core-cubecube相关core-dictionary字典相关core-job构建任务相关core-metadata元数据相关cor

原创 Kylin构建及调优基础知识

文章目录1. Kylin设计核心思想2. Kylin基本架构3. 基本概念4. Cube构建及优化4.1 Cube构建及优化总览4.2 Cube构建分步骤说明4.2.1 Cube Info4.2.2 Dimensions4.2.3 Measures4.2.4 Refresh Setting4.3 Cube 构建前优化策略4.3.1 Advanced Settings4.3.1.1 Aggregation Groups4.3.1.2 Rowkeys4.3.1.3 Mandatory Cuboids4.3.1.

原创 Kylin: Kylin源码下载

Kylin官方源码下载地址：http://kylin.apache.org/cn/download/导入本地 IDEA指向解压后的 pom.xml 文件如果依赖加载速度慢，可以用国内的 maven 镜像

原创 Spark: SparkContext 的作用

原创 HiveQL 常见用法说明

配置动态分区SET hive.exec.dynamic.partition.mode=nonstrict;

原创 SparkSQL常见用法

排序标号dataFrame.withColumn("rank",row_number().over(Window.partitionBy(col("a"),col("b")).orderBy(desc("c")))

原创 Shell Script 常用模板

1. Shell脚本获取当前目录WORKPATH=$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd );按日循环执行STARTDATE=$1;ENDDATE=$2;while [[ $STARTDATE -le $ENDDATE ]]; do main "$STARTDATE"; STARTDATE=`d...