- 博客(149)
- 资源 (7)
- 收藏
- 关注
RSS订阅
原创 大数据：阿里数据仓库建模及管理体系OneData什么是阿里onedata
阿里onedata面对炸式增长的数据，如何建设高效的数据模型和体系，对这些数据进行有序和有结构地分类组织和存储，避免重复建设和数据不一致性，保证数据的规范性，一直是大数据系统建设不断追求的方向。 数据仓库模型实施过程： 首先，在建设大数据数据仓库时，要进行充分的业务调研和需求分析。这是数据仓库建设的基石，业务调研和需求分析做得是否充分直接决定了数据仓库建设是否成功； 其次，进行数据总体架构设计，主要根据数据域对数据进行划分；按照维度建模理论，构建总线矩阵、抽象出业务过程和维度；
2021-10-20 00:10:45
2656
1
原创 数据仓库和数据集市的概念、区别与联系
数据仓库以维的形式对数据进行组织，时间维是数据仓库中很重要的一个维度。并且数据仓库中的数据时间跨度大，从几年甚至到几十年，称为历史数据（一般公司会保存1年的历史数据）。• 数据仓库中的数据必须以一定时间段为单位进行统一更新。–不断增加新的数据内容–不断删去旧的数据内容–更新与时间有关的综合数据数据集市建立数据集市的原因：数据仓库是一种反映主题的全局性数据组织（一般企业都会建立有企业级的数据仓库）。但是,全局性数据仓库往往太大，在实际应用中将它们按.
2021-10-19 19:58:19
1044
原创 最新spark,hive,flink,kafka,hadoop,zookeeper,flume,java,maven,Apache历史版本大全下载
spark,hive,flink,kafka,hadoop,zookeeper,flume,java,maven,Apachek开源框架历史版本下载TP通道www.apache.list.cnps：各种Apache组件的历史版本收集，有spark,hive,flink,kafka,hadoop,zookeeper,flume,java,maven,Apache 等。。。。。。。快来找寻你需要的框架吧...
2020-09-10 17:54:02
282
转载 什么是ARPU与ARPPU ？
ARPU与ARPPU版权ARPU1ARPU的全称是Average Revenue Per User，也就是每用户平均收入。这个指标计算的是某时间段内平均每个活跃用户为应用创造的收入。如果按天来计算，ARPU就是ARPDAU。ARPU的计算中，所有的用户都被纳入了计算范围——无论是付费用户或非付费用户。ARPU是评估应用变现有效性的指标：ARPU越高，就代表用户在这段时间内为应用带来的变现收入就越多。ARPU可用于评估应用中的变动是否能有效提升变现收益：如果ARPU提升，证明应.
2020-08-24 14:47:32
10839
原创 hive日期函数转化
1、to_date：日期时间转日期函数select to_date('2015-04-02 13:34:12');输出：2015-04-02122、from_unixtime：转化unix时间戳到当前时区的时间格式select from_unixtime(1323308943,’yyyyMMdd’);输出：20111208123、unix_timestamp：获取当前uni...
2019-04-12 10:19:31
2625
1
翻译 Kafka KSQL
Kafka KSQL实战背景 kafka早期作为一个日志消息系统，很受运维欢迎的，配合ELK玩起来很happy，在kafka慢慢的转向流式平台的过程中，开发也慢慢介入了，一些业务系统也开始和kafka对接起来了，也还是很受大家欢迎的，由于业务需要，一部分小白也就免不了接触kafka了，这些小白总是会安奈不住好奇心，要精确的查看kafka中的某一条数据，作为服务提供方，我也很方...
2019-03-22 18:30:33
2062
3
原创 CDH管理界面查看各组件的版本
CDH管理界面查看各框架的版本（hive为例）2016年05月27日 11:30:56levy_cui阅读数：19203版权声明：原创文章，欢迎转载但请备注来源及原文链接 https://blog.csdn.net/levy_cui/article/details/51513900安装好的CDH如果查看hive的版本呢，1、官网2、管理界面中官网查看一般看到的都...
2019-02-27 14:50:55
9299
1
原创 java高级——暴力反射
java高级——暴力反射反射，java中一个比较高级的应用，主要和开发中的框架紧密相连。今天我们就介绍一下他的特性之一，暴力反射。（听名字很恐怖呦）复制代码package wo;public class A{public String x=“abc”;private String y=“bbc”;}package wo;import java.lang.reflect.Field...
2018-12-11 18:18:36
2711
原创 如何开启MySQL的binlog日志
MySQL的binlog日志用于记录数据库的更改操作，可以用于数据恢复、复制等操作。请注意，对于任何更改配置文件的操作，请确保在进行之前备份文件以防万一。
2024-04-03 23:00:21
481
原创 AIGC之gradio系列学习教程（二）Components
范围描述fn可调用必需的包装接口的函数。通常是机器学习模型的预测函数。函数的每个参数对应于一个输入组件，并且函数应返回单个值或值的元组，元组中的每个元素对应于一个输出组件。inputsSTR |组件|列表[字符串|组件]|没有任何必需的单个 Gradio 组件或 Gradio 组件列表。组件可以作为实例化对象传递，也可以通过其字符串快捷方式引用。输入组件的数量应与 fn 中参数的数量相匹配。如果设置为 None，则仅显示输出组件。outputsSTR |组件|列表[字符串|组件]|没有任何。
2024-04-02 14:30:20
762
原创 AIGC之gradio系列学习教程（一）
演示或 Web 应用程序。然后，您可以使用 Gradio 的内置共享功能在短短几秒钟内共享演示或 Web 应用程序的链接。Gradio 是一个开源 Python 包，可让快速为机器学习模型、API 或任何任意 Python 函数。无需 JavaScript、CSS 或网络托管能力！主题：本篇即为入门，后续将会从函数和使用场景介绍。
2024-04-02 11:38:19
308
原创 win10休眠功能误删了
背景：今天用某电脑管家清理C盘，不小心把休眠文件给删了，结果电脑失去了休眠功能。这玩意对我太重要了，我合上盖子就是要电脑休眠带走的。于是开始找办法，终于在官网找到了。并且恢复成功。话不多说直接上技能！
2024-03-27 22:37:40
277
原创 thinkphp5.0提示不支持redis,not support: redis
redis配置完成以后，修改php.ini把redis扩展打开即可，重启环境。例如宝塔，其他环境请用命令行，安装。
2024-02-14 16:52:15
814
原创 Ryzen Controller 最新版本下载
GitLab中最新版本地址：Releases · Ryzen Controller Team / Ryzen Controller · GitLab
2024-02-07 16:28:15
337
原创 nginx+flask+Gunicorn反代理服务拿不到真实IP的解决
本篇关于NG反代理中flask部署获取真实ip（需要了解Gunicorn怎么部署的朋友，评论区留言，我加补一篇介绍）。这怎么能行，我还需要做ip解析的运营数据分析呢。你问我为啥还有127.0.0.1，纯粹就是懒得删参数了，反正现在数据量小的很。增加一个'"%({X-Real-IP}i)s" （这里可以自由发挥组合，甚至你能搞进去新的参数，由于我的业务只要ip就够了）ps: X-Real-IP 是不是很眼熟，就是前面NG配置里面的，可不要写错了呀，和你配的对应。
2024-02-05 17:10:02
798
转载 DDD领域驱动设计小结
基本概念： 领域驱动设计(简称 ddd)概念来源于2004年著名建模专家eric evans发表的他最具影响力的书籍:《domain-driven design –tackling complexity in the heart of software》(中文译名：领域驱动设计—软件核心复杂性应对之道)一书。，书中提出了“领域驱动设计(简称 ddd)”的概念。 领域驱动设计一般分为两个阶段： 1. 以一种领域专家、设计人员、开发人员都能理解的“通用语言”作为相互交流的工具
2022-11-23 10:46:55
465
1
原创 Mac无法打开CORE Keygen
显示如下图，无法打开CORE Keygen，不要方。一个神器即可解决。（1）先安装upx (什么，你说你没有brew？？？看看这篇文章) （2）再使用UPX （这里要注意，要打开包内容，好啦，给大家来点图）路径：/Contents/MacOS/CORE\ Keygen终端： sudo upx -d （把文件拖进来，回车）结尾提示 Unpacked 1 file. 即表示完成。什么，你显示的是 0 file？？？？ 莫方：先把CORE Keygen.app拖到应用程序文件夹里，再运行上
2022-11-20 10:56:59
2753
2
原创 Mac安装brew
4.重新打开终端，或者使用 source /Users/lijuanwang/.zprofile 指令。1.选择一下 下载源（直接选TX，不要问为什么）5.brew --version 检查一下。2.遇到问题 选Y!
2022-11-20 10:54:33
1391
1
原创 Spark参数解说
可以看看自己团队的资源队列的最大内存限制是多少，num-executors乘以executor-memory，就代表了你的Spark作业申请到的总内存量（也就是所有Executor进程的内存总和），这个量是不能超过队列的最大内存量的。此外，如果你是跟团队里其他人共享这个资源队列，那么申请的总内存量最好不要超过资源队列最大总内存的1/3-1/2，避免你自己的Spark作业占用了队列所有的资源，导致别的同学的作业无法运行。默认开启，可以更好的利用当个executor的性能，还能缓解小文件的问题。
2022-10-24 22:50:48
2648
原创 WordPress JSON REST API OAuth 1.0 认证获取Authorization Basic 码+Python api 创建文章（一）
在建设wordpress网站的过程中发现。1.有时候自己并不想在后台直接操作，想通过其他渠道将内容创建上去。2.有时候想要进行一些批量化的自定义修改，新增文章，或者网页内容。 为了使内容更加聚焦，本期主要介绍使用 WordPress JSON REST API OAuth 1.0 认证+获取Authorization Basic 码，主要还是截图演示，代码实现api创建文章还请看下一章，感谢理解。 结果找了一圈发现wordpress 有rest api。但其需要有一些账户安全措施
2022-10-22 22:49:32
559
原创 idea导入项目全部爆红问题怎么解决
今天导入Git上拉下来的项目，IDEA又双叒爆红了。看了IDEA的maven配置，包括云仓地址都看了遍，结果，，，，人家没毛病。倒腾了半天，IDEA不红啦，复活！一起共勉成长吧，把写代码做成终生事业!
2022-10-17 00:10:27
14778
5
原创 前端-环境问题解决(一)mac安装cnpm显示command not found: cnpm
由于长城墙的关系，我们需要用淘宝的镜像来快速安装，但实际还是碰到一点小问题，mac安装cnpm显示command not found: cnpm，别担心，安装的问题都是小事哦，让我们一起看看
2022-10-06 22:10:05
2303
5
原创 python3问题解决之pip(一)
python3问题解决之pip(一)，安装某包，使用py3的pip出现警告，You are using pip version 22.0.4; however, version 22.2.2 is available. 需要升级pip，接下来我将讲述方法
2022-09-30 15:39:45
2469
原创 druid连接池错误：pool.GetConnectionTimeoutException: wait millis 60000, active 20。。。
com.alibaba.druid.pool.GetConnectionTimeoutException: wait millis 60000, active 20, maxActive 20, creating 0活动的连接数为20， 最大的连接数为20， 活动的连接数与最大连接数相同，连接池用完了，在等待60秒后，没有新连接可用，然后超时了。stat监控页面显示，活跃连接数很高不释放。CPU超过100%。当程序存在缺陷时，申请的连接忘记关闭，这时候，就存在连接泄漏了。比如Connection conne
2022-07-05 10:33:47
5529
原创 jdk1.8,java8,安装包阿里云-百度云下载（windos,mac,linux）
各位兄弟姐妹们，找资源辛苦了，这里阿里云渠道的高速下载链接献上(*^▽^*)Java-JDK1.8阿里云百度云等下载（含平台windos，Mac，linux） - 时光旅行者Java-JDK1.8阿里云百度云等下载（含平台windos，Mac，linux）https://www.top8488.top/java/1225.html Java-JDK1.8阿里云百度云等下载（含平台windos，Mac，linux） - 时光旅行者c...
2022-03-23 00:20:22
7686
1
原创 IDEA-Filesystem Case-Sensitivity Mismatch 文件系统大小写问题
文件系统案例敏感性不匹配2021.1修复，请参阅https://youtrack.jetbrains.com/issue/IDEA-135546Filesystem Case-Sensitivity Mismatch The project seems to be located on a case-insensitive file system. This does not match the IDE setting (controlle...
2022-03-07 11:35:13
682
原创 linux怎么安装java教程
方式一：yum方式下载安装1、查找java相关的列表yum -y list java*或者yum search jdk2、安装jdkyum install java-1.8.0-openjdk.x86_643、完成安装后验证java -version4、通过yum安装的默认路径为：/usr/lib/jvm5、将jdk的安装路径加入到JAVA_HOMEvi /etc/profile在文件最后加入：#set java environmen..
2022-01-20 13:50:44
2331
原创 Linux下Java环境变量设置
Linux下Java环境变量设置我用的是oh my zsh，需要修改.zshrc，记一下免得以后忘记在哪儿改的。如果你用的是自带的terminal那么用文本编辑器打开用户目录下的.bash_profile文件在.bash_profile文件中加入：export JAVA_HOME=/path/to/jdkexport PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/too
2022-01-20 13:45:12
663
原创 CRT端口转发失败
首先附上教程：SecureCRT 端口转发连接服务器【图文】_ygqygq2_51CTO博客1.首先检查防火墙！！如果没问题=》2.配置完转发规则，务必重新再启动连接！！做完这些基本就ok了，尝试新建连接这个转发端口吧！...
2022-01-17 14:28:41
1779
原创 spark rdd无法toDF()解决
首先 toDF需要导入的包//导入隐饰操作，否则RDD无法调用toDF方法 import sparkSession.implicits._ //（你的SparkSession类）然后就可以todf了如果还不行，检查你的RDD 类型对不对，是不是 RDD[样例类] 或者RDD[structType]...
2022-01-12 15:39:13
4968
2
原创 Sublime text3/4格式化json快捷键不生效。
1.打开首选项，快捷键设置（如果你是英文版的，注意关键词key，或者 用拍照翻译软件-有道）2.复制代码进去（可以自定义哦）{"keys": ["command+ctrl+j"],"command":"pretty_json"}3.保存！！！ 重启。。打开测试 command+ctrl+j ok...
2022-01-11 11:35:56
4138
2
原创 sublime text3/4格式化json插件安装使用教程
工作原因，笔记本从windows换成了mac，好多之前熟悉的工作软件都不能用，得用mac最优的，文档编辑器也从notepad++换成了sublime Text3。那在sublime里面该怎么把数据进行json格式化呢，自然也是靠插件了。首先，安装插件管理器-Package control方法一：按Command+Shift+p打开命令搜索框，输入PC，点击图中条目安装，如下图：安装完成后，重启Sublime Text 3。如果在Perferences->package setti.
2022-01-11 11:01:44
8889
2
原创 idea中scala变量类型显示提示
idea上的实用功能，我们在写scala的时候有的时候为方便就不会写scala的类型，但是有的时候又很想看最后scala的类型。为了更加便捷，我们可以通过设置idea让工具类帮助我们来自动显示。步骤如下点击settings然后按照1,2,3的步骤点击，将第四步的勾选上就可以了。我用的是idea19版的，不同版本的配置位置可能会有点区别。设置方法如下：settins -->Editor--> Code Style --> scala --Type Annotations 勾选框选部分.
2022-01-10 21:55:32
1649
1
原创 mac修改mysql密码
（1）.苹果->系统偏好设置->最下边点mysql 在弹出页面中 关闭mysql服务（点击stop mysql server）（2）.进入终端输入： cd /usr/local/mysql/bin/ sudo su 回车后输入以下命令来禁止mysql验证功能 ./mysqld_safe --skip-grant-tables & 回车后mysql会自动重启（偏好设置中mysql的状态会变成running）（3）.输入命令 ./mysql 回车后，输...
2021-12-28 13:36:03
103
原创 mac安装了mysql终端找不到mysql: command not found
mac安装了mysql，并且成功了。但是当我试图打开命令mysql -u root -ppassword在终端上它显示-bash: mysql: command not found在终端的mac中找不到mysql命令http://11.临时解决，直接用这个/usr/local/mysql/bin/mysql -u root -ppassword 2. 解决方案之所以会出现MySQL或者mysqldump这样的命令找不到，我们可以打开/usr/bin文件夹，发现bin目录中并没有my.
2021-12-27 18:02:57
4644
2
20191027 Clickhouse Meetup(Shanghai)_Git.7z
2019-11-20
kafka-eagle-bin-1.4.0.tar.gz
2019-11-20
hive工作调优小结
2018-11-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人