warm_day的博客

原创 巨量引擎图片

原创 申请支付宝授权，提现测试环境步骤

申请支付宝授权，提现测试环境步骤:1.登陆自己的支付宝账号:https://developers.alipay.com/dev/workspace/register?from=http%3A%2F%2Fopen.alipay.com%2Fplatform%2FdeveloperIndex.htm2.填写自己的信息3.点击做下角第一个，进入沙箱环境4.进入沙箱环境后，选择沙箱账号，找到买家信息，把自己的账号余额清0，方便测试5.测试支付宝授权的时候，用自己沙箱环境的买家账号登陆就可以啦.

原创 redis常用命令

redishttp://www.redis.cn/topics/data-types-intro.html#sorted-sets文章目录redisRedis keysRedis Strings修改或查询键空间Redis超时:数据在限定时间内存活Redis lists 入门Capped listsList上的阻塞操作Redis Hashes —Redis Sets —Redis Sorted sets —Lexicographical scoresBitmaps —HyperLogLogsRedis

原创 Chocolatey-Windows的软件管理工具

Chocolatey-Windows的软件管理工具Chocolatey类似于linux系统的yum，方便我们下载软件，比如想装java，只需要：choco install jdk8 想要装git，只需要：choco install git 教程:https://chocolatey.org/docs/installation#more-install-options下载：1.以管理员身份打开cmd执行以下命令：@"%SystemRoot%\System32\WindowsPowerSh

原创 flink on yarn 踩过的坑

启动 ./yarn-session.sh报错：Error: A JNI error has occurred, please check your installation and try againError: A JNI error has occurred, please check your installation and try againException in thread "main" java.lang.NoClassDefFoundError: org/apache/had

原创 redis6.0.4 make遇到的问题

**问题：**我安装的是redis-6.0.4版本解决方法：gcc版本过低问题；查看当前gcc版本 gcc -vgcc -v# 升级gcc到5.3及以上,如下：# 升级到gcc 9.3``yum -y install centos-release-sclyum -y install devtoolset-9-gcc devtoolset-9-gcc-c++ devtoolset-9-binutilsscl enable devtoolset-9 bash# 需要注意的是scl命令启用只是

原创 flume上传hdfs遇到的问题

1.数据没有上传到hdfs日志报：Hadoop “Unable to load native-hadoop library for your platform” warning在hadoop-env.sh:export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

原创 belk学习

beatselk架构图：Filebeat负责从web服务器上实时抓取数据，当log文件发生变化时，将文件内容吐给kafka。Kafka是消息队列，主要作用是在filebeat和logstash之间做缓存，避免因写入logstash的数据量过大，导致数据丢失。filebeat(go语言开发)官网：https://www.elastic.co/cn/beats/filebeat功能:用于监控、收集服务器日志文件.1.advantage性能稳健，不错过任何检测信号无论在任何环境中，随时

原创 logstash流程图

原创 filebeat架构图

原创 elk架构图

原创 python词云报OSError: cannot open resource

File "C:\Users\WarmDay\AppData\Local\Programs\Python\Python36\lib\site-packages\PIL\ImageFont.py", line 188, in __init__ font, size, index, encoding, layout_engine=layout_engineOSError: cannot ...

原创 postgresql 启动报错 FATAL: could not create semaphores: No space left on device

地址：https://blog.csdn.net/ctypyb2002/article/details/93051424

原创 linux编译go遇到的各种问题

1.报错:non-standard importGO有两个路径需要定义，一个是GO自身的安装目录 GOROOT，这个目录只能放标准包，也就是”standart packages“。另一个是GOPATH，也就是工作目录，这里用来放第三方包，也就是“non-standard packages”。所以当我用 go get github.com/mattn/go-sqlite3 时，它是放到GOROO...

原创 redshift多层json解析

redshfit不支持json格式数据测试数据:{“appVersion”:“14”,“bundleid”:“com.mg.pandaloan”,“firstOpen”:“0”,“deviceId”:“0ea6419f-64de-4b3a-87ef-58c0ddc13168”,“userAgent”:“Dalvik/2.1.0 (Linux; U; Android 9; V1829A Buil...

原创 pg常用命令

select device_id,json_extract_path_text(json_extract_path_text(device_info, ‘deviceInfo’)::json,‘uuid’) uuidfrom skypay.device

转载 git安装

git安装

转载 windows安装docker

注意：docker安装不支持windows家庭版如何让docker支持windows家庭版参考：https://blog.csdn.net/qq_40234695/article/details/89155988https://blog.csdn.net/A632189007/article/details/78601213...

原创 linux 安装pg数据库

方式一：用yum源安装（官网教程https://www.postgresql.org/download/linux/redhat/）本人没有用yum源方式方式二：从官网下载二进制文档（二进制文档不用我们编译，可直接使用，pg11不支持linux,我用的pg10）https://www.postgresql.org/download/windows/2.将下载好的gz包上传到linux服务器...

翻译 mysql解析json小技巧

有时间多看看官网：https://dev.mysql.com/doc/refman/5.7/en/json-function-reference.htmlwhere 解析json字段 in (1,3);官方实例：（参考最后一种方式）mysql> SELECT * FROM jemp WHERE g > 2;±------------------------------±----...

原创 mysql实现row_number函数并获取所需要的行

1.创建测试表CREATE TABLE `contacts` ( `id` int(11) NOT NULL AUTO_INCREMENT, `first_name` varchar(50) NOT NULL, `last_name` varchar(50) NOT NULL, `email` varchar(255) NOT NULL, PRIMARY KEY (`id`)...

转载 kettle sql连接显示中文乱码问题

添加链接描述

原创 mysql计算两个日期范围之间的所有日期

如果有权限对数据库进行修改操作可以使用以下方法生成日期：CREATE TABLE num (i INT);INSERT INTO num (i) VALUES (0), (1), (2), (3), (4), (5), (6), (7), (8), (9);SELECT ADDDATE(‘2018-01-01’, numlist.id) AS ‘date’ FROM(SELECT n1.i...

原创 docker常用命令

1.查看已存在镜像docker images2.启动容器docker run -idt image id(例子67938e558158) COMMAND(例子:/bin/sh)3.查看已启动的容器docker ps4.停止已启动的容器docker stop b9a25b0a36855.查看容器日志要查看启动的centos容器中的输出，可以使用如下方式：$ dock...

原创 mysql 按时间范围累计结果

原始数据：先要的结果：思路:原始表中只有日期，金额字段1.首先确定出日期所在的月份（DATE_FORMAT(date, ‘%Y-%m-01’)）2.表自关联3.条件：相同月份，小于当前日期的所有值select a.f1, a.f2, a.f3, sum(b.f6)from (select DATE_FORMAT(date, '%Y-%m-01') f1, DATE_FORMAT...

转载 yum 安装docker

原文:https://blog.csdn.net/kdchxue/article/details/50902580开源中国的docker更新记录Ubuntu/Debian: curl -sSL https://get.docker.com | shLinux 64bit binary: https://get.docker.com/builds/Linux/x86_64/docker-1.7...

原创 excel函数

vlookup函数：https://baijiahao.baidu.com/s?id=1610929298127647043&wfr=spider&for=pc

原创 liunx环境通过gem安装pg问题

1.建议使用rvm方式安装ruby好处：里面已包含了gem（PS:其他安装方式遇到了各种问题）官网: https://rvm.io/安装完成后，会列出一些安装信息，其中有一行要注意：To start using RVM you need to run source /etc/profile.d/rvm.sh意思是如果要开始使用需要执行一个 source 命令来重新执行刚修改的初始化文件，...

原创 mysql使用中遇到的问题

问题:[HY000][1267] Illegal mix of collations (utf8_unicode_ci,IMPLICIT) and (utf8_general_ci,IMPLICIT) for operation ‘=’解决方式：为了不影响表结构，我们可以进行这样修改...

原创 redshift常用命令

redshift查询表结构：SELECT * FROM information_schema.columns where table_name like ‘%xxxxx%’;窗口行数：跟hive的窗口行数类似；

原创 think deeply

24-26岁，这个年龄段三观被不断的刷新，成长亦好，痛苦亦好，过去就好，经历不同，不敢苟同think three cycles:24岁:好亦好，坏亦坏，善亦善，恶亦恶，对亦对，错亦错25岁:何为好，何为坏，何为善，何为恶，何为对，何为错26岁：好与坏，善于恶，对于错，一念之间，...

原创 maven添加pom文件遇到的问题

pom文件中自动添加CDH相关jar在pom文件中添加 cloudera 配置文件clouderahttps://repository.cloudera.com/artifactory/cloudera-repos或者在maven官网中找到jar相对于的cloudera中的配置如果显示红，则删除提示所对应的目录。...

原创 hive 学习

注意点：不能再where语句中使用列别名 join优化： 1.hive在对每行记录进行连接操作时，它会尝试将其他表缓冲存起来，然后扫描最后那个表进行计算。因此用户需要保证连续查询中的表的大小从左到右依次增加 2.map-side JOIN 如果所有表中只有一张表是小表，那么可以在最大的表通过mapper的时候将小表完全放到内存中。 在运行的时候可以启动优化： set hive.auto...

原创 禅修-初识（2018-09-29）

今日有缘能听到田老师给我们分享禅修文化，倍感荣幸。自我总结了几点：宇宙观从小到大我们听的最多的就是三观（人生观，世界观，价值观），宇宙观？我还是第一次听说，我们由夸克组成生命体（个体），生于地球，存于银河系，缥缈在宇宙间，转瞬即逝，我们是多么的渺小，珍惜眼前人，活好当下四圣谛入世 莫做“佛系”小青年疾病的根源（五行）大部分的疾病都是由心情造成的慈心禅茶善行感恩老师开悟，感恩学...

原创 maven项目提示主方法main没有找到

原因：没有编译

翻译 mysql （hive）获取分组后，求最大值

获取分组后取某字段最大一条记录 方法一：(效率最高) hive不支持 select * from test as a where typeindex = (select max(b.typeindex) from test as b where a.type = b.type );方法二：(效率次之) select a.* from test a, (select ty...

原创 ireport5.6.0子报表的使用（javabean作为数据源）

1.ireport配置环境变量用于读取class文件 点击 工具 —-> 选项—>iReport里的classpath标签—->Add Folder 我的项目是mvn 项目,输出路径是 项目\target\classes,普通项目的就是 项目\bin 目录2.创建子报表 点击子报表名称，右键点击Edit Query,添加java bean对象3.在父报表中添加刚才...

原创 格式化namenode后遇到的问题

org.apache.hadoop.hdfs.server.namenode.NameNode: Exception in namenode joinjava.io.FileNotFoundException: /dfs/nn/current/VERSION (Permission denied) at java.io.RandomAccessFile.open(Native Metho...

原创 ireport使用中遇到的问题

ireport 通过java导出xls,pdf格式 代码如下:Path reportFile = Paths.get(System.getProperty("user.dir"), "/webapps/mdap-report/WEB-INF/jaspers/" + report + ".jasper"); String p...

原创 mysql创建索引遇到的问题

如果引用的主键索引是由多个字段组成的，那么在创建外建的时候，必须与所有的主键字段对应删除外键索引： ALTER TABLE m_entrence(业务入口) DROP FOREIGN KEY FK1_m_entrence(业务入口)...