- 博客(125)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 软件架构-4R架构定义
架构是顶层设计；框架是面向编程或配置的半成品；组件是从技术维度上的复用；模块是从 业务维度上职责的划分；系统是相互协同可运行的实体。
2023-03-08 14:59:57
1036
1
原创 Docker 项目快速部署Flask项目
打造 flask + gunicron + nginx + Mysql 环境nginx + Mysql 使用docker 快速部署使用 supervisor 对 gunicron 做监控。
2022-12-15 00:59:10
1008
原创 Flink典型应用场景
背景随着网络迅速发展，大数据的处理呈现出非常明显的实时化趋势。在实时化的大趋势底下，了解并熟悉Flink常用的三大典型应用场景，对于我们理解并使用Flink具有很大的帮助。事件驱动型应用事件驱动表示一个事件会触发另一个或者是很多个后续的事件，然后这一系列事件会形成一些信息，基于这些信息需要做一定的处理。通俗讲，事件驱动型应用是一类具有状态的应用，会根据事件流中的事件触发计算、更新状态或进行外部系统操作。常见于实时计算业务中，比如：实时推荐，金融反欺诈，实时规则预警等。常见的事件驱动型场景举例
2021-07-15 12:30:06
4621
1
原创 语音情感识别
背景NLP和图像比较普遍，语音识别文字做的很多，今天尝试下做语音情感识别。语音情感识别系统图wav格式的语音包做特征提取的语音包（包含中文和英文）https://download.csdn.net/download/bug4pie/15725652特征提取方法-mfcc在这里我选用了mfcc算法来提取语音基于谱的特征算法如下https://download.csdn.net/download/bug4pie/15727165主函数调用#!/usr/bin/env python# -
2021-03-11 15:05:31
6417
5
原创 shell 日期类与字符串转数字的基本操作
数字类型字符串转数字的方法字符串转换成数字有方法：$[]$(())exprlet应用代码日期"20210107’字符串需要先截取年月日，然后获取数字，如"07" —>7。# RUN_BATCH_DATE_TYPE: M: monthly(Run once a month) W:weekly (Obtain results: 0 for Sunday, 1-6 for Monday to Saturday) D:day (Every day) default d
2021-01-27 17:12:31
3662
原创 京东抢购中eid和fp的获取方式
背景：最近网上有人在git上分享了在京东抢茅台的程序，要过年了，将代码优化了下，用来给我家老头抢几瓶茅台喝喝。代码链接：获取登录的eid和fp首先，电脑PC登录京东。随便选择一个商品添加到购物栏点击立即购买，会跳转到购买页面然后进行结算如果是谷歌浏览器，按F12，进入调试模式（其他浏览器可以自行百度下，怎么进入调试的模式）。如下图进入调试的Console选项，在最后一个箭头的位置输入后回车_JdTdudfp可以看到eid和fp...
2021-01-20 13:36:16
2473
1
原创 Shell读取配置文件并去重注释
文件路径CFGFILE=dw_clsfd.clsfd_dq_email_notification_cretio.cfg去除注释sed '/^#.*\|^$/d' $CFGFILE 去重空格sed 's/ //g'方法一 使用外置配置文件`sed '/^#.*\|^$/d' $CFGFILE |sed 's/ //g'` > temporary while read line;do eval "$line" done < $temporary 方法二
2020-12-30 17:22:56
667
原创 Shell循环获取日期
大于 -gt (greater than)小于 -lt (less than)大于或等于 -ge (greater than or equal)小于或等于 -le (less than or equal)不相等 -ne （not equal）方法一#!/bin/bash #倒序按天遍历日期 #传入遍历的开始时间和结束时间startdate="$1"enddate="$2"#序列1-300，表示遍历300次，因为有结束时间的限制，所以实际上不会循环300次for i in `s
2020-12-29 12:41:44
1748
原创 Linux常用命令
linux日志文件说明/var/log/message 系统启动后的信息和错误日志，是Red Hat Linux中最常用的日志之一/var/log/secure 与安全相关的日志信息/var/log/maillog 与邮件相关的日志信息/var/log/cron 与定时任务相关的日志信息/var/log/spooler 与UUCP和news设备相关的日志信息/var/log/boot.log 守护进程启动和停止相关的日志消息/var/log/wtmp 该日志文件永久记录每个用户登录、注销及系
2020-09-23 19:13:07
129
原创 Hive数据库操作
创建和列表数据库hive > CREATE DATABASE financials; hive > CREATE DATABASE IF NOT EXISTS financials; # IF NOT EXISTX 会做一个覆盖检查hive > SHOW DATABASES;#列出当前数据库#default 默认数据库。初始化就有的hive > SHOW DATABASES LIKE 'd.*'#like 匹配改变数据库存放路径缺省存放目录由hiv
2020-09-23 19:01:40
130
原创 Hive常用函数
IF函数：if语法: if(testCondition,valuTrue,valueFalseOrNull)说明:当条件 testCondition 为True时，返回valueTrue, 否则返回valueFalseOrNull条件判断函数：CASE语法： Case A when b THEN c [WHEN d THEN e] * [ELSE f] END说明：如果a 等于 b，那么返回c,如果a等于d，那么返回e，否则返回feg： -- 销售类型增加一级部门的prt_distributio
2020-09-23 18:58:25
1546
原创 HiveTable操作命令
hive执行参数命令行直接执行HQLhive -e "select *from dw.ol_oitf_interface_auc_dimension_business limit 10"执行HQL文件中的语句hive -f emp.hqlhive -f /home/my/hive-script.sql'''Example of running an initialization script before entering interactive mode 在进入交互模式之前运行初始
2020-09-23 18:37:32
467
原创 HiveSelect操作
保存select查询结果的几种方式1.将查询结果保存到一张新的hive表中create table t_tmpasselect * from t_p;2将查询结果保存到一张已经存在的hive表中eg:(into 增量增加)insert into table t_tmpselect * from t_p;#-----------------------------------------------------eg:(overwrite 覆盖增加)insert overwrite tabl
2020-09-23 18:24:12
1436
原创 HiveJoin操作
HiveJoinjoin_table:table_reference JOIN table_factor [join_condition] |table_reference {LEFT|RIGHT|FULL} [OUTER] JOIN table_referencejoin_condition | table_reference LEFT SEMI JOIN table_referencejoin_condition | table_reference CROSS JOIN t
2020-09-23 18:15:03
349
原创 HiveCreatTable
目前在hive中常用的数据类型有:BIGINT – 主要用于状态,类别,数量的字段, 如status/option/type/quantityDOUBLE – 主要用于金额的字段, 如fee/price/bidSTRING – 除上述之外的字段基本都使用String, 尤其是id和日期时间这样的字段LIKE 允许用户复制现有的表结构，但是不复制数据。如果文件数据是纯文本，可以使用 STORED AS TEXTFILE。如果数据需要压缩，使用 STORED AS SEQUENCE 。表名和列名不区分大
2020-09-23 17:55:52
484
原创 HiveAlterTable
和我们熟悉的关系型数据库不一样，Hive现在还不支持在insert语句里面直接给出一组记录的文字形式，也就是说，Hive并不支持INSERT INTO …. VALUES形式的语句。Drop Partitions（删除分区）alter table ol_power_product_line_dept_1_dim drop partition(dt='${date_90}');#删除分区dfs -rm -r -f /ol/ol_power_product_line_dept_1_dim/dt=${dat
2020-09-23 17:46:47
347
原创 Hive&SQL的不同
Hive 和Mysql 一样，都对 大小写不敏感Hive不支持等值连接SQL中对两表内联可以写成：select * from dual a,dual b where a.key = b.key;Hive中应为select * from dual a join dual b on a.key = b.key; IS [NOT] NULLSQL中null代表空值, 值得警惕的是, 在HiveQL中String类型的字段若是空(empty)字符串, 即长度为0, 那么对它进行IS NULL的判
2020-09-23 17:43:34
751
原创 Hdoop配置文件
作业配置mapred.job.name作业名mapred.job.priority作业优先级mapred.job.map.capacity最多同时运行map任务数mapred.job.reduce.capacity最多同时运行reduce任务数hadoop.job.ugi作业执行权限mapred.map.tasksmap任务个数mapred.reduce.tasksreduce任务个数mapred.job.groups作业可运行的计算节
2020-09-23 17:40:49
117
原创 shell常用文件操作命令
读取文件将一行数据写入文件echo "$(date "+%Y%m%d")=true" > financials.log读取文件的最后一行tail -n 1 financials.log# 赋值给变量FINC_FLAG=$(tail -n 1 financials.log)读取文件指定行指定列sed -n 1p financials.log|cut -d ' ' -f1 # 第一行第一列# 赋值给变量FINC_FLAG=$(sed -n 1p financials.log|
2020-09-21 14:39:23
573
原创 Java- 线程
多线程进程与线程的关系进程是一个应用程序（1个进程是一个软件）线程是一个进程中的执行场景/执行单元一个进程可以启动多个线程对于java程序来说，会先启动jvm（一个进程），jvm再启动一个主线程调用main方法。同时再启动一个垃圾回收线程负责看护，回收垃圾。所以一个java程序至少有两个线程并发。注意：进程A和进程B的内存独立不共享（因为分属于不同的软件）在java语言中线程A与线程B，堆内存和方法区内存共享；但是栈内存对立，一个线程一个栈在使用了多线程机制后，main方法结束只是主线程
2020-09-04 19:53:19
113
原创 Java- 集合概述
集合概述什么是集合？有什么作用所有的集合类和集合节后都在java.util包下集合不能直接存储基本数据类型，另外集合也不能直接存储java对象，集合当存储的都是java对象的内存地址。（或者说集合中存储的都是引用）list.add(100);//自动装箱Integer注意：集合在java中本身是一个容器，是一个对象。集合中任何时候存储的都是“引用”。在java中每一个不同的集合，底层会对应不同的数据结构。往不同的集合中存储元素等于将数据放到不同的数据结构中。实现类底层数据结
2020-09-04 13:44:36
161
原创 Java- 键值对集合
键值对集合HashMapHashMap集合底层是哈希表数据结构，是非线程安全的。HashtableHashtable集合底层也是哈希表数据结构，是线程安全的，其中所有的方法都带synchronized关键字，效率较低，现在使用较少了，因为控制线程安全有其他更好的方案。PropertiesProperties是线程安全的，因为继承HashTable，另外Properties存储元素的时候采用key和value的形式存储，并且key和value只支持String类型，不支持其他类型。Proper
2020-09-04 13:41:46
2226
原创 Java- 有序集合
集合概述什么是集合？有什么作用所有的集合类和集合节后都在java.util包下集合不能直接存储基本数据类型，另外集合也不能直接存储java对象，集合当存储的都是java对象的内存地址。（或者说集合中存储的都是引用）list.add(100);//自动装箱Integer注意：集合在java中本身是一个容器，是一个对象。集合中任何时候存储的都是“引用”。在java中每一个不同的集合，底层会对应不同的数据结构。往不同的集合中存储元素等于将数据放到不同的数据结构中。有序集合ListAr
2020-09-04 13:00:07
2167
原创 Flink的前世今生
什么是Apache Flink？Apache Flink是一个框架和分布式处理引擎，用于对无限制和有限制的数据流进行有状态的计算。Flink被设计为可在所有常见的集群环境中运行，以内存速度和任何规模执行计算。追本溯源- Flink的昨天Flink 起源于 Stratosphere 项目，Stratosphere 是在 2010~2014 年由 3 所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目。2014 年 4 月，Stratosphere 的代码被复制并捐献给了 Apache 软件基
2020-09-03 19:25:08
1656
原创 批流一体/流批融合
怎样理解批流一体/流批融合从 用户，运行，运维三个角度来看：用户： 当前用户在解决流计算和批计算总是将其分开，开发出两套api。流批一体需要解决的首要问题就是用一套逻辑来描述流与批业务。运行：当前作业总是流批二选一，要么是流作业，要么是批作业。流批统一后，流批选择是计算优化后的结果，同一个作业在不同的阶段呈现出流批两种特性。运维：当前架构需要运维多个架构，需要维护多个组件，多个系统。流批统一后，一个引擎就可以解决。...
2020-09-03 14:55:35
9379
原创 Windows与Linux换行符差别
这问题坑了我一天话不多说，直接上命令！！！！以后在window用代码批量生成文件的时候，一定要多注意！！！容易出现这种问题！！！查看文本编码格式用cat -A修改文本格式用dos2unix 文件名window用代码生成的文件在linux打开用dos2unix转化后参考文献Windows与Linux换行符差别所引起的问题的解决方法...
2020-09-03 14:28:04
138
原创 机器学习电脑配置
配置 品牌型号 数量 价格 商家数量CPU Intel 酷睿i7 10700K 1 ¥289945家商家主板 华硕PRIME Z490-P 1 ¥159936家商家内存 金士顿4GB DDR4 2133（KVR21S15S8/4） 4 ¥26824家商家硬盘 西部数据蓝盘2TB SATA6Gb/s 64M（WD20EZRZ） 1 ¥36425家商家固态硬盘 三星970 EVO Plus NVMe M.2（500GB） 1 ¥79928家商家显卡 NVIDIA GeForce RTX 2060 S
2020-08-31 14:08:00
4996
原创 Python- 文本读写操作
mark下读写操作函数，省的下次再写#!/usr/bin/env python# -*- coding: utf-8 -*-'''@File : test.py.py@Author: Piepis@Date : 2020/8/27 18:13@Desc :'''import osimport re# write "data" to file-filenamedef writeFile(filename, data,zhuijia=False): if zhuijia
2020-08-27 20:05:35
131
原创 Linux-文件及文件夹赋权
示例说明ll 命令查看文件当前权限第一个栏位，表示文件的属性。Linux的文件基本上分为三个属性：可读（r），可写（w），可执行（x）rwx(Owner)r-x(Group)r-x(Other)第二个栏位，表示文件个数。如果是文件的话，那这个数目自然是1了，如果是目录的话，那它的数目就是该目录中的文件个数了。第三个栏位，表示该文件或目录的拥有者。若使用者目前处于自己的Home,那这一栏大概都是它的账号名称。第四个栏位，表示所属的组（group）。每一个使用者都可以拥有一个以上的组
2020-08-27 13:13:05
23034
1
原创 安装Docker-Mac
最近在学习实时计算相关的知识，有用到docker，mark下mac下按照docker踩的坑。下载官方网址国内下载速度非常慢。推荐阿里云Docker dmg秒下载安装双击打开dmg包，拖拽到app成功后会有界面参考链接Mac下安装Docker...
2020-08-24 12:45:31
147
原创 IDEA-自动导包
IntelliJ IDEA可以自动优化导入包，但是有多个同名的类位于不同的包时，需要自己手动使用Alt + Enter进行导入。Settings→Editor→General→Auto Import选中Optimize imports on the fly和Add unambiguous imports on the fly含义Optimize imports on the fly：自动去掉一些没有用到的包Add unambiguous imports on the fly：自动帮我们优化导
2020-08-21 17:49:01
127
原创 数据建设-数仓分层
前言数据仓库是所有产品的数据中心，公司体系下的所有产品产生的所有数据最终都流向数据仓库，可以说数据仓库不产生数据，也不消费数据，只是数据的搬运工。注意： 本问讨论的数据公共层设计理念遵循维度建模思想数据仓库的作用存储数据校准数据整合数据输出数据基于以上几点，需要将数据分层次管理，每一层分工合作，对数据进行不同程度的处理，如同工厂里的流水线一般，从而确保数据的生命性、生态性。模型层次数据模型分为三层：操作数据层（ODS）公工维度模型层（CDM）应用数据层（ADS）模型层
2020-08-21 14:28:42
2084
1
原创 死锁机制
百度词条死锁是指两个或两个以上的进程在执行过程中，由于竞争资源或者由于彼此通信而造成的一种阻塞的现象，若无外力作用，它们都将无法推进下去。此时称系统处于死锁状态或系统产生了死锁，这些永远在互相等待的进程称为死锁进程java代码实现package DeadLock;public class DeadLock { public static void main(String[] args) { Object o2 = new Object(); Object
2020-08-20 18:40:02
294
原创 服务器生成 SSH 公钥
许多服务器都使用 SSH 公钥进行认证。 为了向服务器提供 SSH 公钥，如果某系统用户尚未拥有密钥，必须事先为其生成一份。 这个过程在所有操作系统上都是相似的。 首先，你需要确认自己是否已经拥有密钥。 默认情况下，用户的 SSH 密钥存储在其 ~/.ssh 目录下。 进入该目录并列出其中内容，你便可以快速确认自己是否已拥有密钥：cd ~/.ssh# 若该文件夹不存在，则创建一个mkdir ~/.ssh我们需要寻找一对以 id_dsa 或 id_rsa 命名的文件，其中一个带有 .pub 扩展名
2020-08-18 16:11:18
3592
原创 SQL面试题-聚合函数
题目1 背景说明:有一张包括历史到现在为止的银行ATM流水表，trans_amount(单位万元).包括如下信息:user_id, data_dt, trans_type, trans_amount, account_balance u_001 ,2019-12-01, deposit , 8 , 28u_002 ,2019-12-01, deposit , 10 , 10u_002 ,2019-12-02, withdraw, 7 , 3u_002 ,
2020-08-15 19:24:05
1306
原创 IntelliJ IDEA Maven环境配置教程
下载maven安装包官网下载官网下载maven安装包镜像下载Maven镜像注意： 官网下载很慢，建议用镜像下载Windows版本解压缩，放到指定路径配置环境变量新建MAVEN_HOME------输入maven解压包路径找到PATH------新增%MAVEN_HOME%\bin配置检查mvn -v优化配置配置 apache-maven-3.6.3\conf\ settings.xml修改本次仓库地址默认地址位于：Default: ${user.home}/.
2020-08-14 13:26:37
776
原创 数仓建设-数据治理
很大的一个课题。要好好思考，多看点书与博文，总结下工作经验，再来写。目前在网上找到了两个这方面的博文，研读后很有感触，贴出来分享下。美团配送数据治理实践数据治理怎么做？...
2020-08-13 15:37:46
346
Yolo-v2单物体识别（以person举例）
2018-05-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人