- 博客(202)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spring Boot程序使用代理
目录1.配置文件1.1读取配置2.RestTemplate使用代理3.WebSocket使用代理1.配置文件代理配置applicaiton.propertiesproxy.host=127.0.0.1proxy.port=108091.1读取配置public class ApplicationConfig { /// 是否使用代理. @Getter private static boolean useProxy; @Getter
2021-01-25 11:39:21
884
1
原创 Java并发访问sqlite时SQLITE_BUSY的问题
1.测试工程测试工程: F:\workspace\demo\sqlite(TODO:上传demo项目)sqlite依赖: <dependency> <groupId>org.xerial</groupId> <artifactId>sqlite-jdbc</artifactId> <version>3.32.3.2</ver...
2021-01-12 14:14:05
3323
原创 Spring MVC通过拦截器记录请求处理日志
方案：.接口列表保存在数据库表中, 指定是否记录日志以及日志模板.默认提取body,path variables,query properties的值(去除敏感属性).通过拦截器在请求处理后记录请求处理日志(HandlerInterceptor#postHandle)。接口列表保存在sys_func表中:示例记录:insert into sys_func(id,name,method,path,grant_flag,log_flag) values(1,'测试-1',1,'/trade/o
2020-08-07 15:46:00
829
原创 DataSet2Table实现
DataSet2Table是一个Action.作用是把DataSet的数据insert到一个指定表。配置参数包括：数据源，表名称，DataSet列与表字段对应关系。 每个字段的对应关系表示为：表字段名称:列或Spel表达式列引用有两种方式：.序号：id:1,value:2 ---序号从1开始，以@引导，如@1表示DataSet第1列.列名称：id:user_id,value:bonus ---名称以$引导，如$id表示DataSet的名称为id列 示例如： ...
2020-05-27 16:48:28
206
原创 查找tree下指定属性值最大的所有节点
场景:.tree结构,node对应应用对象.应用对象有某个数据属性(BigDecimal类型)目标:.查找指定node及下级中某个数据属性值最大的所有节点主要代码是用于tree节点的findWithMaxVal方法，其它代码用于测试。package com.example.demo.tree;import lombok.Data;import lombok.ext...
2020-04-15 17:31:51
278
原创 验证BeanShell与Java交互方法
Tree计算器是对Tree结构节点进行抽象计算的程序.利用BeanShell实现应用逻辑，以获取灵活性和适应性。主程序采用Java实现。需要：。Java调用BeanShell脚本。BeanShell可以访问Java程序的对象BeanShell实现具体的算法：。对节点进行计算，如根据节点的某些属性值，在Tree中的位置等数据计算。实现一个Calculator接口：2个方法-...
2020-04-14 10:21:31
199
原创 Alpha Vantage API使用示例
1.场景程序从Alpha Vantage获取股票数据.https://www.alphavantage.co/documentation/#以日线数据(function=TIME_SERIES_DAILY)为例实现API的调用.程序的目的是把请求返回的数据解析后保存到数据库中.实现过程中,从可实现到尝试找到一种更简单的实现方式.TIME_SERIES_DAILY返回的数据示...
2019-12-06 15:39:32
2710
1
原创 Alpha Vantage API使用示例
1.场景程序从Alpha Vantage获取股票数据.https://www.alphavantage.co/documentation/#以日线数据(function=TIME_SERIES_DAILY)为例实现API的调用.程序的目的是把请求返回的数据解析后保存到数据库中.实现过程中,从可实现到尝试找到一种更简单的实现方式.TIME_SERIES_DAILY返回的数据示...
2019-12-06 15:38:35
1058
原创 Alpha Vantage API使用示例
1.场景程序从Alpha Vantage获取股票数据.https://www.alphavantage.co/documentation/#以日线数据(function=TIME_SERIES_DAILY)为例实现API的调用.程序的目的是把请求返回的数据解析后保存到数据库中.实现过程中,从可实现到尝试找到一种更简单的实现方式.TIME_SERIES_DAILY返回的数据示...
2019-12-06 15:37:44
553
原创 获取tushare的数据实现示例
1.引言需要从tushare获取股票数据，保存在本地,进行分析.本文以日线接口为例，记录使用java通过http方式处理请求和响应的方法。日线接口https://tushare.pro/document/2?doc_id=27HTTP接口调用方式https://tushare.pro/document/1?doc_id=130为了简化多个接口的访问,实现一些基础类，包括...
2019-11-25 16:02:16
2518
原创 数据并行加载器实现(Java)
1.引言从数据库中加载数据,当数据量大的时候,通过多个线程并行加载缩短加载时间。实际应用是从mysql中读取120万的用户数据.单线程耗时：20秒并行加载: 6秒.2.方案实现一个并行加载器.实现方案要点：数据分片: 要求记录有int型/long型的唯一字段,作为分片的key.每1万条记录作为一片 根据线程数,把数据分片尽量均匀分配到线程上 线程异常处理：3....
2019-11-05 14:45:50
547
原创 重启Java程序的方法
1.引言1.1背景问题一个spring boo应用程序每天定时执行一次。启动时，内存占用800M，结算后占用6G。执行后，堆内存实际使用1G，但分配的内存达6G。调整以下JVM参数，只能降到3G，不确定是否延长了处理时间。-XX:MaxHeapFreeRatio=10-XX:MinHeapFreeRatio=10目标是使程序执行后，能够恢复到接近启动时的内存消耗规模...
2019-11-05 12:04:29
10312
原创 使用Spring Data JPA自定义update执行慢的问题
1.问题使用JPA修改一条按primary key定位的记录耗时超过30秒.执行方法代码.@Transactionalpublic void update() { SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd"); this.lastClearingDate = this.clearDate;...
2019-04-18 15:54:10
1977
原创 boost log输出预定义宏
boost版本:1.67编译器:gcc 4.9.4使用boost log输出__FILE__,__LINE__,__func__,可以简单的采用以下方式#define LOG_TRACE BOOST_LOG_SEV(*(crush::common::get_glog()), crush::common::SL_TRACE)// \ << "(" <<...
2018-12-07 16:40:53
950
原创 gcc程序获取对象类型名
gcc调试时用typeid(typename).name()查看对象的类型名称,输出的是经过修饰的名字.如下面的代码,每种类型输出的名字对应每行右边的注释内容.#include<iostream>struct stA {};using namespace std;cout<<typeid(int)<<endl; ///< "i"co...
2018-12-07 14:59:56
728
原创 csdn博文转换为Markdown
csdn博文标题//*[@id="mainBox"]/main/div[1]/div/div/div[1] csdn的正文：//*[@id="content_views"] 工具-------------------------------Html/MarkDown互转工具https://tool.lu/markdown/ 开发-----------...
2018-12-06 16:01:08
2413
1
原创 服务日志收集方案开发环境搭建
在ubuntu 16.04虚拟机上安装Elasticsearch,Kibana,Filebeat.版本:6.5.1Elasticsearch默认是开发模式.只能在本机访问.Kibana可外部访问.汉化Kibana界面.Filebeat直接输出到Elasticsearch.以下说明各组件的安装配置. Elasticsearch 需要以非root用户安装.下载，安装：wg...
2018-12-06 15:00:13
314
原创 使用filebeat收集日志到elasticsearch
1.引言环境:elastic stack 版本:6.5.1使用以下组件--elasticsearch --kibana--filebeat服务程序日志保存目录:/home/liujg/dev/crush-backend-cpp/crush/gateway/bin/Debug.有多个rotation日志文件,日志文件名后缀".log".日志记录格式：行号|时间戳|进程ID|线程...
2018-12-06 10:47:49
8259
原创 格式化日志提取模拟写入Elasticsearch
1.目标任务场景和目标：已有服务的格式化日志. 利用Ingest Pipeline提取 通过Simulate Pipeline API模拟写入Elasticesearch目的是对Pipeline文件进行验证。日志格式如下：行号|时间戳|进程ID|线程ID|日志级别|消息内容示例：2|2018-11-28,10:50:06.792978|6719|140737353...
2018-12-04 18:10:06
1117
原创 程序调用chrome遇到的问题
场景：采用Java+AutoIt3+EditThisCookie自动获取cookie，实现应用程序的自动登录。AutoIt3脚本操作Chrome浏览器.模拟人工操作.利用EditThisCookie插件保存cookies文件.由java程序使用.脚本编译成exe文件.设为a.exe.由java程序调用.Java程序在检测到访问失败需要重新登录后调用a.exe.等a.exe执行结束后再尝试...
2018-11-29 02:08:17
918
原创 boost log使用
1.目标程序日志输出改进目标：1. 用颜色区分错误和警告2. 日志文件中用"warning"文本代替数字表示severity，便于日志中搜索3. 合并log_setting.ini配置文件(到程序json配置文件,不使用init_from_stream)4. 可同时输出到console和文件 资料未整理完,以后再补充对程序的说明。 2.实现log.h...
2018-11-24 21:58:39
5014
2
原创 利用AutoIt自动登录
1.关于AutoIt下载https://www.autoitscript.com/site/autoit/相关资料Language Referencehttps://www.autoitscript.com/autoit3/docs/中文资料https://www.jb51.net/shouce/autoit/调试器http://www.thefoolonthehill.net/...
2018-11-11 18:05:07
3192
原创 使用mitmproxy自动登录测试记录
1.环境Python 2.7.14mitmproxy 4.0.4mitmproxy api 0.18.3安装mimtproxy后，运行mitmdump并没有在运行目录下生成证书,需要以下步骤.设置chrome代理为mitmproxy.在chrome中打开http://mitm.it.下载证书.安装证书2.测试目的是绕过目标网站对selenuim的屏蔽.方法如下：...
2018-11-04 22:48:01
2978
4
原创 Hoard应用
本文是多年前的一篇草稿.目前项目中准备用hoard,恢复发布此文。1.背景das前置机和服务器有崩溃的情况，是否是大量请求时内存不足所致？一个umx文件加载进内存，内存消耗为什么增大了非常多？如几十M的文件，加载后内存暴增几百兆---以前有过此现象2.测试与分析hoard对此的改善有多大？int new_buf(int times,int size) { for (...
2018-10-03 20:57:07
453
原创 文件分散器
本文是多年前的一篇草稿.1.介绍用途:.当文件数量很大,无法保存在单一目录下时,需要把文件自动分散到不同的目录下.特性:.指定一个$HOME目录,可限定每个目录下最多文件数量.分级目录保存，如$HOME\1,$HOME\2.在$HOME\1下再分目录保存，以保证可容纳足够数量的文件. 按每个目录最大文件数2000个计算，3级可存储的文件数为：2000*2000*2000个文件...
2018-10-03 20:47:32
126
原创 验证码图片识别训练记录
环境:操作系统: Windows 8.1中文版tesseract： 4.00.00alpha1.准备(1)在工作目录下创建font_properties文件.内容为:font 0 0 0 0 0 font_properties为字符配置文件.(2)保存下面内容作为bat文件(如t.bat),生成训练数据文件并复制到tesseract训练数据文件目录.代码来自网上，稍作...
2018-10-03 17:45:02
1936
原创 使用ujorm的程序启动慢的问题
使用ujorm访问数据库的程序启动慢,检查发现是执行OrmHandler.loadDatabase时耗时长.跟踪的调用堆栈如下：MetaDbService.create(MetaDatabase, Session) line: 135 MetaDatabase.create(Session) line: 385 OrmHandler.loadDatabase(UjoDec...
2018-10-02 17:47:57
166
原创 Selenuim ChromeDriver自动登录试验
1.环境chrome版本chrome://version/Google Chrome 67.0.3396.99 (正式版本) （32 位） (cohort: Stable)chrome安装位置%USERPROFILE%\AppData\Local\Google\Chrome\Application chromdriver版本>chromedriver -vChromeD...
2018-07-03 02:19:04
12938
8
原创 Selenium Firefox淘宝自动登录试验
1.引言本试验未达期望.作为经验备忘记录.背景有2个层面的目标：.利用用户名，密码信息登录.除用户名，密码外，提供与人工打开浏览器操作相似的环境，如Profile,Cookies信息，实现登录前者对环境依赖最小化.另外期望以headless方式运行，避免GUI系统环境要求。淘宝登录页面为：https://login.taobao.com/member/login.jhtml?st...
2018-07-01 21:32:09
8472
19
原创 解密chrome cookies文件的encrypted_value
1.环境.windows 8 (x64).chrome cookies文件(sqlite 3):%USERPROFILE%\AppData\Local\Google\Chrome\User Data\Default\Cookies 2.事由解密chrome cookies数据的场景.一个后台程序需要从3个平台抓取数据,每个平台的用户验证方式各不相同.利用浏览器登录后导出cooki...
2018-06-23 02:41:02
7146
9
原创 数据中心
1 平台服务体系结构 其中，重点标识的为本项目的主要开发内容。平台采用微服务体系架构。支持应用客户端类型：PC，移动端，自动售卖机，微信公众号，微信小程序。服务网关是平台服务统一入口。应用服务承载业务逻辑。公共服务为与应用无关的可复用服务。基础设施作为分布式框架为平台提供企业级特性。数据层提供满足应用对事务性，大数据，持久性，缓存方面的不同需求。平台对外提供的开放接口(ZOS:ZDBO...
2018-06-10 10:58:56
1536
原创 消息中心
1 系统结构消息中心体系结构如下图所示： 图中红色线表示移动消息的推送路径。 此结构适用于企业消息中心，也适用于平台，消息推送代理的消息推送服务接口（Web Service）可以作为开放服务。本地服务器是消息源。新生成消息时，如果PC客户端在线，，则消息直接发送给客户端。否则，如果该用户启用了该应用的推送服务，都通过移动消息中心向移动客户端推送，无论移动客户端是否在线。 消息推送代理负责...
2018-06-09 06:01:01
15492
原创 DXI Framework
DXI-Data eXchange Interface 数据交换接口1 体系结构（DXIFramwork）DXI Framework是数据交换的接口技术框架。1.0是对现有实现的数据交换接口的汇总描述。2.0是在1.0基础上的改进，并作为一个整体定义。 1.1 DXI Framework 1.0DXI Framework 1.0体系结构如下图所示：1.0由2个没有关联的部分组成。(...
2018-06-09 05:57:59
289
原创 统一数据交换(UDX)
1 简介UDX:Unified Data eXchange System统一数据交换系统UDX是一个分布式的数据对象交换系统。存储在不同平台，数据库，应用系统的数据通过UDX能够以数据对象为单位进行交换。一个数据对象是一个有意义的业务实体。 UDX系统的组成如下图所示： 交换主体是需要交换数据的系统，如一个数据库。接口的作用是面向不同的交换主体的适配器，负责UDX和交换主体之间的数据转换...
2018-06-09 05:55:25
4036
原创 前置系统
前置系统作为企业ERP和平台之间接口，隔离不同ERP的差异，进行数据传输和转换。1 系统结构系统结构如下图所示：前置系统位于企业内部。业务数据表是ERP系统存储的业务数据的集合，是接口同步的源和目标。对于需要同步的业务数据表的变化，采用触发器方式捕获，记录到事件队列表(t_Sys_EventQueue)中。 接口库存储以下数据：l 接口系统表：如配置信息l 各种编码转换表l 需要临...
2018-06-09 05:51:18
13362
原创 数据同步系统
1 概念l 数据节点一个数据库实例称为一个数据节点，简称节点。数据库不限于关系数据库。 数据同步是在数据节点之间进行。同步是节点表之间的数据的提取，转换，写入过程。数据在节点之间的同步，不要求强一致性，只需要保证最终一致性。 数据节点标识，命名，存储：对每个数据节点，全局唯一dsid编码和唯一的uname,所有数据节点的信息保存在平台t_sys_db表中。dsid仅内部使用，配置等均采...
2018-06-09 05:47:28
4469
原创 数据中心
1 平台服务体系结构 其中，重点标识的为本项目的主要开发内容。平台采用微服务体系架构。支持应用客户端类型：PC，移动端，自动售卖机，微信公众号，微信小程序。服务网关是平台服务统一入口。应用服务承载业务逻辑。公共服务为与应用无关的可复用服务。基础设施作为分布式框架为平台提供企业级特性。数据层提供满足应用对事务性，大数据，持久性，缓存方面的不同需求。平台对外提供的开放接口(ZOS:ZDB...
2018-06-09 05:44:09
8503
原创 平台服务体系
1 体系结构服务体系结构如下图： 从接口方式分目前有2类服务：Java开发的Thrift服务，C++开发的HTTP服务未来转向全部采用HTTP服务，全部采用Java开发，以Spring Cloud为服务体系。新项目按新规定的体系结构开发。对于现有的C++服务,Java Thrift服务，作为遗留系统保留和维护，包括重构，与SpringCloud集成。 服务向Eureka注册，Java ...
2018-06-09 05:33:03
990
原创 基于微服务的平台服务体系
微服务体系架构版本。1.1 术语与缩写术语/缩写 描述 PSI purchase-sale-inventory,进销存 psi-service 进销存服务器，对应原主站服务器 psi-gateway 进销存服务网关 psi-registry 进销存服务注册中心,由jhipster-registry提供 lbm-master 前置机接入服务器 lbm-work 前置机接入服务工作...
2018-06-09 05:29:29
2986
原创 Xebo中间件
1 定位Xebo是一个C++开发的通信服务器框架，用于开发应用插件实现网络业务。它由多个模块化的组件构成，以扩展接口的方式，提供应用逻辑的嵌入以适配具体应用。利用框架提供的基础能力，可简化应用的开发，包括：l 通信：主动/被动连接器,是构建分布式系统的通信基础;协议支持（TCP/UDP，UMX/UMXT）;异步通信上的同步调用l 数据库访问：通过数据库扩展支持跨数据库应用l 消息调...
2018-06-09 05:18:05
315
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人