fqjia2008的专栏

原创 GPT知识库浅析

GPT 知识库，就像是一个包含了各种武功秘籍的宝库。GPT Bot 像是一位可以通过阅读和理解这些秘籍，来不断提高自己的武功水平的修炼者。

原创 IDEA无法识别项目中的Java类

在切换代码分支时，IDEA有时候会出现无法识别项目中的Java类，提示：无法识别class。可以成功执行本地命令，无报错，但IDEA却无法识别生成的Java类。

原创 规则引擎在数据治理平台的实践

在数据治理时，经常会遇到个性化统计分析的场景：基于数据的某些属性进行组合筛选，只有符合条件的数据才进行统计分析。为了方便可视化筛选数据，基于规则引擎提供个性化配置能力

原创 大数据基础设施Apache Hadoop简介

一、项目起源在数据量很大的情况下，单机的处理能力无法胜任，必须采用分布式集群的方式进行处理，而用分布式集群的方式处理数据，实现的复杂度呈级数增加。早在 2003 年的时候，Google 就已经面对大于 600 亿的搜索量。但是数据的大规模处理技术还处在彷徨阶段。当时每个公司或者个人可能都有自己的一套工具处理数据。却没有提炼抽象出一个系统的方法。在海量数据处理的需求下，一个通用的分布式数据处理技术框架应运而生。大数据技术主要始于Google的两篇论文：2003年《The Google File Sy

原创 rsync笔记

同步删除文件时报错：cannot delete non-empty directory原始命令：rsync -a --delete --exclude={'*/.git/','*/.gradle','*/.idea/','*/*/build','*/target','*/*/target','*/*/*/target','azkaban_source/azkaban-web-server/src/restli/generatedJava','*/logs','*/*/logs'} /appcom/wor

原创 使用Ambari管理Apache Atlas

文章目录一、背景二、准备三、替换服务3.1 定位安装目录3.2 停止HDP版本的Atlas3.3 替换安装目录3.4 启动Atlas一、背景HDP版本的大数据套件，一般是HDP预打包好，由 Ambari 进行分发管理。若要使用Apache社区版本的服务，一般是独立部署，无法使用 Ambari 进行服务启停、配置管理。本文主要介绍如何利用 Ambari 管理Apache版本的Atlas服务。二、准备从 Github 下载 Apache Atlas 源码，编译打包之后上传到Atlas服务器，解压部署好

原创 Atlas变更搜索引擎

文章目录一、背景二、尝试修改配置（失败）三、删库重建3.1 删除HBase表3.2 修改Atlas配置3.3 修改Atlas的ES依赖jar包3.4 重启Atlas四、开放ES索引权限五、修改ES索引配置一、背景Apache Atlas是数据治理的一个重要组件，可以自动采集加工，生成元数据及血缘。Apache Atlas本质上是基于JanusGraph图数据库封装起来的一个服务，在生产环境下，JanusGraph一般需要依赖外部的存储引擎(HBase/Cassandra/Bigtable/Berkel

原创 基于Spring Data JPA支持多数据源

一、在配置文件添加多数据源的配置说明：单一数据源时，没有primary、secondary这一层级的配置primary、secondary只是一个名称，可以根据实际情况进行命名，比如在使用druid数据源时可以把secondary改为druid，也是可以的spring: datasource: # 主数据源 primary: driver-class-name: com.mysql.cj.jdbc.Driver jdbc-url: jdbc:mysql

原创 在mysql中将JSON数组转换为行数据

文章目录一、背景二、基本知识三、实现原理一、背景在mysql表中有一个字符串类型的字段，里面储存了JSON格式的数组。由于mysql单个字段的长度是有限的，若JSON数组太长，容易出现长度溢出的异常，所以要将该字段转换为一张独立的mysql表。此文档适用于已知JSON数组最大长度的场景，一般情况下可以通过字符串的长度换算得到数组的最大长度。二、基本知识mysql从5.7开始，增加了JSON函数，支持对字符串进行JSON格式转换。这里主要用到两个函数：JSON_EXTRACT、JSON_UNQUO

原创 一键启动、停止脚本开发指引

文章目录一、背景介绍二、一键启动脚本三、一键停止脚本一、背景介绍项目开发时使用gradle构建工具进行项目构建开发，借助application插件进行项目打包。./gradlew clean build执行以上命令后，gradle会自动将项目打包为zip包，并放在build/distributions目录下。该zip包里面包含了两个目录：bin : gradle自动生成的启动脚本，与项目/模块名称相同。lib : 所有的运行时jar包。一般情况下，使用gradle自动生成的启动脚本即可

原创 大数据JAVA日志规范

文章目录一、前言二、日志框架2.1 【强制】约定单个项目内部使用SLF4J+Log4j2。2.1.1 【强制】在引入日志框架依赖时，要把其他日志框架排除2.1.2 【强制】在打包fat-jar时，禁止打包任何日志框架三、日志文件3.1 日志目录3.1.1【强制】所有应用须在日志目录下创建专属目录3.1.2 【推荐】一个服务有多种不同的应用，在同一个目录下建立子目录区分。3.2 日志滚动3.2.1【强制】按大小滚动3.2.2 按时间滚动3.2.3 命名规范3.2.3.1 【强制】appName[-日志类型]-

原创 开发Spring Boot项目时出现java.lang.ClassCastException

故障现象在修改了代码之后重启服务，出现java.lang.ClassCastException2020-05-13 15:59:53.238 ERROR 5964 --- [ restartedMain] c.w.d.d.i.controller.ProjectController : Failed to initialize handler class: cn.wesure.da.ds.ide.service.dmp.strategy.ProjectAddHandlerjava.lang.C

原创 Git分支开发流程

原创 使用命令行启动 VirtualBox 虚拟机

查看所有虚拟机"D:\Program Files\Oracle\VirtualBox\VBoxManage.exe" list vms查看正在运行的虚拟机"D:\Program Files\Oracle\VirtualBox\VBoxManage.exe" list runningvms无界面启动"D:\Program Files\Oracle\VirtualBox\VBoxHead...

原创 VirtualBox中CentOS 6配置步骤

1. 新建虚拟机新建好虚拟机后，配置两张网卡，一张NAT，一张Host-Only，其中Host-Only的网卡用于主机与虚拟机、虚拟机之间的通信。 网卡注意选择 准虚拟化网络(virtio-net) 2. 共享粘贴板、拖放常规->高级，设置共享粘贴板、拖放 为 双向 3. 安装系统1、修改分区，只保留 1）swap分区 2G 2）/根分区 剩余所有 2、安装CentO

原创 VirtualBox中CentOS 7配置步骤

1、设置Terminal快捷键Name: Terminal Command: gnome-terminal key: Ctrl+Alt+T2、设置双网卡配置两张网卡，一张NAT，一张Host-Only，其中Host-Only的网卡需要配置为静态IP，步骤如下：vim /etc/sysconfig/network-scripts/ifcfg-enp0s8修改内容BOOTPROTO=staticO

原创 OpenLDAP的安装

安装环境及软件版本： OS: Ubuntu 14.10 openssl: 1.0.1f cyrus-sasl: 2.1.26 http://cyrusimap.org/index.php Berkeley DB: 5.2.36 http://www.oracle.com/technetwork/cn/database/database-technologies/berkeleydb/dow

原创 Android开启Wifi调试

最近爪机的USB端口出了问题，很不稳定。快抓狂之际，发现Android竟然可以Wifi调试。其实最原始的方法也就3行代码，不过在爪机上输入始终不是太方便，因此自己写了个小程序。以下是方法介绍。原始方法：前提：爪机有root权限。没有的话自行google。1、确保爪机与电脑都连上了Wifi，并处于同一网段中。2、下载一个终端模拟器，并打开。3~6步中的输入都是在终端模拟器中进行的。

原创 在TabActivity中设置软键盘的显示问题

官网说明，对于软键盘的显示设置是通过在AndroidManifest.xml中设置Activity的android:windowSoftInputMode属性来设置的。具体介绍可以去官网查看http://developer.android.com/guide/topics/manifest/activity-element.html#wsoft。但在使用TabActivity的时候，却需要注意

原创 PI的生成

PI = 4 * atan(1.0)

转载 Android上dip、dp、px、sp等单位说明

Android上dip、dp、px、sp等单位说明原文地址：http://www.imyukin.com/?p=277dip  device independent pixels(设备独立像素). 不同设备不同的显示效果,这个和设备硬件有关，一般我们为了支持WVGA、HVGA和QVGA 推荐使用这个，不依赖像素。在android上开发的程序将会在不同分辨率的手机上运行。