草鱼狂飙-CSDN博客

原创关于Linux命令

查看tomcat实时日志输出在目录下 webserver/tomcat-app1/logs 输入tail -f catalina.out查看正在运行的Java程序ps -ef | grep java查找指定名字的目录find / -name app1_dir查看系统的版本lsb_release -a//这个命令适用于所有的linux，包括Redhat、SuSE、Debian、Centos等

2017-06-15 08:53:36 561

八种基本数据类型数据类型占用字节取值范围byte（字节型）1-128～127（-2的7次方到2的7次方-1）short（短整型）2-32768～32767（-2的15次方到2的15次方-1）int（整形）4-2147483648～2147483647（-2的31次方到2的31次方-1）long（长整型）8-9223372036854774808～9223372036854774807（-2的63次方到2的63次方-1）float（浮点型）4

2022-05-17 10:10:03 239

原创 powerdesigner 导出excel

“Tools"→"Execute Commands"→"Edit/Run Script”或者快捷键ctrl+shift+x'******************************************************************************Option Explicit Dim rowsNum rowsNum = 0'-----------------------------------------------------------------

2021-03-22 19:51:44 271

原创 idea python语言设置方法中的变量颜色

背景：使用idea开发java或者scala习惯之后默认红色是错误提示，黄色是警告提示。最近使用idea安装python插件开发python之后，python方法里面的参数名是红色的，很别扭，这里可以设置一下python方法的变量颜色。设置方法：打开idea 设置（快捷键：alt+ctrl+s），依次打开：Editor -> Color Scheme -> Python在右侧框中找到 Keyword argument 选项，Foreground 修改为 7D7B80 或者其他自己认

2020-12-02 14:03:14 1317 1

转载辨析BI、数据仓库、数据湖和数据中台内涵及差异点

一数据仓库数据仓库平台逐步从BI报表为主到分析为主、到预测为主、再到操作智能为目标。图1.数据仓库发展阶段划分商务智能（BI，Business Intelligence）是一种以提供决策分析性的运营数据为目的而建立的信息系统。是属于在线分析处理：On Line Analytical Processing(OLAP)，将预先计算完成的汇总数据，储存于魔方数据库(Cube) 之中，针对复杂的分析查询，提供快速的响应。在前10年，BI报表项目比较多，是数据仓库项目的前期预热项目（主要分析为主的阶段，是

2020-07-31 18:09:15 348

原创记一次升级centos7的教训

背景自己有台服务器，物理机，有一天在centos7 的GNOME 桌面的应用安装里面手贱点了升级，然后开机卡死了，提示信息也不明确。开始解决问题：第一步开机选择旧的内核启动，一般升级后开机启动项会多一个新内核的启动方式，旧内核的也保留着，开机选择旧内核启动，方法是开机后在选择菜单（默认显示三秒左右的那个菜单）中选择旧内核启动，超过默认时间就会以新内核启动了。启动进入系统，使用root账户登录，删除新内核，不升级了删除多余内核其实只删除最新的内核就好了。# 查看当前内核的版本号 uname -

2020-05-10 02:41:03 304

原创 centos gone定时打开chrome

背景因为自己有一台centos的服务器，上面安装了gone桌面和chrome的浏览器，因为需要长期打开chrome的插件达到一个自动签到的目的，但是个人又总是习惯在用完chrome之后随后关闭chrome,所以需要一个定时的脚本，可以定时检查chrome是否打开，没有的打开chrome浏览器使自动签到的一些插件可以正常运行。关键点因为脚本是后台任务，后台脚本要打开桌面版本的浏览器，所以首先需...

2020-04-21 19:42:47 291

原创位运算基础

二进制运算基本的二进制运算有与、或、异或、取反、左移、右移这六种& 与运算：只有当两位都是1时结果才是1，否则为0。eg：6&4=4 0110 & 0100--------- 0100| 或运算：两位中只要有1位为1结果就是1，两位都为0，则结果为0。eg：6|4=6 0110 | 0100--------- 0110^...

2020-03-27 08:12:49 311

原创关于音乐代理使用

音乐代理开源信息 https://github.com/nondanee/UnblockNeteaseMusic具体详情参见以上链接docker 方案docker run -d \-p 10080:8080 \--restart=always \--name unblockmusic \nondanee/unblockneteasemusic下载**云音乐，软件内设置代理 {se...

2020-03-25 09:56:40 431

原创 nmap 相关使用

安装# -v 显示过程和附加信息# -h (或 --hash) 指定加密方式为hash # -U<套件档>或--upgrade<套件档> 升级指定的套件档sudo rpm -vhU https://nmap.org/dist/nmap-7.80-1.x86_64.rpm最新版本可以进入https://nmap.org/download.html查看。扫描机器...

2020-03-09 23:40:45 341

原创 docker samba安装

使用命令docker run -it -p 139:139 -p 445:445 --name samba -d \ --restart=always \ -v /data2:/mount \ dperson/samba \ -u "fuwj;123456" \ -s "dell-server;/mount/;yes;no;no;all;none" \ -w "WORKGROUP" ...

2020-03-01 19:21:19 531

原创机器学习先关概念

无监督学习和监督学习1 . 无监督学习（Unsupervised learning）训练样本的标记信息是未知的，目标是为了揭露训练样本的内在属性，结构和信息，为进一步的数据挖掘提供基础。聚类（clustering）降维（dimensionality reduction）异常检测（outlier detection）推荐系统（recommendation system）###1.1...

2019-10-21 11:44:56 147

原创理解逻辑回归中的ROC曲线和KS值

1.回归和分类任务分类和回归都属于监督学习（训练样本带有信息标记，利用已有的训练样本信息学习数据的规律预测未知的新样本标签）分类预测的结果是离散的（例如预测明天天气-阴，晴，雨）回归预测的任务是连续的（例如预测明天的温度，23，24，25度）分类中比较常用的是二分类（label结果为0或1两种）2.逻辑回归不是回归从名字来理解逻辑回归.在逻辑回归中,逻辑一词是logis...

2019-10-21 11:41:42 10340

转载线程池-拒绝策略

前言谈到java的线程池最熟悉的莫过于 ExecutorService接口了，jdk1.5新增的java.util.concurrent包下的这个api，大大的简化了多线程代码的开发。而不论你用FixedThreadPool还是CachedThreadPool其背后实现都是ThreadPoolExecutor。ThreadPoolExecutor是一个典型的缓存池化设计的产物，因为池子有大小，当...

2019-10-15 18:53:07 160

转载 java8-Lambda

1. 引言在 Java 8 以前，若我们想要把某些功能传递给某些方法，总要去写匿名类。以前注册事件监听器的写法与下面的示例代码就很像：manager.addScheduleListener(new ScheduleListener() { @Override public void onSchedule(ScheduleEvent e) { //...

2019-10-15 18:48:17 117

原创 Spark动态资源分配

Spark中，所谓资源单位一般指的是executors，和Yarn中的Containers一样，在Spark On Yarn模式下，通常使用–num-executors来指定Application使用的executors数量，而–executor-memory和–executor-cores分别用来指定每个executor所使用的内存和虚拟CPU核数。其实从Spark1.2之后，对于On Yar...

2019-10-09 17:48:52 511

原创 Spark-Yarn开启日志聚集服务

在yarn模式下，spark作业运行相关的executor和ApplicationMaster都是运行在yarn的container中的一个作业运行完了以后，yarn有两种方式来处理spark作业打印出的日志第一种是聚合日志方式（推荐，比较常用）这种方式的话，顾名思义，就是说，将散落在集群中各个机器上的日志，最后都给聚合起来，让我们可以统一查看如果打开了日志聚合的选项，即yarn.log-...

2019-10-08 19:39:26 1145

原创 Spark 调度模式-FIFO和FAIR

Spark 调度模式-FIFO和FAIRSpark中的调度模式主要有两种：FIFO和FAIR。默认情况下Spark的调度模式是FIFO（先进先出），谁先提交谁先执行，后面的任务需要等待前面的任务执行，后面的任务需要等待前面的任务执行。而FAIR（公平调度）模式支持在调度池中为任务进行分组，不同的调度池权重不同，任务可以按照权重来决定执行顺序。Spark的调度模式可以通过spark.schedu...

2019-10-08 19:18:56 878

转载 SparkSql中的repartition 与 coalesce

SparkSql的repartition和coalesceSparkSql 写hive小文件后记repartition(numPartitions:Int)和coalesce(numPartitions:Int，shuffle:Boolean=false)作用：对RDD的分区进行重新划分，repartition内部调用了coalesce，参数shuffle为true例：RDD有N个分区，需要...

2019-03-22 10:33:23 3991

原创 idea 解决working directory 设置到 target

图示位置输入：$MODULE_DIR$\target\classes点击确认，保存

2019-03-06 15:45:24 3741 1

转载 Redis 主从、哨兵和集群区别

主从模式 (master-slave)备份数据、负载均衡，一个Master可以有多个Slaves。主从模式强调数据备份，读写分离等Redis 复制功能的几个重要方面：一个主服务器可以有多个从服务器。不仅主服务器可以有从服务器，从服务器也可以有自己的从服务器，多个从服务器之间可以构成一个图状结构。复制功能不会阻塞主服务器：即使有一个或多个从服务器正在进行初次同步，主服务器也可...

2019-03-06 13:39:50 9852 3

转载 Kafka的message存储数据结构

引言Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借用官方的一张图，可以直观地看到topic和partition的关系。partition是以文件的形式存储在文件系统中，比如，...

2019-02-28 11:12:46 407

原创 Redis单机版迅速安装

下载安装编译最新安装参考：https://redis.io/download$ wget http://download.redis.io/releases/redis-5.0.3.tar.gz$ tar xzf redis-5.0.3.tar.gz$ cd redis-5.0.3$ make二进制已经编译成功到src目录。开启服务端$ src/redis-server开启客...

2019-02-27 14:52:31 152

原创 Sqoop安装和简单的使用

下载官网dowload http://sqoop.apache.org/安装解压到自己规定的目录tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 配置环境变量：#sqoopexport HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*:$HIVE_HOME/confexport SQ...

2019-02-27 09:56:50 118

转载 Lucene、solr以及elasticsearch之间的区别和联系

首先分别说明三者的概念：Lucene是一套信息检索工具包，并不包含搜索引擎系统，它包含了索引结构、读写索引工具、相关性工具、排序等功能，因此在使用Lucene时仍需要关注搜索引擎系统，例如数据获取、解析、分词等方面的东西。而solr和elasticsearch都是基于该工具包做的一些封装。Solr是一个有HTTP接口的基于Lucene的查询服务器，封装了很多Lucene细节，自己的应用可以直接...

2019-02-21 13:54:54 485 2

转载消息队列ActiveMQ,RabbitMQ,RocketMQ,Kafka性能，优缺点对比。

特性 ActiveMQ RabbitMQ RocketMQ Kafka 单机吞吐量万级，吞吐量比RocketMQ和Kafka要低了一个数量级万级，吞吐量比RocketMQ和Kafka要低了一个数量级 10万级，Ro...

2019-02-20 10:50:35 1032

转载 Storm 综合

Storm 综合Storm中Nimbus、Supervisor以及Worker之间的关系首先storm是运行在多台服务器上的，每一台服务器我们称之为一个节点。【nimbus进程】storm集群工作的全局指挥官。通过thrift接口，监听并接收client对topology的submit，将topology代码保存到本地目录/nimbus/stormdist/下为client提交的to...

2019-02-19 10:31:08 111

转载 Java常见线程池

1. 为什么使用线程池诸如 Web 服务器、数据库服务器、文件服务器或邮件服务器之类的许多服务器应用程序都面向处理来自某些远程来源的大量短小的任务。请求以某种方式到达服务器，这种方式可能是通过网络协议（例如 HTTP、FTP 或 POP）、通过 JMS 队列或者可能通过轮询数据库。不管请求如何到达，服务器应用程序中经常出现的情况是：单个任务处理的时间很短而请求的数目却是巨大的。构建服务器应用程...

2019-02-16 14:14:43 147

转载线程安全日期格式化操作的几种方式

由于 DateFormat 是非线程安全的，因此在多线程并发情况下日期格式化时需要特别注意。下面记录几种格式化的方式：线程不安全的处理方式//线程不安全private static final DateFormat DATE_FORMAT = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");这种方式会报如下异常：java.lang.NumberF...

2019-02-16 09:45:12 894

原创在CentOS 7 更改Docker默认镜像和容器的位置

方法一、软链接默认情况下Docker的存放位置为： /var/lib/docker 可以通过下面命令查看具体位置：sudo docker info | grep "Docker Root Dir"解决这个问题，最直接的方法当然是挂载分区到这个目录，但是我的数据盘还有其他东西，这肯定不好管理，所以采用修改镜像和容器的存放路径的方式达到目的。这个方法里将通过软连接来实现。首先停...

2018-07-17 13:32:53 3293

原创 centos 使用htop

一、源码安装安装htop的坑： 1、上官网http://hisham.hm/htop/releases/下载最新的包 2、解压缩：tar -zxvf htop-2.0.2.tar.gz; 3、进入目标文件夹： cd htop-2.0.2 4、./configure 5、系统若出现以下提示，则需要安装c编译环境 configure: error: no acceptable C co...

2018-05-31 13:47:15 1060

原创 docker安装tomcat

安装tomcatdocker pull tomcatdocker run -t -i -d \-v /data/workdir/docker_tomcat/app1:/usr/local/tomcat/apps \-v /data/workdir/docker_tomcat/logs1:/usr/local/tomcat/logs \-p 10001:8080 --name tom...

2018-05-30 14:34:26 157

原创 docker 安装mysql8.0

环境时间：2018年5月28日17:53:28 系统 centos 7.3 docker 13获取资源docker pull mysql或者docker pull mysql:8.0新建容器docker run \--name mysql \-p 3306:3306 \-e MYSQL_ROOT_PASSWORD={your passwd}\-d ...

2018-05-30 14:32:17 6037 3

原创 Java热部署与热加载

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

2018-02-28 19:16:41 1627

原创 SpringBoot+DevTools热部署

一、 pom.xml文件注：热部署功能spring-boot-1.3开始有的&lt;!--添加依赖--&gt;&lt;dependency&gt; &lt;groupId&gt;org.springframework.boot&lt;/groupId&gt; &lt;artifactId&gt;spring-boot-dev

2018-02-28 08:46:21 217

原创 Ajax跨域问题及解决

跨域问题的产生前台调用后台接口，因为前台和后台不在同一个域内产生跨越问题。浏览器限制跨域XHR（XMLHttpRequest）请求三个条件同时产生才能发生跨域问题。解决思路从浏览器角度解决使用不检查跨域的方式启动浏览器**\chrome --disable-web-security --user-data-dir=g:\temp3不存在任何的跨...

2018-02-26 22:22:31 277

转载 Linux 下三种方式设置环境变量

1、在Windows 系统下，很多软件安装都需要配置环境变量，比如安装 jdk ，如果不配置环境变量，在非软件安装的目录下运行javac 命令，将会报告找不到文件，类似的错误。2、那么什么是环境变量？简单说，就是指定一个目录，运行软件的时候，相关的程序将会按照该目录寻找相关文件。设置变量对于一般人最实用的功能就是：不用拷贝某些dll文件到系统目录中了，而path 这一系统变量就是系统搜索dll

2017-10-31 09:13:23 322

原创 docker常用命令集合

查看docker版本docker version 显示docker系统的信息docker info 查看到容器的相关信息（ip，建立）docker inspect 容器id停止、启动、杀死一个容器docker stop <容器名orID>docker start <容器名orID>docker kill <容器名orID>

2017-09-14 09:26:55 262

原创 gitlab社区版搭建及简单配置

一、环境服务器环境：LSB Version: :base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarchDistributor ID: CentOSDescription: CentOS release 6.8 (Final)Release: 6.8Codename: Finalgitlab社区

2017-07-28 16:34:49 1761