青山IT生活-CSDN博客

原创本地阿里云脚本python的环境快速搭建

本地阿里云脚本python的环境快速搭建Overview一直都在考虑自己写一个脚本来自动创建阿里云的服务器，然后自动登录到该服务器，准备测试要使用的环境。比如经常使用Elasticsearch，Flink的环境，我考虑可以用python写一个自动化的脚本，然后当我选择flink的时候，该脚本就用我的阿里云账号找到阿里云上最便宜的服务器资源，创建好ECS，然后准备好flink的dockers-compose环境，环境只需要几分钟下载的时间就能准备好，全程不需要我自己在网页上创建下单等。下面介绍的是本地的

2021-05-30 17:04:05 487

原创把win10台式机改成了Centos个人服务器

把自己台式机改成了Centos个人服务器overviewWin10台式机改成服务器Centos最近新入手了一台笔记本，原来放在桌下的台式机就空了起来，想想可以改成服务器，以后测试用或者安装一些linux的软件使用不是不错的，我都打算好了，装一个docker和docker-compose来使用。费了一番手脚把Centos安装好了，结果一看磁盘分区还是原来window系统时候的磁盘分区，不得已重新弄。先分区吧，说到分区那就要先弄一个PE系统盘，我现在的U盘已经装了Centos的镜像，要重新制作系统盘，有

2021-05-30 16:49:04 4237 3

原创 Flink1.13批流合一的介绍

Flink批流合一的介绍概况DataStream API支持不同的运行时执行模式，我们可以根据实际的需求和任务的特征来选择这些模式。STREAMING执行模式是DataStream API的“经典”执行行为，应该用于需要持续增量处理并预期无限期在线的无限作业。此外，还有一种批处理风格的执行模式，我们称之为 BATCH执行模式。它以一种像批处理框架(如MapReduce)的方式执行作业。这应用于已知有限的数据源输入并且不会连续运行的有界作业。Flink对流和批处理的统一方法意味着在有界输入上执行

2021-05-19 06:19:12 971

原创 Flink1.13新特性介绍

Flink1.13发布新特性概要这个版本是一些永久性的更新，帮助用户更好理解Flink程序的性能。当我们的流处理的速度并不是我们希望看到的性能的时候，这些新特性能帮助我们找到原因：数据加载和背压图能帮助定位性能瓶颈所在, CPU火焰图可以定位哪些代码是程序中的热点代码，State Access Latencies可以查看状态的保存情况除了上述的特征，Flink社区还改进了系统的许多地方，其中有一些会在下面展示。主要功能点响应式伸缩响应式伸缩是Flink的最新功能，它使流处理应用程序和其他应用程序

2021-05-11 06:45:33 6914 4

原创 Flink1.13-DataSteam编程入门

Flink-1.13DataSteam编程概述Flink中常规的编程就是DataStream的不同转换(e.g. 过滤，更新状态，定义时间窗口，聚合)。数据流可以从不同的源创建(e.g. 消息队列，websocket,文件等)。结果可以通过多种渠道返回，可以写入文件，可以输出到不同的终端。Flink程序可以在多种上下文中运行，或者嵌入到其他的程序中运行。可以跑在本地的虚拟机上，也可以是在集群中。Flink编程的常规步骤获取一个执行环境加载或者创建初始的数据指定对数据做处理的函数e.g. man

2021-05-09 15:34:01 564

原创使用Docker配置Flink1.12.2开发测试环境

使用Docker配置Flink1.12开发测试环境简单介绍Docker现在是开发界必不可少的工具，我们使用docker能够快速将自己的应用进行测试和打包。同时利用容器我们在软件开发中很容就实现了CI和CD的部署配置。当前Flink的官方的基础镜像都可以从docker hub中下载。不过docker hub在前一段时间对游客进行了限速，所以当你遇到下载速度很慢的时候请先使用docker login登录以后再使用docker pull来拉取镜像文件。使用Docker的镜像我们可以构建Session模式或

2021-05-07 06:21:08 1732

原创 Flink1.12.3部署介绍

Flink1.12.3部署介绍FLink架构和组件介绍下面我们来介绍Flin集群的架构角色。Flink集群的初始角色是Flink的客户端client，client持有我们编写的代码，并会将代码翻译成JobGraph并提交给JobManagerJobManager分发任务给各个TaskManager，TaskManager是实际跑任务处理数据的地方，比如从source拉去数据，做MR操作，最后输出都是在TaskManager的工作任务中。当我们需要部署一个Flink集群时，有多个模式可选。我们首先来

2021-05-07 06:11:26 447 4

原创阿里云快速搭建docker&compose环境

阿里云最小代价快速搭建docker&compose环境介绍当前的基于容器的微服务开发在IT界已经是非常普遍的解决方案了。十个公司基本都是十个公司都在使用容器来构建自己的微服务架构，只是大家使用的方式，采用的架构可能有一些不同。当然作为一个出入门的菜鸟，首先以最小的代价来构建一个docker和compose的环境。我们来薅一次阿里云的羊毛，哈哈。准备首先你得有一个支付宝的账户，这年都没有支付宝的人太少了，不过如果你没有，赶紧注册一个。使用支付宝可以快速登录阿里云的官网充值150元，放心使

2021-04-25 19:42:19 608 1

原创 Gradle7.0 构建Flink1.12.2

Gradle7.0 构建Flinkinstall gradledownload gradle解压到某个文件夹，并配置好环境变量GRADLE_HOME=/path/to/gradle/bin,并追加到系统变量path后面注意本地安装的JDK版本大于1.8执行gradle -version使用gradle初始化项目首先打开命令窗口，cd到指定位置，创建你的项目的根目录名称: e.g. md showdemo执行：gradle initSelect ty

2021-04-17 14:31:47 697

原创 Flink 1.12.2 主要配置文件详解

Flink 1.12.2 主要配置文件详解本地启动集群的测试下载Flink1.12.2，并解压配置好JAVA_HOME的机器上，到路径~/flink/bin本地启动：start-cluster.sh, 默认加载 ~/flink/conf/flink/flink-conf.yaml停止: stop-cluster.shflink-conf.yaml详解# Jobmanager的地址，taskmanager必须要识别并能连上。# 只有standalone的集群模式起作用，当执行bin/jo

2021-04-15 06:45:13 1181

原创从0到1的Flink1.12.2练习第一个欺诈实例(带时间范围)

Flink练习第一个欺诈实例(带时间范围)背景介绍上一个实例我们的核心计算逻辑是检测到同一账户上一个消费小于1元，下一个消费大于100元就定性为有欺诈嫌疑，作为初学者的练习已经领略了Flink状态的威力。本次的实例逻辑将加上时间的监控，我们把欺诈的规则略微做修改。如果同一个账户，在五分钟以内出现两笔交易，一笔小于1元，一笔大于100元，那么我们就人为这个账户有可能存在欺诈的嫌疑，那么就需要生成一条告警信息。Flink的状态管理有状态的流处理是FLink官方给出的最优代表性的特征What i

2021-03-30 07:34:59 167

原创从0到1的第一个有状态的欺诈实例练习

Flink练习第一个欺诈实例背景Flink官方提供是一个欺诈检测的例子，我们也从这个例子入手。首先需要有一个输入的源，我们会自定义一个缓慢的输入源来放我们的数据，然后进行检测，最后输出。数据的长相这里我们把数据源放入一个csv的文件中,列明分别是[流水id, 用户id , 交易金额，交易时间]，把下面的数据放入data.csv文件中，把csv文件放入src/main/resources包中。1001, a001, 0.5, 16166232582731002, b001, 0.5, 161

2021-03-27 10:00:29 81

原创从0到1的Flink1.12.2本地开发环境构建[eclipse篇]

从0到1的Flink1.12.2本地开发环境构建[eclipse篇]Java 环境准备下载openjdk11准备java环境，由于oracel jdk8xx开始收费，我们选用openjdk的环境. Download OpenJDK11Maven 环境准备下载稳定版的maven： Download Maven解压后修改文件./conf/settings.xml，加入阿里云的镜像库配置到mirrors节点 <mirror> <id>nexus-aliyu

2021-03-23 06:48:37 897

原创 JPA初探07---联合主键的使用

联合主键：一般是两个或者以上的字段来标示主键，在JPA中把所有的联合主键的字段放在同一个类中。那么Java类的设计：专门设计一个类，用来存放联合主键字段，而且该类只能存放联合主键字段。【联合主键类设计】package 联合主键;import java.io.Serializable;import javax.persistence.Embeddable;...

2014-10-20 11:12:09 202

原创 JPA初探06---多对多的双向关联

多对多的关系，在项目中一定会遇到，而我们在项目中一定会遇到的权限控制。在权限控制中：角色和权限的关系就是多对多的关系下面我们来看看是怎么样进行JPA的配置的【Java类设计】package ManyToMany;import java.util.Set;import javax.persistence.CascadeType;import jav...

2014-10-20 11:10:49 118

原创 JPA初探05---一对多的双向关联

关系：订单 ---> 订单项一对多的双向关联JPA规范：一对多的双向关联，多的一方是负责关系维护，负责外键的更新。关系的被维护段是没有权利更新外键的。其实我们仔细理解：本来一对多的关系中多方是记录一方的外键，那么肯定是由多方去更新自己的外键。【Java类设计，包含数据库设计】package OneToMany;import java.util.Dat...

2014-10-20 11:09:42 114

原创 JPA初探04---一对一的双向关联

关系：公民 --- 身份证一对一的关系数据库设计create table t_citizen ( cid int primary key, cname varchar, cardid int);create table t_card( cid int primary key, cardno varchar(45));...

2014-10-20 11:08:37 77

原创 JPA初探03--特殊类型的注解(时间，枚举，大数据)

create table t_user( id int primary key auto_increment, user_name varchar(50), birthday date, infor longtext, gender varchar(10));【Java类：】package bean;import java.util.Date;...

2014-10-20 11:07:21 190

原创 JPA初探02-继承关系和简单的一对多关系的注解实现

【实例背景介绍】两种实体类：1. 学生类 StudenBean 学生类下面有两个子类：体育特长生SportsStudentBean、艺术生PrintStudentBean2. 班级类 ClazzBean关系：1. StudenBean 是 SportsStudentBean 和 PrintStudentBean 的父类2. ClazzBean 和 StudenBean 是一对多的关系...

2014-10-17 19:10:50 255

原创 JPA初探01--最简单的案例

JPA一个最简单的Demo首先，环境准备JDK1.7 、Eclipse 、MYSQL 【第一步：找jar包】由于JPA的实现由很多，在这里使用的是hibernate对JPA的实现，所以所有的jar包都是使用的hibernate的，所以需要到hibernate官网下载所有的hibernate的jar包。网址：http://hibernate.org/这里我下载的文件是：hibernate...

2014-10-16 11:40:50 98

原创 struts2中使用自定拦截器

struts2中实现自定义的拦截器，有三种方式： 1、实现interceptor接口 2、继承AbstractInterceptor这个抽象类 3、继承MethodFilterInteceptor类这里我只用了第一种方式： <interceptors > <interceptor name="InterceptorOne" c...

2011-10-25 15:32:51 55

bat文件调用jar文件操作

这两天接了一个task，要求使用bat批处理文件执行jar文件，从来没有写过批处理文档，在网上找了许久，还是没有实现，最后自己慢慢摸索出了问题的所在，和大家分享哈。第一步：编写自己的Java文件，我这里使用了Eclipse建了个项目叫TestJar,然后在默认包下建了一个Test.java文件：public class Test { public static void main(St...

2011-09-30 11:19:46 372

原创接口中的类（用于复习）

[code="java"]package com.learn.test0624;public interface Test1 { void value(); class Test implements Test1{ public void value() { // TODO Auto-generated method stub System.out.pri...

2011-06-24 09:43:05 101

原创有意思的接口嵌套

[code="java"]/******类中嵌套接口*****/class A { interface B{//----------------B void f(); } public class BImp implements B{ public void f() {} } private class BImp2 implements B{ publ...

2011-06-22 17:28:51 115

原创关于动态绑定的深入

还是先看看示例代码：[code="java"]public class Child extends Parent{ private int i =3; public Child() { // TODO Auto-generated constructor stub } public final void test1(){ System.out.println("...

2011-06-17 16:58:17 75

原创重写值得注意的一个细节

[code="java"]class Ding{ public String toString(){ return "Ding"; }}class Grain extends Ding{ public String toString(){ return "Grain"; }}class Wheat extends Grain{ public St...

2011-06-17 16:41:23 77

原创 Java循环中标签的作用

:arrow: 以前不知道在循环中可以使用标签。最近遇到后，举得还是有其独特的用处的。我这么说的意思是说标签在循环中可以改变循环执行的流程。而这种改变不是我们以前单独使用break或者是continue能够达到的。下面还是看看实例吧。 [code="java"]outer1:for(int i =0;i...

2011-06-15 09:09:52 149

原创 Java中堆内存与栈内存分配（转载）

[color=blue] [size=medium]Java 把内存划分成两种：一种是栈内存，另一种是堆内存。在函数中定义的一些基本类型的变量和对象的引用变量都是在函数的栈内存中分配，当在一段代码块定义一个变量时，Java 就在栈中为这个变量分配内存空间，当超过变量的作用域后，Java 会自动释放掉为该变量分配的内存空间，该内存空间可以立即被另作它用。　　堆内存用来存放由 new 创...

2011-06-14 10:31:37 73

原创关于SET元素不重复的实现

set的实现类HashSet/TreeSet的底层实现是通过HashMap/TreeMap来实现的。Set的实现类在创建对象的时候都，在构造方法里面都是创建了一个Map的实现类来实现的。而Map中的元素是“键-值”对，其中“键”必须是唯一的。Set就是利用“键”唯一这个特性来实现元素不重复的。它把Set中的元素作为Map的键，从而保持了元素的唯一性。[code="java"]public cl...

2011-05-02 22:03:08 180

原创深度克隆和浅度克隆的总结

克隆的主对象：（重写了clone方法）[code="java"]public class TestClonBean implements Cloneable,Serializable{ private String name; private int age; private String sex; @Override protected TestClonBean cl...

2011-05-02 21:44:30 215

lihengzkj的博客