- 博客(58)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Flink SQL 使用UDF函数实现将多行值转为数组
在使用Flink SQL同步数据的实际场景中，会碰到需要将多行数据转为数组的情况。以MySQL同步ES为例，假如我们需要把每个学生的选修课程用数组格式存到ES。需要得到以下结果：2.1 试过一些可能可以使用的聚合函数都不满足条件。2.2 类型转换也都没有成功先使用自带的LISTAGG聚合函数将多行聚合成字符串，然后自己编写UDF将字符串切割成数组
2024-02-28 17:12:02
445
原创 【Flink cdc】Data row is smaller than a column index, internal schema representation is probably xxx
翻译一下：当scan.startup.mode=EARLIEST_OFFSET时，如果在最早的offset之后表结构有过变化就无法支持。原因应该是在binlog 的earliest_offset之后，表结构被修改过。我的解决方案：source配置中使用。mysql source配置使用。，以时间戳为消费依据。
2024-01-25 17:18:13
638
原创 Flink SQL自定义connector
本文翻译自：Flink v1.11官方文档动态表是Flink的Table＆SQL API的核心概念，用于以统一方式处理有界和无界数据。因为动态表只是一个逻辑概念，所以Flink并不拥有数据本身。 相反，动态表的内容存储在外部系统（例如数据库，键值存储，消息队列）或文件中。动态源(Dynamic sources)和动态接收器(Dynamic sinks)可用于从外部系统读取和写入数据。 在文档中，源（sources）和接收器(sinks)通常可以统称为连接器(connector)。Flink为Kafk
2020-12-03 14:58:20
4229
4
原创 单机快速搭建多节点kafka集群
有时候为了更好地了解kafka集群的运行机制，需要自己搭建kafka集群。本文的目的就是让大家在单机上快速搭建kafka集群(仅作为单机测试使用)。环境及工具版本mac OS 10.15.5kafka_2.11-0.11.0.2步骤一、下载kafka本文使用 kafka_2.11-0.11.0.2 版本的kafka做实验，可直接点击下面地址下载。0.11版本kafka下载地址：https://www.apache.org/dyn/closer.cgi?path=/kafka/0.11.0.
2020-07-17 09:23:22
886
原创 MongoDB java常用API
今天在调试mongodb环境，顺便学习了mongo常用的一些API，在此做个记录。package com.hpp.test;import com.mongodb.MongoClient;import com.mongodb.client.FindIterable;import com.mongodb.client.MongoCollection;import com.mongod
2018-02-02 15:28:41
562
原创 RDD常用算子
spark集群提交任务的命令：bin/spark-submit --master spark://node-1.XXXXX.com:7077,node-2.xxxx.com:7077--executor-memory 512mb --total-executor-cores 4--class com.xxxx.day1.WordCount /root/spark-1.0.jar h
2018-01-10 19:44:43
799
原创 Spark基础
Spark 的组件Spark Core包括Spark的基本功能，包含任务调度，内存管理，容错机制。内部定义了RDDs(弹性分布式数据集)。提供了很多APIs来创建和操作这些RDDs。为其它场景提供了底层的服务Spark SQL:是Spark处理结构化数据的库，就像Hive SQL,Mysql一样。应用场景，企业中用来做报表统计Spark Stre
2018-01-05 19:50:48
458
原创 Scala基本语法
函数式编程副作用var x = 1def xplusY_v1(y:Int) = x + y 无副作用def xplusY_v2(y:Int) = {x += y;x} 有副作用，对x产生影响引用透明对于相同的输入，总是得到相同的输出如果f(x)的参数x和函数体都是引用透明的，那么函数f是纯函数append函数违反了引用透明不变性为了获得引用透明性，
2018-01-04 20:13:47
528
转载 Spring - @Scheduled注解、cron表达式
转自：http://rainbowdesert.iteye.com/blog/2107220一个cron表达式有至少6个（也可能7个）有空格分隔的时间元素。按顺序依次为秒（0~59）分钟（0~59）小时（0~23）天（月）（0~31，但是你需要考虑你月的天数）月（0~11）天（星期）（1~7 1=SUN 或 SUN，MON，TUE，WED
2018-01-04 14:01:05
295
转载 ODPS核心接口
转载自：http://www.aiwanba.net/plugin/odps-doc/prddoc/odps_security/index.htmlODPS SDK介绍在本小节，我们仅会对较为常用的ODPS核心接口做简短介绍，更多详细信息请参阅SDK Java Doc。AliyunAccount阿里云认证账号。输入参数为accessId及accessKe
2018-01-04 11:38:08
3475
原创 JdbcTemplate用法
applicationContext.xml配置 <bean id="statDataSource" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close"> --> --> --> select 1
2018-01-04 10:05:22
340
原创 实习日志
2018年1月3日公司报道第一天。认路，认位置，学长导师让我熟悉简单的java程序，学习Spark,Scala.2018年1月4日了解jdbcTemplate用法，了解ODPS核心接口，重新学习了Spring @Scheduled 注解的一些方式。看了关于阿里数加平台的一些思考。2018年1月5日学习Scala基本语法。初步了解Spark生态2018年1月8日学习Spark相关概念。了解RDD常见...
2018-01-04 08:34:00
6179
原创 面经-【兴业证券】【京东】【网易】
海投无数公司。线上笔试也做了N多，终于有机会参加面试了。。整理一下最近的一些面经，便于复习，也希望对他人有帮助。【兴业证券】【京东】【网易】【京东】-很感谢京东给我第一次面试大厂的机会，虽然一面就挂了。。1、自我介绍2、项目亮点，针对亮点说说自己为什么这么实现，有没有什么可以改进的地方3、HashMap，以及各种数据结构，排序算法的时间复杂度（真的是各种。。）4、数据库索引（聚簇
2017-09-26 18:58:20
921
原创 CAS 票根'ST-685-XXXXXXXX-eFfa-cas'不符合目标服务
项目在集成CAS的时候一直报下面这个错误：javax.servlet.ServletException: org.jasig.cas.client.validation.TicketValidationException: 票根'ST-685-TH4KLdkEo9k7CXfle4W91502177342624-eFfa-cas'不符合目标服务org.jasig.cas.clie
2017-08-08 19:34:17
18370
4
原创 常见的排序算法 Java实现
最近在准备面试，回顾了一下之前学习的几种排序算法，并参考材料实现了一下。现在此记录一下，以后忘了可以回顾。直接贴上代码（有许多值得优化的地方）。package hpp.sort;/** * Created by hpp on 2017/8/4. */public class SortTest { public static void main(String[] args
2017-08-07 09:56:08
270
原创 细心细心再细心！！
今天在部署项目的时候因为没有用管理员权限执行startup.bat.导致项目部署之后一直有问题。。浪费了一早上时间在检查代码。引以为戒！！！！
2017-07-09 13:44:38
602
1
原创 java线程通信的三种方式
1、传统的线程通信。 在synchronized修饰的同步方法或者修饰的同步代码块中使用Object类提供的wait(),notify()和notifyAll()3个方法进行线程通信。 关于这3个方法的解释： wait():导致当前线程等待，直到其他线程调用该同步监视器的notify()方法或notifyAll()方法来唤醒该线程。 notify():唤
2017-07-04 15:25:06
3959
转载 转载——读《技巧：如何用一年时间获得十年的经验》
转载自：http://www.codepub.cn/2016/12/30/Read-skills-how-to-get-a-decade-of-experience-in-a-year/花了一天的时间看完了《技巧：如何用一年时间获得十年的经验》，很励志的一本书，里面有很多小故事非常好，特别适合处在人生低谷的人去阅读。这是一个体重曾经达到260斤的大胖子写的，也是一个在互联网行业
2017-06-16 11:21:27
3002
原创 一个简单的java web程序（servlet实现接口）
帮同学写接口的时候，又重新回顾了一下servlet,发现自己基础实在是差到可以~、在此记录一下。在servlet写线程是很不好的、但是推荐算法耗费的时间实在是多。只能开个线程让它自己跑、有什么好方法提供的请不吝赐教~线程类：MusicRecThread.javapackage com.musicRec.Code;import com.musicRec.Utils.MusicRec;
2017-06-11 23:20:33
4387
原创 fastjson 解析json
json数据。{ "recordInfo": [ { "audioName": "2017_06_09_16_4_13.wav", "isFlag": 0, "ls_singer": [ "liuruoying", "su
2017-06-10 10:24:47
370
原创 java 连接Linux服务器并执行指令
直接上代码、/** * Created by hpp on 2017/6/5. */import ch.ethz.ssh2.Connection;import ch.ethz.ssh2.Session;import ch.ethz.ssh2.StreamGobbler;import com.lczyfz.istep.common.utils.StringUtils;impo
2017-06-08 15:15:06
14997
14
原创 java 上传文件到Linux服务器 工具类
最近在帮同学做一个音乐推荐系统后台，需要java远程调用Linux服务器，执行深度学习算法,处理由本地上传的文件。查找了相关的资料，利用ftpClient上传文件到服务器。在此贴一下这个助手类（网上很多）。import org.apache.commons.lang.StringUtils;import org.apache.commons.net.ftp.FTPClient;import
2017-06-06 10:09:35
12413
原创 java 利用Runtime.getRuntime().exec()调用python脚本并传参
//TODO:执行python脚本 System.out.println("start python"); //需传入的参数 String a = "aaa", b = "bbb", c = "ccc", d = "ddd"; System.out.println("start;;;" + a);
2017-06-03 19:49:03
14462
8
原创 Java 强制垃圾回收
强制系统垃圾回收有如下两种方法：调用System类的gc()静态方法：System.gc()调用Runtime对象的gc()实例方法：Runtime.getRuntime().gc()这种强制只是通知系统进行垃圾回收，但系统是否进行垃圾回收仍然不确定。大部分时候，程序强制系统垃圾回收后总有一些效果。
2017-05-26 10:26:26
3494
原创 Java finalize方法
在垃圾回收机制回收某个对象所占用的内存之前，通常要求程序调用适当的方法来清理资源，在没有明确指定清理资源的情况下，java提供了默认机制来清理该对象的资源，这个机制就是finalize()方法。该方法是定义在object类里的实例方法，方法原型为：protected void finalize() throws Throwable当finalize()方法返回后，对象消失，垃圾回收机制开始
2017-05-26 10:14:34
454
转载 java 各种内存溢出情况与配置解决方法
转载自：http://blog.csdn.net/sinat_29912455/article/details/51125748 仅供个人学习用，如涉及到版权问题，请联系博主、1、堆内存溢出【情况一】： Java.lang.OutOfMemoryError: Java heap space：这种是java堆内存不够，一个原因是真不够，另一个原因是程序中有死循环；
2017-05-25 11:27:29
3967
2
原创 JVM内存空间管理
JVM内存空间管理根据JVM规范，JVM把内存划分了如下几个区域：1. 方法区2. 堆区3. 本地方法栈4. 虚拟机栈5. 程序计数器其中，方法区和堆是所有线程共享的。 1 方法区方法区存放了要加载的类的信息(如类名，修饰符)、类中的静态变量、final定义的常量、类中的field、方法信息，当开发人员调用类对象中的getName、isInterface等方法来获取信息
2017-05-24 16:58:22
380
原创 打印weka的Instances对象里的属性
for(int j=0;j<data.numAttributes();j++) { Attribute attribute = data.attribute(j); System.out.println(attribute); }
2017-05-21 16:54:40
359
原创 Weka内置特征选择算法整理
属性评估方法： CfsSubsetEval：根据属性子集中每一个特征的预测能力以及它们之间的关联性进行评估。 ChiSquaredAttributeEval：根据与分类有关的每一个属性的卡方值进行评估。 ClassifierSubsetEval：根据训练集或测试集之外的数据评估属性子集。 ConsistencySubsetEval：根据利用属性子集进
2017-05-21 16:19:54
8588
2
转载 java.lang.NoClassDefFoundError和java.lang.ClassNotFoundException
转载自：http://blog.csdn.net/jamesjxin/article/details/46606307 如有涉及到版权问题，请联系博主、前言在日常Java开发中，我们经常碰到java.lang.NoClassDefFoundError这样的错误，需要花费很多时间去找错误的原因，具体是哪个类不见了？类明明还在，为什么找不到？而且我们很容易把java.lang.No
2017-05-18 16:42:25
492
转载 发现JDK下好用的几个工具（内存监视）
转载自：http://www.dataguru.cn/thread-510589-1-1.html 如有涉及到版权，请联系博主。本课程学习中偶尔发现了几个好用的工具，以前竟然都没有用过……一、概述 SUN 的JDK中的几个工具，非常好用。秉承着有免费，不用商用的原则。以下简单介绍一下这几种工具。(注：本文章下的所有工具都存在JDK5.0以上版本的工具集里（jdk的
2017-05-16 15:05:58
488
原创 什么叫做过拟合
想像某种学习算法产生了一个过拟合的分类器，这个分类器能够百分之百的正确分类样本数据（即再拿样本中的文档来给它，它绝对不会分错），但也就为了能够对样本完全正确的分类，使得它的构造如此精细复杂，规则如此严格，以至于任何与样本数据稍有不同的文档它全都认为不属于这个类别。标准定义：给定一个假设空间H，一个假设h属于H，如果存在其他的假设h’属于H,使得在训练样例上h的错误率比h’小，但在整个实例分
2017-05-16 15:02:58
482
原创 查准率、查全率
查准率（准确率）：预测集中真正例占所有正例的比例；查全率（召回率）：预测集中真正例占所有正确预测样本（包括真正例和假反例）的比例。注：真正例为预测集中，正确预测的正例样本个数。
2017-05-11 09:00:28
716
1
原创 摘录——世界是自己的，与他人毫无关系
一个人经过不同程度的锻炼，就获得不同程度的修养、不同程度的效益。好比香料，捣得愈碎，磨得愈细，香得愈浓烈。我们曾如此渴望命运的波澜，到最后才发现：人生最曼妙的风景，竟是内心的淡定与从容……我们曾如此期盼外界的认可，到最后才知道：世界是自己的，与他人毫无关系！ ——杨绛
2017-05-10 13:01:25
545
原创 中科院分词系统 初始化失败
报错：初始化失败 Invalid memory access JAVA原因 ：Data文件夹的NLPIR.user文件过期，需要到github上下载最近的。这里附上github地址：https://github.com/NLPIR-team/NLPIR
2017-05-04 11:10:33
927
原创 CKfinder上传图片缩略图问题
项目里CKFinder要求上传的图片大小不缩略。把配置文件的这个属性扩大就可以。附带ckfinder详细的配置链接地址：http://blog.csdn.net/crown_0726/article/details/45127555
2017-05-04 09:10:42
2609
原创 java程序中获得Class对象的3种方式
使用Class类的forName(String clazzName)静态方法。该方法需要传入字符串参数，该字符串参数的值是某个类的全限定类名（必须添加完整包名）；调用某个类的class属性来获取该类对应的Class对象。例如，Person.class将会返回Person类对应的Class对象；调用某个对象的getClass方法。该方法是java.lang.Object类中的一个方法，所以所有的的j
2017-04-30 10:48:43
2801
1
mongodb-windows-64位-3.6.2版本
2018-02-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人