- 博客(62)
- 资源 (6)
- 问答 (3)
- 收藏
- 关注
RSS订阅
原创 MySQL 中 You can't specify target table '表名' for update in FROM clause错误解决办法
在MySQL中，写SQL语句的时候 ，可能会遇到You can't specify target table '表名' for update in FROM clause这样的错误，它的意思是说，不能先select出同一表中的某些值，再update这个表(在同一语句中)，即不能依据某字段值做判断再来更新某字段的值。1、数据准备product表数据如下：lapto
2017-05-23 22:32:24
204044
14
原创 OpenCV+OCR 图像处理字符识别原理及代码
需配置好OpenCV和OCR环境下运行1、OpenCV简介OpenCV的全称是Open Source Computer Vision Library，是一个跨平台的计算机视觉库。OpenCV用C++语言编写，它的主要接口也是C++语言，但是依然保留了大量的C语言接口。该库也有大量的Python, Java and MATLAB/OCTAVE (版本2.5)的接口。这
2016-12-14 22:41:19
111562
40
原创 Flink流处理API——State API (状态管理、状态编程)
原文链接;https://www.toutiao.com/i6860816918333358595/本文主要从以下几个方面介绍Flink流处理API——State API (状态管理)一、 状态管理 Flink中的状态 A. 算子状态： B. 键控状态（Keyed State）-- 更常用 C. 状态后端（State Backends） -- 状态管理（存储、访问、维护和检查点） 二、 状态编程版本：scala：2.11.12Kafka：0.8.2.2
2020-08-14 20:40:51
1376
1
原创 Flink流处理API——ProcessFunction API (底层API)
原文链接：https://www.toutiao.com/i6860721527952769539/本文主要从以下几个方面介绍Flink流处理API——ProcessFunction API (底层API)一、产生背景二、KeyeProcesFunction三、TimerService和定时器（Timers）四、侧输出流（SideOutPut）五、CoProcessFunction版本：scala：2.11.12Kafka：0.8.2.2Flink：1.7.2.
2020-08-14 20:39:20
622
原创 Flink流处理API——window(窗口) API详解
原文链接：https://www.toutiao.com/i6859649771255104012/本文主要从以下几个方面介绍Flink流处理API——window(窗口) API一、window概念二、window类型三、windowAPI 的Demo四、时间语义五、设置事件创建时间（Event Time）六、水位线（Watermark）七、watermark的API版本：scala：2.11.12Kafka：0.8.2.2Flink：1.7.2pom.
2020-08-11 17:17:07
851
原创 Flink流处理API——Sink
原文链接：https://www.toutiao.com/i6859235904779715076/本文主要从以下几个方面介绍Flink的流处理API——Sink一、输出到Kafka二、输出到Redis三、输出到MySQL数据处理的过程基本可以分为三个阶段分别是，数据从来哪里，做什么业务逻辑，落地到哪里去。这三部分在Flink中分别被称为Source、Transform和Sink其中Source部分可以参考这篇：Flink流处理API——SourceFlink 没有类似于 s
2020-08-11 14:52:28
656
原创 Flink流处理API——Transform(转换算子)
原文链接：https://www.toutiao.com/i6859612664646238724/本文主要从以下几个方面介绍Flink的流处理API——Transform一、map二、flatmap三、Filter四、KeyBy五、滚动聚合算子（Rolling Aggregation）六、Reduce七、Split和Select八、Connect和CoMap九、Union数据处理的过程基本可以分为三个阶段分别是，数据从来哪里，做什么业务逻辑，落地到哪里去。这
2020-08-11 14:49:57
655
1
原创 Flink流处理API——Source
原文链接：https://www.toutiao.com/i6859232281211437581/本文主要从以下几个方面介绍Flink的流处理API——Source一、从集合中读取数据二、从文件中读取数据三、从Kafka中读取数据四、自定义Source数据处理的过程基本可以分为三个阶段分别是，数据从来哪里，做什么业务逻辑，落地到哪里去。这三部分在Flink中分别被称为Source、Transform和Sink版本：scala：2.11.12Kafka：0.8.2.2
2020-08-10 14:26:01
371
1
原创 Flink从Kafka0.8中读取数据报Failed to instantiate SLF4J LoggerFactory Reported exception 错误
Flink从KAFKA中读取数据报以下错误：Failed to instantiate SLF4J LoggerFactoryReported exception:java.lang.NoClassDefFoundError: org/apache/log4j/LevelFlink版本：1.7.2KAFKA版本：0.8.2.2代码：package xxximport java.util.Propertiesimport org.apache.flink.api.com.
2020-08-09 15:27:53
510
原创 Flink原理——任务调度原理
原文链接：https://mp.toutiao.com/profile_v4/graphic/preview?pgc_id=6857894528381092364本文主要从以下几个方面介绍Flink的任务调度原理一、Flink运行时的组件二、TaskManger与Slots三、程序与数据流四、Flink的执行图五、Flink程序执行的并行度六、Flink程序任务链一、Flink运行时的组件Flink的运行组件Flink 运行时架构主要包括四个不同的组件，它们会在运
2020-08-06 23:36:31
2223
原创 SparkStreaming读取Kafka的两种方式
原文链接：https://mp.toutiao.com/profile_v4/graphic/preview?pgc_id=6855283208414560780本文主要从以下几个方面介绍SparkStreaming读取Kafka的两种方式:一、SparkStreaming简介二、Kafka简介三、Redis简介（可用于保存历史数据或偏移量数据）四、SparkStreaming读取Kafka数据的两种方式五、演示Demo一、SparkStreaming简介可以参考这篇文章：S
2020-07-30 22:44:22
2090
原创 Redis简介
原文链接：https://www.toutiao.com/i6854892323239625227/本文主要从以下几个方面介绍Redis：一、什么是Redis二、Redis支持的五种数据类型三、Redis应用场景四、Redis特性五、Redis的持久化六、Redis的Demo一、什么是Redis它是一种 NoSQL（not-only sql，泛指非关系型数据库）的数据库！！！！（三个月前面试某团时居然回答不出NoSQL数据库有哪些。。。。。。。）Redis（Remot
2020-07-29 21:27:41
115
原创 SparkStreaming 详解
原文链接：https://www.toutiao.com/i6854493461903901197/本文主要从以下几个方面介绍SparkStreaming:一、SparkStreaming是什么二、SparkStreaming支持的业务场景三、SparkStreaming的相关概念四、DStream介绍五、SparkStreaming的机制六、SparkStreaming的Demo一、SparkStreaming是什么在讲sparkStreaming是什么之前首先讲一下为
2020-07-28 19:42:14
1483
原创 Kafka（分布式发布订阅消息系统） 简介
原文链接：https://mp.toutiao.com/profile_v3/graphic/preview?pgc_id=6854137793556251147本文主要从以下几个方面介绍分布式发布订阅消息系统一、什么是Kafka二、kafka的特性三、kafka的使用场景四、kafka中相关术语介绍五、kafka相关机制六、kafka的Demo一、什么是kafkaKafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（rep
2020-07-27 20:49:09
674
原创 Spark——DataFrame 读写和保存数据
原文链接：https://mp.toutiao.com/profile_v3/graphic/preview?pgc_id=6849695183043297804本文主要从以下几个方面介绍Spark中的DataFrame读写和保存第一，DataFrame的介绍第二，Spark所支持的读写文件格式及示例第一，DataFrame的介绍DataFrame的前身是SchemaRDD，从Spark 1.3.0开始SchemaRDD更名为DataFrame。与SchemaRDD的主要区别是：Data
2020-07-15 21:26:58
5475
原创 SparkSQL——自定义UDF函数
原文链接：https://www.toutiao.com/i6849246325343683083/从Spark2.0以上的版本开始，spark是使用全新的SparkSession接口代替Spark1.6中的SQLcontext和HiveContext来实现对数据的加载、转换、处理等工作，并且实现了SQLcontext和HiveContext的所有功能。我们在新版本中并不需要之前那么繁琐的创建很多对象，只需要创建一个SparkSession对象即可。SparkSession支持从不同的数据源
2020-07-14 16:29:07
1959
原创 SparkSQL——DataFrame的创建与使用
原文地址：https://www.toutiao.com/i6848607197815898628/本文主要从以下几个方面介绍SparkSQL中的DataFrame:第一，SparkSQL的作用第二，什么是DataFrame第三，DataFrame与RDD的区别第四，DataFrame的创建与使用 （Spark1.x与Spark2.x两种不同版本）第一，SparkSQL的作用SparkSQL是spark处理结构化数据的一个模块，它的前身是shark，与基础的spark RDD不同
2020-07-12 23:02:59
1145
原创 Java线程池详细介绍——原理及详细使用
原文链接：https://www.toutiao.com/i6846340200134607374/关于线程和线程池的学习，我们可以从以下几个方面入手：第一，什么是线程，线程和进程的区别是什么第二，线程中的生命周期第三，单线程和多线程第四，线程安全第五，为什么使用线程池第六，线程池原理第七，线程池的使用第一，什么是线程，线程和进程的区别是什么?线程，程序执行流的最小执行单位，是行程中的实际运作单位，经常容易和进程这个概念混淆。那么，线程和进程究竟有什么区别呢？首先，进
2020-07-06 20:34:07
340
原创 Spark-实现自定义排序的六种方法（Scala版本）
原文链接：https://www.toutiao.com/i6845585556722680328/在实际开发中经常需要对数据进行排序统计，Spark的sortBy以及SortByKEy算子并不能完全适用开发场景，需要我们自定义排序规则，例如如下数据：Array("张三 16 98.3", "李四 14 98.3", "王五 34 100.0", "赵六 26 98.2", "田七 18 98.2")包含三个字段的学生数据，（姓名，年龄，成绩），我们需要按照成绩进行降序排序，成绩相同的按照年龄
2020-07-04 19:46:02
1784
原创 Spark 实现分组topn排序 （scala版本）
四种方法实现分组排序数据集格式：http://bigdata.edu360.cn/laoduanhttp://bigdata.edu360.cn/laoduanhttp://javaee.edu360.cn/xiaoxuhttp://javaee.edu360.cn/xiaoxuhttp://javaee.edu360.cn/laoyanghttp://javaee.edu360.cn/laoyanghttp://javaee.edu360.cn/laoyang按照每个学科求老师访
2020-06-30 19:10:14
1134
原创 yarn启动后自动关闭，JPS查看有resourcemanager，无resourcemanager
yarn-site.xml配置文件如下：<?xml version="1.0"?><!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You ma...
2019-05-06 16:43:33
7433
原创 java连接mysql数据库实现单条插入和批量插入
本文插入数据库的数据来源：https://blog.csdn.net/qq_29672495/article/details/828602261、连接数据库package com.njupt.ymh;import java.sql.DriverManager;import java.sql.SQLException;import com.mysql.jdbc.Connection...
2018-09-26 22:25:22
7293
原创 java + dom4j.jar 提取xml文档内容
资源下载页：https://download.csdn.net/download/qq_29672495/10689575本例程主要借助几个遍历的操作对xml格式下的内容进行提取，操作不是最优的方法，主要是练习使用几个遍历操作。xml格式文档内容：<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE nitf SYSTE...
2018-09-26 22:12:15
575
原创 Coursera普林斯顿大学算法下Week4：Boggle 拼字游戏
任务链接：http://coursera.cs.princeton.edu/algs4/assignments/boggle.html这次任务给的需要实现的方法很少，完成本次任务关键在于理清思路，需要实现较多的私有方法。需要自己设计单词树，将单词树中每个字符节点定义为一个类。private static class Node // 字典中节点类 { private boole...
2018-09-02 11:36:28
1421
原创 Coursera普林斯顿大学算法下Week3：Baseball Elimination 棒球淘汰赛
任务链接：http://coursera.cs.princeton.edu/algs4/assignments/baseball.html本任务的重点在于理解题目的意思，理解了意思很好编码。这篇文章对题目意思讲解的非常好，我也是看的他的才明白的:https://blog.csdn.net/lxinyuelxy/article/details/78605333import java.u...
2018-08-28 18:59:04
977
原创 Coursera普林斯顿大学算法下Week2：Seam Carving
任务链接：http://coursera.cs.princeton.edu/algs4/assignments/seam.html本周任务没做出来，只求出了能量。本周任务难度的话，主要是数组、像素下标问题，感觉用起来不是很舒服。再一个就是求最小能量路径问题。本文在求最小能量路径的时候对于有些图可以准确的求出，有些就出错，找了半天也没找到原因，把有问题的代码贴出来，后续有时间再接着做。也找了...
2018-08-22 23:07:27
986
原创 Coursera普林斯顿大学算法下Week1： WordNet 字网
任务链接：http://coursera.cs.princeton.edu/algs4/assignments/wordnet.html本次任务主要有三个类需要实现，WordNet、SAP、Outcast。其中，WordNet主要对单词文件进行处理，需要读取文件内容，该部分是参考别人的：https://www.cnblogs.com/lxc1910/p/8051822.htmlSAP是用来...
2018-08-15 20:59:36
1311
1
原创 Coursera普林斯顿大学算法Week5： Kd-Trees 线段树
任务链接：http://coursera.cs.princeton.edu/algs4/assignments/kdtree.html本任务的PointSET比较好实现，借用给的Point2D API比较容易而Kdtree任务比较复杂。主要是针对边界问题比较复杂，需要分清待插入节点的父节点是位于偶数层还是位于奇数层，根据不同的层数具有不同的点比较方案。private int comp...
2018-08-07 18:27:24
1106
2
原创 Coursera普林斯顿大学算法Week4：8 Puzzle 解迷
任务链接：http://coursera.cs.princeton.edu/algs4/assignments/8puzzle.html本次任务难点在于构建合理的内部变量，尤其是Solver类中的变量，然后根据提示一步步解出来就行了。Solver类中的变量如下： private SearchNode currentNode; private SearchNode cu...
2018-07-31 10:46:14
2274
原创 Coursera普林斯顿大学算法Week3: Pattern Recognition 模式识别
任务链接:http://coursera.cs.princeton.edu/algs4/assignments/collinear.html本次任务主要是比较器Comparator的使用。在暴力求解时，可以不必在最后再对三个斜率进行比较，先比较两个可以有效减少算法时间。在快速求解时，借助了一个内部类构成的数组存储点和斜率，并将这个数组按斜率进行排序，相同斜率的即为同一直线。在暴力和...
2018-07-22 21:46:17
792
原创 Coursera普林斯顿大学算法Week2: Deques and Randomized Queues 队列
任务链接：http://coursera.cs.princeton.edu/algs4/assignments/queues.html本周任务主要以下难点：1、根据各自特点选取实现Deques和Randomized Queues的物理存储方式。在本文中，选取双链表形式实现双端队列（Deques），选取数组形式实现随机化队列（Randomized Queues）2、在实现Deques的过...
2018-07-17 20:29:55
1113
2
原创 Coursera普林斯顿大学算法Week1: Percolation 渗透
首先说一下做这个作业大概的几个要点：1、可以不使用官网提供的编译环境进行编程，在eclipse里引入algs4.jar包就可以了，另外使用缺省包。2、不要使用for语句，不然时间会超出。3、可以加入虚头节点和虚尾节点减少问题复杂度。4、在加入虚节点后会出现backwash问题，使用两个QUF。一个QUF包含虚头和虚尾节点，用于判断是否渗透。一个QUF只包含虚头节点，用于对full节点计数。5、比较...
2018-07-11 17:03:30
1625
1
原创 linux下C实现客户端服务器通信框架
服务器端首先等候客户连接请求，一旦连接成功则接受客户端发送过来的字符，采用带有头结点的链表方式存贮字符，每个结点存储一个字符，接着通过对链表实现插入删除操作，完成对字符的升序排序，最后将排序后字符发送给客户端。客户端首先与服务器相连，接着发送客户端名字，然后发送客户信息，接受到服务器发送来排序结果并且显示。服务器端代码：server.c#incl
2017-09-23 21:09:44
1311
原创 借助C语言中的指针解读Java按值调用
我们都知道，在程序设计语言中有关将参数传递给方法（函数）的形式主要有两种，按值调用（call by value）表示方法接受的是调用者提供的值，按引用调用（call by reference）表示方法接受的是调用者提供的变量地址。一个方法可以修改传递引用所对应的变量值，而不能修改传递值所对应的变量值。这个可以借用C语言中的传递的普通参数还是指针参数来理解。
2016-10-17 19:47:28
694
原创 复写Object超类的equals，hashCode，toString方法
我们知Object类是Java中所有类的始祖，在Java中每个类都是由他发展而来的，但是却不需这样写：class Employee extends Object 因为如果没有确切的指出类的超类，Object就会被认为是这个类的超类。根据继承的规则，可以使用Object类型的变量引用任何类的对象：Object obj = new Student （“lily”，17）;当然，Object类型的变量只能用于作为各种值的通用执行者。要想对其中的内容进行具体操作，还需要清楚对象的原始类型，并进
2016-10-17 14:44:19
1051
4
转载 Java中的String与常量池
string是java中的字符串。String类是不可变的,对String类的任何改变,都是返回一个新的String类对象。下面介绍java中的String与常量池。
2016-10-17 10:13:53
339
1
转载 程序员才懂的情诗
void main(){ double world; unsigned letter; short stay; long memories; pringtf("I miss you.");}虚实的世界未名的信件短暂的相聚长久的回忆汇成一句：我想念你ps：转自 微信公众号：程序员的那些事
2016-09-17 16:31:39
1139
原创 java语言基础入门——JDBC（使用Java连接数据库）
JDBC的全称为JAva Database Connectivity ，即Java数据库连接之意。JDBC是Java用来连接和访问数据的应用编程接口（API），可以通过他完成 一系列的数据库操作。使用JDBC的好处是可以“一次编写，处处运行”，即开发人员不必为了访问不同的数据库编写不同的程序。开发人员只要使用规范的API接口以及标准的sql语句就可以避免直接处理底层数据库驱动程序与相关操作接口的差
2016-09-06 20:05:19
3363
2
原创 MySQL常用语法命令及函数
#创建数据库# create Database 数据库名;#查看数据库# show databases;#选择数据库# use 数据库名;#删除数据库# drop database 数据库名;#创建表# create table 表名(属性名1 数据类型 ，属性名2 数据类型。。。。);#查看表结构# desc 表名;
2016-08-21 17:01:44
3435
TA创建的收藏夹 TA关注的收藏夹
TA关注的人