- 博客(56)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 数据采集工具与Sqoop
为了构建数据仓库，我们首先需要做的第一步就是，需要进行数据采集，常见的数据采集工具有Sqoop，Flume，DataX等等数据采集的场景场景1:从支持FTP、SFTP、HTTP等协议的数据源获取数据（比如通过爬虫从网站获取数据）场景2：从业务数据库中获取数据，数据采集录入后需要支撑业务系统场景3：数据源通过kafka等消息队列，需要时实采集数据。最下面数据源分为三部分：针对不同的数据源，使用的数据采集也不同，在上面这张图中个，针对文件形式的数据源，我们使用的是Flume，针对普通的数据源，我
2020-09-22 16:40:37
919
原创 Presto
Presto是什么Presto是分布式SQL查询引擎，用来进行高速、实时的数据分析Presto的产生是为了解决Hive的MapReduce模型太慢且不能通过BI等工具展现HDFS数据结果的问题Presto是一个计算引擎，它不存储数据，通过丰富的Connextor获取第三方服务的数据，并支持扩展。比如通过链接HIVE的matestore来获取hive的源数据信息。从而读取hdfs上面hive的数据，通过MySQL的connector获取MySQL的数据。Presto的优点Presto支持标
2020-09-22 16:39:55
2871
原创 大数据平台的构建思路参考
大数据平台是什么大数据平台主要解决当前面临的问题如何管理一个大的单体集群，如何管理数据，如何保障数据安全管理如何将数据展现给用户大数据平台的能力数据存储和构建数据仓库大数据平台所面临的数据种类多种多样，包括结构化和非结构化数据对不同类型的数据提供对应的存储模型和查询方式存储之后如何使用数据快速计算的方式有:离线批处理实时流计算机器学习预测分析大数据平台数据接入的能力！ - 数据来源多，类型杂保证数据安全的能力！不仅需要考虑平台本身的安全，更重要的是数据的安
2020-08-17 17:03:16
4245
原创 多线程CyclicBarrier的使用
CyclicBarrier 是什么现实生活中我们经常会遇到这样的情景，在进行某个活动前需要等待人全部都齐了才开始。例如吃饭时要等全家人都上座了才动筷子，旅游时要等全部人都到齐了才出发，比赛时要等运动员都上场后才开始。在JUC包中为我们提供了一个同步工具类能够很好的模拟这类场景，它就是CyclicBarrier类。利用CyclicBarrier类可以实现一组线程相互等待，当所有线程都到达某个屏障...
2020-05-01 08:33:23
601
原创 多线程AtomicInteger原子操作类的使用场景
什么是原子操作类AtomicInteger我们知道java并发机制中主要有三个特性需要我们去考虑，原子性、可见性和有序性。synchronized关键字可以保证可见性和有序性却无法保证原子性。而这个AtomicInteger的作用就是为了保证原子性。AtomicInteger，一个提供原子操作的Integer的类。在Java语言中，++i和i++操作并不是线程安全的，在使用的时候，不可避免的会...
2020-05-01 08:32:33
3288
1
原创 多线程基础与基本操作（一）
title: 多线程基础date: 2020-03-21 20:26:32tags: [java,多线程]categories: java学习copyright: truetoc: true进程和线程进程进程是指内存中运行的应用程序，每个进程都有一个独立的内存空间，一个应用程序可以同时运行多个进程，进程也是程序的一次执行过程，是系统运行程序的基本单位 ，系统运行一个程序即是一个...
2020-05-01 08:31:46
208
原创 函数式编程思想&Lambda表达式
函数式编程的思想在数学中，函数就是有输入量、输出量的一套计算方案，也就是“拿什么东西做什么事情”。相对而言，面向对象过分强调“必须通过对象的形式来做事情”，而函数式思想则尽量忽略面向对象的复杂语法——强调做什么，而不是以什么形式做。面向对象的思想: 做一件事情,找一个能解决这个事情的对象,调用对象的方法,完成事情.函数式编程思想: 只要能获取到结果,谁去做的,怎么做的都不重要,重视的...
2020-05-01 08:30:53
434
原创 排序算法--冒泡与选择排序
title: 排序算法date: 2020-03-20 10:20:32tags: [数据结构,排序]categories: 数据结构与算法copyright: truetoc: true排序算法总结冒泡排序与选择排序算法选择排序选择排序是一种简单直观的排序算法。选择排序的基本步骤是：首先，第一次从一个数组中选取最小值，与数组的第一个值arr[0]交换，，第二次从剩余的数...
2020-05-01 08:30:03
239
原创 动态规划0-1背包问题-最长公共子序列
动态规划动态规划算法的核心思想是：将大问题划分为小问题进行解决，从而一步步获得最优解的处理算法。动态规划可以说是一种分治思想，但是又与分治思想不同，与分治算法不同的是，分治算法是把原问题分解为若干子问题，自顶向下求解各个子问题，然后合并子问题的解，从而得到原问题的解。动态规划也是把原问题分解为若干子问题，然后自底向上，先求解最小的子问题，把结果存储在表格中，再求解大的子问题时，直接从表格中查找...
2019-10-30 16:44:55
747
原创 递归算法及经典递归实现
递归递归就是方法自己调用自己，每次调用时传入不同的变量，递归有助于编程者解决复杂的问题，同时可以让代码变得简洁。递归： 在定义自身的同时又出现了对自身的调用直接递归函数： 在定义函数体中直接调用自己间接递归函数： 一个函数经过一系列中间调用语句，通过其他函数调用自己，如P调用Q，Q再调用P使用 递归算法的 前提有两个：（1） 原问题可以层层分解为类似的子问题，且子问题比原问...
2019-10-23 16:15:52
2904
原创 消息中间件RabbitMQ（二）
RabbitMQ有好几种工作模式，通过在平时使用RabbitMQ的过程中，我们会根据业务场景的不同使用不同的工作模式。工作模式RabbitMQ有以下几种工作模式 ：1、Work queues 工作队列模式2、Publish/Subscribe 发布订阅模式3、Routing 路由模式4、Topics 通配符模式5、Header 转发器模式...
2019-10-23 15:53:50
237
原创 消息中间件RabbitMQ（一）
RabbitMQMQ全称为Message Queue，即消息队列， RabbitMQ是由erlang语言（主要用于开发高并发程序的）开发，基于AMQP（Advanced Message Queue 高级消息队列协议）协议实现的消息队列，它是一种应用程序之间的通信方法，消息队列在分布式系统开 发中应用非常广泛。开发中消息队列通常有如下应用场景任务异步 处理。将不需要同步处理并且耗时长的操...
2019-10-23 15:49:01
358
原创 数据结构-栈
1. 栈栈是指允许在一端就行插入或删除操作的线性表，首先需要确定的是栈是一种线性表。1)栈的英文为 (stack)2)栈是一个先入后出 (FILO first In Last Ou的有序列表3)( stack)是限制线性表中元素的插入和删除只能在线性表的同一端进行的一种特殊线性表。允许插入和删除的一端,为变化的一端,称为機项(Top),另端为固定的一端,称为底( Bottom)4)根据栈...
2019-09-19 14:24:20
341
原创 服务端开发总结
服务端开发总结1. 配置虚拟主机在nginx中配置虚拟主机 server{ listen 80; server_name www.xuechengedu.com; ssi on; ssi_silent_errors on; location / { alias F:/teach/xcEdu/xcEduUI/xc‐ui‐pc‐static‐portal/; ind...
2019-09-17 20:26:39
490
原创 前端技术Vue.js&webpack
Vue.jsvue.js 介绍Vue是一套用于构建用户界面的渐进式框架。Vue被设计为可以自底向上逐层应用。Vue的核心库只关注视图层。还便于与第三方库或者是既有项目进行整合。自底向上逐层应用，作为渐进式框架要实现的目标就是方便项目进行增量开发。MVVM模式vue.js是一个MVVM的框架，理解MVVM有利于学习vue.jsMVVM拆分解释为：Model：负责数据存储View：负...
2019-09-17 20:22:34
298
原创 数据结构-线性表基本操作
线性结构的特点：线性结构是最简单最直接的数据关系，数据元素之间一一对应。线性表的概念线性表是由n个类型相同数据元素的有限序列。线性表的特点：同一性：线性表是由同类数据元素组成的，每一个a必须是同一数据对象有穷性：线性表是由有限个数据元素组成，表长度就是表中数据元素的个数有序性：线性表中相邻数据元素之间存在着序偶关系抽象数据类型的使用：由于抽象数据类型定义了相应模型上的基本 ...
2019-09-17 17:42:07
2457
原创 SpringBoot配置和使用
springboot和spring一样，是和其他技术进行整合的一种技术。一、SpringBoot简介1.1 原有Spring优缺点分析1.1.1 Spring的优点分析Spring是Java企业版的轻量级代替品。Spring为企业级Java开发提供了一种相对简单的方法，通过依赖注入和面向切面编程，用简单的Java对象实现了EJB的功能。spring在开发过程中可以把相应的bean配置到...
2019-09-17 17:40:43
477
原创 MongDB基本使用
MongDB入门1.1 基础概念在mongoDB中是通过数据库、集合、文档、的方式来管理数据、先看一下mongoDB与关系型数据库的一些概念对比：SQL术语/概念MongoDB术语/概念解释说明databasedatabase数据库tablecollection数据库表/集合rowdocument数据库行/文档columnfield数据...
2019-09-17 17:34:54
763
原创 安装MongoDB的过程中遇到的问题
安装MongoDB数据库本以为一路next但是安装MongoDB数据库的过程中，各种地方出错，特此记录一下安装过程。MongoDB 提供了可用于 32 位和 64 位系统的预编译二进制包，你可以从MongoDB官网下载安装。 官方地址：https://www.mongodb.com/本教程下载3.4版本：http://downloads.mongodb.org/win32/mongodb-...
2019-08-31 10:06:40
1146
原创 ILPD（印度肝病患者）分类BP算法和KNN
声明：本篇文章是本人课程作业的内容，只提供平时学习参考使用，请勿转载。介绍：数据挖掘来源：kaibo_lei_ZZUILPD数据集ILPD数据集来自美国加州大学一个统计学习相关的网站上（UCI）数据集的名称叫做Indian Liver Patient Dataset印度肝病患者数据集，这个数据集由三个印度的教授收集自印度安得拉邦的东北部，包含了416个肝癌病人和167个非肝癌病人共计583...
2019-08-24 18:44:07
4979
6
原创 Docker容器化
1. Docker简介1.1 什么是Docker从传统意思上来讲也是一种虚拟化技术。Docker项目的目标是实现一种轻量级的操作系统解决方案。Docker的基础是Linux容器LXC等技术。Docker方便了环境的部署和安装。Docker的优点：如果使用Docker 只需要把别人安装好的镜像拉去下来就可以直接使用，上手方便。鼓励使用面向服务的架构，绝大多数的微服务都...
2019-08-24 18:27:57
557
原创 Shell编程&基本语法
Shell编程 Shell是一个命令行解释器,它为用户提供了一个向 Linux内核发送请求以便运行程序的界面系统级程序,用户可以用Shl来启动、挂起、停止甚至是编写一些程序。 Shell还是一个功能相当强大的编程语言,易编写,易调试...
2019-08-24 18:05:31
1514
原创 wine葡萄酒数据集KNN&SVM分类实验
声明：本篇文章是本人课程作业的内容，只提供平时学习参考使用，请勿转载。介绍：数据挖掘来源：kaibo_lei_zzu本片文章是使用分类算法KNN,和SVM支持向量机分类算法，对Wine数据集进行分类的实现。1.1 wine数据集Wine葡萄酒数据集是来自UCI上面的公开数据集，这些数据是对意大利同一地区种植的葡萄酒进行化学分析的结果，这些葡萄酒来自三个不同的品种。该分析确定了三种葡萄酒中...
2019-06-19 16:05:07
54738
23
原创 SSM（springMVC+spring+Mybatis）框架整合实例
本片文章主要是对ssm框架的整合（springMVC+spring+mybatis）1. 搭建整合环境1.1整合说明：编程环境：IDEAMavenSSM整合可以使用多种方式，咱们会选择XML + 注解的方式1.2整合的思路先搭建整合的环境先把Spring的配置搭建完成再使用Spring整合SpringMVC框架最后使用Spring整合MyBatis框架1.3创建数据库和表...
2019-06-01 11:21:56
506
原创 求二叉树的最大深度(leetCode-104)使用后序遍历和前序遍历
给定一个二叉树，找出其最大深度。二叉树的深度为根节点到最远叶子节点的最长路径上的节点数。说明: 叶子节点是指没有子节点的节点。示例：给定二叉树 [3,9,20,null,null,15,7]，3/ \9 20/ \15 7返回它的最大深度 3 。树的定义：首先，给出我们将要使用的树的结点 TreeNode 的定义。、 Definition for a binar...
2019-03-21 19:54:27
2095
原创 阿里云 Linux CentOS安装SVN
首先需要安装svn服务器端，通过命令yum install subversion 直接安装svn服务器端，一直输入y，确认就好了，最后提示安装成功其次需要进入相应的目录创建svn目录，命令如下：cd /usr/local/ //进入目录，准备创建svn目录mkdir svnreposity //创建一个svn目录，名字可以自己随便起chmod -R 777 svnreposi...
2019-01-26 11:20:37
215
原创 python中高级变量类型-列表和元组的常用操作
列表的定义List（列表） 是 Python 中使用 最频繁 的数据类型，在其他语言中通常叫做 数组专门用于存储 一串 信息列表用 [] 定义，数据 之间使用 , 分隔列表的 索引 从 0 开始索引 就是数据在 列表 中的位置编号，索引 又可以被称为 下标注意：从列表中取值时，如果 超出索引范围，程序会报错name_list = ["zhangsan", "lisi...
2019-01-22 21:55:32
432
翻译 CSDN-markdown编辑器格式规范
欢迎使用CSDN-markdown编辑器欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：...
2019-01-22 21:38:36
280
原创 Servlet中读取txt文本文件路径问题
在进行javaweb开发中，遇到了一个问题，就是Servlet读取webcontent下的文本文件路径问题，会出现系统找不到文件的各种错误，经过查找问题，发现原来是由于这个项目部署在tomcat上之后，文件的目录结构会发生相应的一些变化，所以说使用常规的获取相对或绝对路径的方式在这个照常使用会导致运行之后，系统提示找不到文件路径的一些错误提示。下面对如何在servlet中读取WEB-INF下的我...
2019-01-22 09:24:14
1834
1
原创 正则表达式-常见正则表达式以及匹配规则
正则表达式的概念正则表达式（英语：Regular Expression，在代码中常简写为regex）。正则表达式是一个字符串，使用单个字符串来描述、用来定义匹配规则，匹配一系列符合某个句法规则的字符串。在开发中，正则表达式通常被用来检索、替换那些符合某个规则的文本。正则表达式的匹配规则参照帮助文档，在Pattern类中有正则表达式的的规则定义，正则表达式中明确区分大小写字母。我们来学习语法...
2019-01-17 13:36:18
3978
原创 DCGAN深度卷积生成对抗网络&python自动绘图
GAN生成对抗网络是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生相当好的输出。什么是DCGANDCGAN是GAN的一个变体。Deep Convolutional GAN 深度卷积生成对抗网络。里面有生成器和判别器...
2019-01-16 16:12:23
4255
34
原创 阿里云Linux实例CentOS安装JDK1.8
在阿里云ESC服务器实例中配置JDK环境：阿里云Linux CentOS 安装JDK1.8在官网https://www.oracle.com/technetwork/cn/java/javase/downloads/jdk8-downloads-2133151-zhs.html下载相应的LInux JDK版本之后，把jdk文件放入usr/local/java文件中在JDK的压缩包上传到文件...
2019-01-12 10:38:17
1028
原创 使用Ajax同步请求增加页面等待提示
使用Ajax同步请求增加页面等待提示最近在做项目时，有一个需求是批量打印好多个合同，使用AJAX向后台传送数据，等待后台执行后，需要把生成之后的文件地址传送过来。后台的处理时间比较长，根据合同的多少可能等待时间比较长，会达到10s左右，这个时候如果不加任何的提示，会导致用户因为没有看到是否执行而导致重复的操作，为了增加用户的体验感，，以及项目的完善性，这个时候就需要增加一个等待页面进行提示。...
2019-01-09 17:31:38
1414
1
原创 plsql中如何创建函数，触发器以及包和变量的使用
在数据库的操作中，在编写sql语句的时候，我们可能会用到函数以及触发器等的操作来简化我们的工作。在这片文章中，也和我以前的博文一样，不是纯粹的理论讲解，而是采用的是案例的方式进行笔记的记录说明。还是用到的以前博文中的员工表emp1.认识plsql的函数问题1 输入雇员姓名返回年薪 create or replace function sp_func(spName varchar2) ret...
2019-01-09 13:40:40
2487
原创 Oracle PL/SQL高级编程(块 过程 动态PL/SQL)
1.PLsql是什么？PL/SQL(procdure language/sql) : 是对oracle标准的一个sql语言的扩展，是在oracle数据库上进行编程的语言。2.为什么要用PL/SQL？（1）SQL语句不能进行模块化编程， 例如淘宝：如果仅用sql语句的话，那么下一个订单可能需要发送好几条SQL语句这样不方便， 写好一个模块，专门完成下订单的功能，当需要下订单的时候，只需要...
2019-01-08 15:27:18
1744
原创 SSH三大框架搭建整合struts2+spring+hibernate
SSH框架整合理论：在SSH框架的JAVAweb项目的开发过程中，WEB层通常使用的是Struts2+jsp，service层使用的是javaBean，DAO层使用的是hibernate，而spring的使用覆盖三层。使用了spring框架之后，我们可以把对象交给spring来管理。在WEB层中，所有action对象的创建和管理都可以交给spring来完成，这样Struts2就不用自己来new...
2019-01-07 21:05:41
861
原创 Oracle数据库中的函数、视图和索引
1. Oracle函数Oracle SQL 提供了用于执行特定操作的专用函数。这些函数大大增强了 SQL 语言的功能。函数可以接受零个或者多个输入参数，并返回一个输出结果。 Oracle 数据库中主要使用两种类型的函数：1. 单行函数：对每一个函数应用在表的记录中时，只能输入一行结果，返回一个结果，比如： MOD(x,y)返回 x 除以 y 的余数（ x 和 y 可以是两个整数，也可以是表中...
2019-01-07 19:20:44
970
原创 Oracle数据库中的高级查询以及表连接/内连接/外连接
1.列别名和表别名加类别名语法： 字段名 as 字段别名select 'dear '||ename from emp;针对表中字段的别名称为列别名第一种写法： select 'dear '||ename as 姓名 from emp;as 是可以省略的第二种写法：别名可以加双引号 select 'dear '||ename “姓名” from emp;双引号可以省略有一种情况...
2019-01-07 14:27:21
509
原创 数据库SQL语言以及常见操作
SQL语言1.sql简介SQL：Structured Query LanguageOracle ： C/S 客户端发起请求，通过网络传递给服务器，服务器对请求进行响应2.sql组成DDL（数据定义语言）：数据定义语言 DDL( Data Definition Language ) , 是 SQL 语言集中负责数据结构定义及数据库对象定义的语言 , 主要有 create、alter、...
2019-01-07 14:14:37
722
原创 数据库的基本操作--添加/修改约束以及表结构的修改&序列
1.约束表的约束往表中插入数据的时候，可能出现一些问题，比如：重复插入数据，内容不对（性别）-------如何保证数据库表中数据的完整性和一致性呢？约束常见的约束：主键（primary key），外键（foreign key）,唯一（unique）,非空（not null）,默认（default）,用户自定义（check）2. 约束分类-----常见的约束有：主键约束（prima...
2019-01-06 16:17:40
6449
4
DCGAN代码.zip
2019-06-24
Eclipse智能提示文件
2019-01-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人