- 博客(96)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 大学学习历程简单总结
一、主要学习经历： 2017年9月进入大学： 最开始自己对大学的认识是一种特别仰慕的感觉，并且当时自己认为在大学里面是做各种各样的研究和学习的，并且认为只有对科研特别喜欢而且拥有天赋的大学生才能去升学为研究生； 进入大学一个月后，当时百团大战，我以为会有各种各样的科研社团，或者说参加一些实验室的学习，但是后面我转遍了整个社团招新，都是一些以“游玩”为主要目的的社团，虽然有计算机社团，但是最后发现这个社团只是进去修点电脑、义修电脑等活动。当然，我还参加了吉他社、轮滑社，后面也去
2020-12-08 16:04:40
4318
9
原创 大文件IO流方式多线程分块、合并
网上看了一圈都是使用的零拷贝的方式进行分块，没有找到使用io流方式进行分块的，又因为公司某存储不支持零拷贝的使用，在此记录一下。
2022-08-06 01:48:27
484
原创 使用flink迁移数据
在公司中，遇到这样一个业务，需要将数据库A从oracle迁移到pg数据库，原本让实习生去实现了这样的一个工具，但是最后他写出来的工具存在较大问题。正好最近在学习spark、flink等流式处理框架，那么我们就用flink来处理这样一个需求吧：1、主类：package com.ogj.flink;import org.apache.flink.api.common.typeinfo.BasicTypeInfo;import org.apache.flink.api.common.typeinf.
2022-01-24 01:51:03
2837
原创 文件二进制压缩传输保存
一、主函数public class ZipTest { public static void main(String[] args) { String dirPath = "D:\\Tools"; List<File> dirToFile = FileUtils.getDirToFile(dirPath); System.out.println("文件数=" + dirToFile.size()); List&l
2021-10-25 20:18:21
788
翻译 Kafka集群配置-docker版本
一、首先搭建zookeeper集群脚本（1）创建zookeeper配置文件：/data/zookeeper/zoo1/config/zoo.cfg# The number of milliseconds of each ticktickTime=2000# The number of ticks that the initial# synchronization phase can takeinitLimit=10# The number of ticks that can pa
2021-09-12 01:54:40
163
原创 NLP自然语言处理-Attention注意力机制
1、 概述注意力机制其实在每个人在接受数据的时候所对重要性特征的表现，比如一个手机销售员介绍一款手机，男生、女生对手机介绍的重点是不同的，男生更加注意6G+256G，最新骁龙处理器；女生更加注意xx亮樱桃色，粉红色新款手机。2、说明对于这种注意力机制，其实就是人脑和人眼对现实世界的大量数据的过滤，只抓住每个人自己注意的重点。这里我们就可以把人也当作一个注意力模型，其实就是大量的数据通过注意力模型，输出数据特征。3、使用计算机视觉：我们先用视觉的注意力方案就是，因为可以很直观的看到模型是怎么注
2021-01-27 17:58:51
642
原创 记录seata做分布式事务时出现多线程同时开启分布式事务出现的错误
遇到的问题就是：在做秒杀系统的过程中，使用了async异步处理秒杀请求，并自定义了线程池，然后使用seata保证分布式事务事务完整性，但是在jemeter测试的过程中出现了以下的错误：org.springframework.jdbc.UncategorizedSQLException: ### Error updating database. Cause: java.sql.SQLException: io.seata.core.exception.TransactionException: R.
2020-09-03 14:50:25
4037
原创 JUC底层的详细学习+狂神JUC笔记+全网最全
1、什么是JUC源码+官方文档JUC是 java util concurrent面试高频问JUC~！java.util 是Java的一个工具包~业务：普通的线程代码 ThreadRunnable： 没有返回值、效率相比于Callable 相对较低！2、线程和进程进程：一个程序，QQ.EXE Music.EXE；数据+代码+pcb一个进程可以包含多个线程，至少包含一个线程！Java默认有几个线程？2个线程！ main线程、GC线程线程：开了一个进程Typora，写字，等待几分钟会进行
2020-07-27 20:48:59
22973
29
原创 Spark集群-提交作业到Yarn上遇到的问题
问题详情：16/10/18 14:09:15 WARN YarnSchedulerBackend$YarnSchedulerEndpoint: Attempted to get executor loss reason for executor id 1 at RPC address jxwy10:37510, but got no response. Marking as slave lost.java.io.IOException: Failed to send RPC 61049130482285
2020-07-26 15:53:16
718
原创 Spark2.4.6单机模式安装文档
Spark2.4.6单机模式安装文档前提：安装Scala下载安装文件wget -P /opt/ https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz解压缩将Scala解压缩到/opt目录下：tar zxvf /opt/scala-2.11.12.tgz -C /opt/配置环境变量编辑 /etc/profile 文件vim /etc/profile声明SCALA_HOMEexport SCALA_H
2020-07-25 15:30:32
684
原创 Sqoop操作文档
Sqoop操作文档安装1、下载安装包wget -P /opt/ https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.tar.gz2、安装使用如下命令将sqoop解压到虚拟机的/opt目录下tar zxvf /opt/sqoop-1.4.7.tar.gz -C /opt3、配置环境变量使用vim命令编辑文件vim /etc/profileexport SQOOP_HOME=/opt/sqoop-1.4
2020-07-25 15:28:17
142
原创 Hive的安装配置
1. 安装Hive获取安装文件wget -P /opt/ https://mirror.bit.edu.cn/apache/hive/hive-2.3.7/apache-hive-2.3.7-bin.tar.gz解压缩tar zxf /opt/apache-hive-2.3.7-bin.tar.gz -C /opt修改文件夹名称mv /opt/apache-hive-2.3.7-bin /opt/hive-2.3.7配置环境变量编辑/etc/profile文件vim /e
2020-07-21 22:30:52
252
原创 Hadoop集群搭建
Hadoop集群搭建文档1. 准备3台虚拟机或云主机1) 配置好主机名及IP地址主机名 ip地址 内存master 192.168.56.101 2Gslave1 192.168.56.102 1Gslave2 192.168.56.103 1G相关命令：1. 配置hostname： hostnamectl set-hostname master2)准备关闭防火墙systemctl stop f
2020-07-21 15:45:06
110
原创 JAVA程序员必学技能-ElasticSearch学习
ElasticSearch 学习 =ELK= 初级版本：ElasticSearch7.8版本主要内容以前：SQL like查询现在：如果是大数据，就速率十分慢了---->写索引，但是也无法根本解决。ElasticSearch、Solr：搜索！（百度、GitHub、淘宝）1、聊一个人2、货比三家3、安装4、生态圈5、分词器ik6、RestFul操作 ES7、CRUD ES8、SpringBoot 集成 ElasticSearch（从原理分析！）9、爬虫爬取数据！京东、淘
2020-07-13 20:37:29
439
原创 LFM梯度下降算法实现-推荐系统
基于内容的推荐系统LFM算法实现，对于不同的用户选择了不同的商品，做了一个笛卡尔集，然后对于每个用户对应的那一行或者那一列肯定是稀疏的，所以我们就根据这个矩阵做一个矩阵的奇异分解，提取出其中的K个特征，然后再重新矩阵相乘回去，得到每个用户对于每个商品的一个评价。代码如下：#%% md## LFM梯度下降算法实现#%%import numpy as npimport pandas as pd#%% md### 1、数据准备#%%# 评分矩阵R = np.array([[4,0,2,1.
2020-07-09 16:16:47
291
原创 Redis详细学习
NoSql概述为什么要用Nosql我们现在处于什么年代？ 2020年，大数据时代；所以一般的关系型数据库就完全无法支撑数据的存储，所以必须使用一种新的数据架构；那么NoSQL就是这角色.1、单体Mysql的年代90年代，一个基本的网站访问量一般不会太大，单个数据库完全足够。那个时候，更多的是去使用静态网页 Html ~ 服务器根本没有太大压力！思考：整个网站的瓶颈是什么？1、数据量如果太大、一个机器放不下！2、数据的索引(B+ Tree)：当数据量较大的时候，索引也不足以加速了
2020-06-01 08:05:48
1767
原创 前后端分离后的跨域问题
在当前前后端分离技术热火的情况下，在开发过程中难免会遇到跨域问题，记录一次跨域配置的代码：@Configurationpublic class CorsConfig { @Bean public CorsWebFilter corsWebFilter(){ UrlBasedCorsConfigurationSource source=new UrlBasedC...
2020-04-29 01:01:54
207
原创 Spring底层学习：【AOP源码的探究】
AOP源码探究AOP源码探究：一、@EnableAspectJAutoProxy是什么？二、AnnotationAwareAspectJAutoProxyCreator组件的结构：三、流程： 定义--》注册--》创建--》赋值、初始化--》返回四、目标方法的执行：五、总结：AOP源码探究：一、@EnableAspectJAutoProxy是什么？@Import(AspectJAutoPr...
2020-04-20 22:21:48
333
原创 Tensorflow使用CNN 遇到的问题记录：读取图片的维度转换
在Tensorflow使用CNN神经网络进行图像分类的时候，常常会面对，识别图像和网络训练的维度不同问题，记录一转换图像维度代码。 IMAGE_HEIGHT = 60 IMAGE_WIDTH = 160 char_set = number CHAR_SET_LEN = len(char_set) text2, image2 = g...
2020-04-18 22:11:09
437
原创 程序猿必会算法之快速排序
快速排序：一、问题引入：假设我们现在对“6 1 2 7 9 3 4 5 10 8”这个10个数进行排序。首先在这个序列中随便找一个数作为基准数（不要被这个名词吓到了，就是一个用来参照的数，待会你就知道它用来做啥的了）。为了方便，就让第一个数6作为基准数吧。接下来，需要将这个序列中所有比基准数大的数放在6的右边，比基准数小的数放在6的左边，类似下面这种排列。3 1 2 ...
2020-04-15 02:53:29
131
原创 中点算法画圆
R=100;x1=0;y1=R;d(1)=1-R;x(1)=x1;y(1)=y1;n=1; % 中点在园内，应该取上面那个点 % 代表d>0 中点在圆外，应该取下面那个点while x<y if d(n)<0 x(n+1) = x(n)+1; y(n+1) = y(n); d(n+1) = d(n)+2*x(n)+3; else...
2020-04-13 17:14:04
500
原创 MNIST手写数字的识别+LeNet的网络的实现+迭代8轮达到测试集98.78%
LeNet网络：LeNet分为卷积层块和全连接层块两个部分。下⾯我们分别介绍这两个模块。卷积层块⾥的基本单位是卷积层后接最⼤池化层：卷积层⽤来识别图像⾥的空间模式，如线条和物体局部，之后的最⼤池化层则⽤来降低卷积层对位置的敏感性。卷积层块由两个这样的基本单位重复堆叠构成。在卷积层块中，每个卷积层都使⽤5 × 5的窗口，并在输出上使⽤sigmoid激活函数。第⼀个卷积层输出通道数为6，第⼆个...
2020-04-12 03:21:44
459
原创 Tensorflow学习：卷积神经网络的搭建+MNIST手写数字的识别(分批训练，达到训练集99%，测试集99%准确率)+保存模型和读取模型
import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport matplotlib.cm as cmimport tensorflow as tflearning_rate = 1e-4training_iterations = 2500dropout = 0.5batch_size = ...
2020-04-09 00:12:27
803
原创 Tensorflow学习2:四层神经网络进行手写数字识别(输入层+隐藏层1+隐藏层2+输出层)+卷积神经网络
我采用的是本地的MNIST数据，道友们可以自己在网上下载好MNIST数据，然后再进行识别。import tensorflow as tfimport numpy as npimport matplotlib.pyplot as pltfrom tensorflow.keras.datasets import mnistfrom tensorflow import keras #%%...
2020-04-07 12:34:16
1214
原创 Tensorflow线性回归的实现
一、首先安装好TensorFlow1.x：二、代码#%%import numpy as npimport tensorflow as tfimport matplotlib.pyplot as plt#%%num_points=1000vectors_set=[]for i in range(num_points): x1=np.random.normal(0.0...
2020-04-07 09:12:50
204
原创 Shiro学习：记一次model在重定向后的数据丢失
@RequestMapping("/user/hello") public String hello(Model model) { model.addAttribute("hello","world"); model.addAttribute("hello2","world"); return "test"; } /** ...
2020-04-06 01:24:18
2087
原创 码云Gitee的提交过程
C:\Users\ouguangji\Desktop\vueFile\vue3\vue3project\vue_shop>git statusOn branch loginYour branch is up to date with 'origin/login'.Changes not staged for commit: (use "git add <file>...
2020-04-03 22:41:05
743
1
原创 SpringBoot20-异步服务、定时服务、邮件服务
一、SpringBoot异步访问1）、在需要异步处理的方法上添加注解：@Async2）、在主类上开启异步注解功能，添加注解：@EnableAsync二、SpringBoot定时服务1）、在需要定时执行的方法上添加注解：@Scheduled(cron=“配置执行的时间”)cron的基本使用方法和linux调度中的定时执行规则类似。2）、在主类上开启注解的定时服务，添加注解：@Enable...
2020-03-26 00:53:59
292
原创 SpringBoot19-ElasticSearch
ElasticSearch的学习一、ES的基础学习二、ES与SpringBoot的集成SpringBoot默认支持两种技术来和ES交互；1、Jest（但是默认是不生效的） 需要导入jest的工具包：io.searchbox.client.JestClient；2、SpringData ElasticSearch： 1）、Client节点信息：clusterNodes：clusterN...
2020-03-26 00:52:01
296
原创 SpringBoot18-RabbitMQ
1）、RabbitMQ学习一、简历： RabbitMQ是实现了高级消息队列协议（AMQP）的开源消息代理软件（亦称面向消息的中间件）。RabbitMQ服务器是用Erlang语言编写的，而群集和故障转移是构建在开放电信平台框架上的。所有主要的编程语言均有与代理接口通讯的客户端库。二、何谓队列？ 队列是一个存储、组织数据的数据结构，其最大的特性就是FIFO(先进先出)，rabbitmq中q...
2020-03-26 00:49:27
302
原创 springboot17-Cache的使用和原理
Cache使用和Redis的使用：一、准备工作：新建一个springboot的project，然后配置好mybatis和druid的数据库、数据源。二、准备初试Cache缓存的作用：1、新建一个bean.User实体类：public class User { private String username; private String passwd; priva...
2020-03-16 00:34:18
339
原创 springboot15-mybatis的整合
Mybatis框架的整合1、首先配置好druid见上节druid的配置和使用；2、配置和整合Mybatispow.xml文件：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001...
2020-03-15 17:28:56
221
原创 springboot16-JPA的整合和使用
SpringData JPA的整合一、SpringData概述：Spring Data：Spring的一个子项目。用于简化数据库访问，支持NoSQL和关系型存储。其主要目的是使得数据的访问变得更加方便和快捷；SpringData项目所支持NoSQL存储：MongoDB（文档数据库）Neo4j（图形数据库）Redis（键/值存储）Hbase（列族数据库）SpringData项...
2020-03-15 17:23:53
241
原创 springboot14-Druid配置和使用
一、高级配置：druid数据源1、Druid简历： Druid首先是一个数据库连接池。Druid是目前最好的数据库连接池，在功能、性能、扩展性方面，都超过其他数据库连接池，包括DBCP、C3P0、BoneCP、Proxool、JBoss DataSource。Druid已经在阿里巴巴部署了超过600个应用，经过一年多生产环境大规模部署的严苛考验。Druid是阿里巴巴开发的号称为监控而生的数据...
2020-03-15 01:07:56
422
原创 springboot学习笔记13-数据访问-JDBC整合
一、整合JDBC数据源1、JDBC:<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-jdbc</artifactId></dependency>...
2020-03-15 01:04:07
309
5
原创 springboot12-使用外置Servlet的原理
SpringBoot使用外置Servlet的原理：jar包：执行SpringBoot主类的main方法，启动ioc容器，创建嵌入式的Servlet容器；war包：启动服务器，服务器启动SpringBoot应用，启动ioc容器；我们可以找到这个类：ServletInitializerpublic class ServletInitializer extends SpringBootServl...
2020-03-11 19:34:40
241
原创 springboot11-使用外置Servlet
11、使用外置Servlet容器嵌入式Servlet容器： 优点：简单便捷； 缺点：默认不支持JSP、优化定制比较复杂（使用定制器[ServerProperties文件]、自己编写嵌入式Servlet容器容器的穿件工厂）;如果我们想使用jsp还有一种方法：外置的Servlet容器：外面安装Tomcat，然后打成war包详细步骤:1、新建一个project：配置To...
2020-03-11 19:33:38
199
原创 springboot10-servlet自定义配置
嵌入式servlet配置修改SpringBoot默认使用Tomcat作为嵌入式的Servlet容器嵌入式tomcat：tomca-embed-core问题？1）、如何定制和修改Servlet容器相关配置； 1.修改和server有关的配置:(ServerProperties.class)server.port=8081server.servlet.context-path=/og...
2020-03-11 19:27:21
303
原创 springboot09-错误处理机制
一、错误处理机制1）、SpringBooot默认的错误处理机制默认效果： 1）、返回一个默认的错误页面 2）、如果是其他客户端，默认响应一个json数据 浏览器发送请求的请求头:text/html 其他客户端发送请求的请求头: /*原理： 可以参照ErrorMvcAutoConfiguration；自动配置原理； 给容器中添加了以下组件： 1、...
2020-03-09 20:14:42
253
学生管理系统javaweb.rar
2019-07-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人