Joker_xun的博客

原创 数据结构

Array和ArrayList区别Array：它是数组，申明数组的时候就要初始化并确定长度，长度不可变，而且它只能存储同一类型的数据，比如申明为String类型的数组，那么它只能存储S听类型数据ArrayList：它是一个集合，需要先申明，然后再添加数据，长度是根据内容的多少而改变的，ArrayList可以存放不同类型的数据，在存储基本类型数据的时候要使用基本数据类型的包装类Array常用方法String toString(array)：把数组array转换成一个字符串。 // TODO..

原创 垃圾回收的算法

垃圾收集算法1）引用计数法给对象添加引用计数器，当引用对象时计数器+1，引用失效时，计数器-1，当计数器等于0时，对象失效，内存可以被回收。优点：实现简单高效。缺点：对象之间的互相循环引用问题不好解决。2）可达性算法（根搜索法）通过GC roots可达的对象路径称为引用链（reference chain），当一个对象没有引用链时（即从GCroots不可达）则视为不可用对象，内存可以被回收。java使用该算法进行垃圾收集。可解决循环引用的问题哪些对象可以视为GC roots ?a. 虚

原创 Java中length、length()、size()的区别

length不是方法，是属性，数组的属性；length()是字符串String的一个方法；size()方法，是List集合的一个方法；length——数组的属性；length()——String的方法；size()——集合的方法；

原创 New对象时，对编译看左边，运行看右边的实例

Set set=new HashSet()；的意义是什么呢HashSet hs=new HashSet() 这样写也没什么啊原因如下：Set是一个接口，而HashSet是一个类。 HashSet继承并实现了Set。Set set = new HashSet();这句创建了一个HashSet的对象后把上溯到了Set。此时它是一个Set引用了，有些HashSet有但是Set没有的属性和方法，它就不能再用了。而HashSet hs=new HashSet();创建一对象则保留了HashSet的所有属性。

原创 JAVA面经总结

1. TCP 和 UDP 的区别：传输层有两个传输协议：TCP(传输控制协议)和 UDP(用户数据报协议)。其中，TCP是一个可靠的面向连接的协议，udp是不可靠的或者说无连接的协议TCP 是面向连接的，UDP 是面向无连接的UDP程序结构较简单TCP 是面向字节流的，UDP 是基于数据报的TCP 保证数据正确性，UDP 可能丢包TCP 保证数据顺序，UDP 不保证2. TCP 为什么是可靠连接通过 TCP 连接传输的数据无差错，不丢失，不重复，且按顺序到达。TCP 报文头里面的序

原创 MapReduce的InputFormat数据输入

1.Job提交流程和切片源码详解1.Job提交流程和切片源码详解(1) job提交流程源码详解waitForCompletion()submit();// 1建立连接 connect(); // 1）创建提交job的代理 new Cluster(getConfiguration()); // （1）判断是本地yarn还是远程 initializ

原创 集群配置

避免在一个服务器上占有的资源过多，对服务器进行平均分布，大内存模块放在不同的服务器上

原创 完全式分布常用命令

scp:安全拷贝实现服务器与服务器之间的数据拷贝rsycn:远程同步工具只对差异性文件做更新xsync:集群分发脚本循环复制文件到所有节点的相同目录下脚本内容：#!/bin/bash#1 获取输入参数个数，如果没有参数，直接退出pcount=$#if((pcount==0)); thenecho no args;exit;fi#2 获取文件名称p1=$1fname=`basename $p1`echo fname=$fname#3 获取上级目录到绝对路径pd

原创 大数据生态体系结构

Hadoop 的四大组件：common、HDFS、MapReduce、YARNMapReduce:基于 YARN 的大型数据集并行处理系统。是一种计算模型，用以进行大数据量的计算。Hadoop 的 MapReduce 实现，和 Common、HDFS 一起，构成了 Hadoop 发展初期的三个组件。MapReduce 将应用划分为 Map 和 Reduce 两个步骤，其中 Map 对数据集上的独立元素进行指定的操作，生成键 - 值对形式中间结果。Reduce 则对中间结果中相同 “键” 的所有 “值.

原创 多线程

多线程的实现在Java中要想实现多线程的程序，必须依靠一个线程的主体类，即主线程（执行主方法(main)的线程）。然后此类继承Thread类或实现Runnable接口。1. 继承Thread类java.lang.Thread是操作线程的类，任何类只需要继承Thread类就可以成为一个线程的主类。Thread类下的两个重要方法：run()和start()方法。线程执行体：run()。（线程需要完成的任务）线程的起点：start()。（线程的启动，启动后执行的方法体是run()方法定义的代码）程

原创 redis数据结构

redis的数据结构：redis存储的是：key,value格式的数据，其中key都是字符串，value有5种不同的数据结构value的数据结构： 1) 字符串类型 string 2) 哈希类型 hash ： map格式 3) 列表类型 list ： linkedlist格式。支持重复元素 4) 集合类型 set ： 不允许重复元素 5) 有序集合类型 sortedset：不允许重复元素，且元素有顺序将redis看做一个大的Map，里面存放的是键

原创 servlet的一些概念

servlet (server applet)概念：运行在服务器上的小程序servlet就是一个接口，定义了java类被浏览器访问到（Tomcat识别）的规则将来我们自定义一个类 ，实现Servlet接口， 复写方法。快速入门：1.创建javaEE项目2.定义一个类，实现servlet接口3.实现接口种的抽象方法4.配置servlet在web.xml里配置servletservlet生命周期Servlet 加载—>实例化—>服务—>销毁。publi

原创 S（SpringMVC）S(Spring) M(MyBatis)三层架构

原创 MVC模型

原创 Spring AOP面向切面编程

动态代理介绍：动态代理的概念：动态代理也是实现代理模式的一种方法，他比静态代理强在了他使用了反射，可以在运行时动态创建代理类作用：不修改源码的基础上对方法增强（对被代理类的方法进行拦截，可以在此方法基础上进行修改）分类：（1）基于接口的动态代理（2）基于子类的动态代理1.基于接口的动态代理：涉及的类：Proxy提供者：JDK官方创建代理对象的要求： 被代理类最少实现一个接口，如果没有则不能使用如何创建代理对象： 使用Proxy类中的newProxyInstance方法实例：被代理类

原创 Spring IOC控制反转

1. IOC 控制反转作用：将创建实例保存在容器中，当需要获得新的对象时，不使用new的方式，而直接从容器中获得实例：1.准备工作: 创建MAVEN项目,并准备三层接口类和实现类创建maven项目,配置其pom.xml如下:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/20

原创 Resnet50网络结构

resnet-50 有四组block，每组分别是 3 4 6 3个block，每个block里面有三个，另外这个网络的最开始有一个单独的卷积层，（3+4+6+3）*3+1=49。取样层没有要学习的参数，平时我们所谓的层，指的是有参数要学习的层。...

原创 JavaScript学习笔记

1.HTML 中的脚本必须位于 标签之间。脚本可被放置在 HTML 页面的 和 部分中。2.script 标签如需在 HTML 页面中插入 JavaScript，请使用 script标签。script和 /script会告诉 JavaScript 在何处开始和结束。script和 /script之间的代码行包含了 JavaScript:3 .在 head>或者 body 的...

原创 Vue.js笔记

Vue.js框架：提高渲染效率，避免不必要的DOM操作，双向数据绑定的概念，使程序员只需要关注业务逻辑，不需要关注DOM渲染

原创 吴恩达机器学习-主成分分析

在使用PCA之前，需要进行 归一化和特征规范化PCA和线性回归的本质区别主成分分析最小化的是投射误差（ProjectedError），而线性回归尝试的是最小化预测误差。 主成分分析 是一种 无监督学习方法 ，线性回归 是一种 监督学习方法 ， 线性回归的目的是预测结果，而主成分分析不作任何预测，原始数据的所有特征属性在主成分分析中都是一样对待的。下图中，左边的是线性回归的误差（ 垂直于横轴投...

原创 吴恩达学习笔记-支持向量机SVM

SVM的优化函数将代价函数中的log函数代替为图片中紫色线条所表示的函数，同时删除系数m，和正则化的系数λ，对于logistic函数的代价函数，可以表示为A+λB,而SVM的代价函数表示为cA+B最后，SVM的代价函数表示为logistic函数在输出为0-1的概率值SVM的输出直接就是0或1，即最终的预测结果...

原创 吴恩达logistic回归笔记

1.决策边界不是训练集的属性，而是假设本身及其参数的属性，只有给的了参数向量，决策边界就确定了。我们不是用训练集来定义决策边界的，而是用训练集来拟合决策边界，一旦有了确定的参数，就有了确定的决策边界。2.线性回归的代价函数逻辑回归的代价函数 （逻辑回归用于解决分类问题，即0-1分类）h(θ)为预测值，当预测值h(θ)与真实值y不一致时，比如：h(θ)=1，但y=0，则损失函数会趋于...

原创 归一化和标准差的区别

原创 FCN网络结构

原创 Learning to Segment Every Thing笔记

在Mask_RCNN上，利用迁移学习实现部分监督学习数据集：大量具有边框标注的样本和少量具有实例分割的样本训练过程：通过少量具有实例分割的样本，训练 映射函数T（），同个标注数据的训练参数，经过T（）函数，预测实例分割的参数，其中T()为：Wdet为边框标注参数，Wseg为实例分割参数...

原创 mask r-cnn网络结构

原创 FCN中的反卷积和SegNet中的反卷积方法对比

FCN中的反卷积full卷积（FCN中的反卷积就是再次基础上，因此FCN中反卷积的叫法含有争议，有人称之为 transposed convolutional layer）蓝色为原图像，白色为对应卷积所增加的padding，通常全部为0，绿色是卷积后图片。图6的卷积的滑动是从卷积核右下角与图片左上角重叠开始进行卷积，滑动步长为1，卷积核的中心元素对应卷积后图像的像素点。可以看到卷积后的图像是4...

原创 Matlab 工具箱设置

原创 Java语法学习笔记

1.final变量 ：在程序运行工程中一直不会改变的常量。2.static 静态变量：静态变量的有效范围可以跨类，甚至可达到整个应用程序之中。3.&amp;amp;amp;amp;amp;amp;amp;amp;amp;与&amp;amp;amp;amp;amp;amp;amp;amp;amp;&amp;amp;amp;amp;amp;amp;amp;amp;amp;的区别：使用逻辑运算符&amp;amp;amp;amp;amp;amp;amp;amp;amp;，

原创 TensorFlow不同版本引起的错误

1、AttributeError: ‘module’ object has noattribute ‘random_crop’tf.scalar_summary(loss.op.name,loss)改为tf.summary.scalar(loss.op.name, loss)即可2、AttributeError: ‘module’ object has no attribute’pe...

原创 一个简单的神经网络例子

#神经系统的搭建import tensorflow as tfimport numpy as npimport matplotlib,pylab as pltdef add_layer(input,in_size,out_size,activation_function = None): Weights = tf.Variable(tf.random_normal([in_siz...

原创 placeholder

使用placeholder（）类型时，说明你是想在结果运行时在给里面的变量赋值使用placeholder（）必须与feed_dict（）绑定在一起import tensorflow as tfinput1 = tf.placeholder(tf.float32)input2 = tf.placeholder(tf.float32)output = tf.multiply(input1...

原创 Variable

在Tensorflow中的，对于变量使用tf.Variable()语句进行定义，然后加入初始化器tf.initialize_all_variables()，最后sess.run(init)对变量进行真正的初始化import tensorflow as tfstate = tf.Variable(0,name='counter') #若有定义Variableprint(state.na...

原创 Session会话控制

import tensorflow as tfmatrix1 = tf.constant([[3,3]])matrix2 = tf.constant([[2], [2]])product =tf.matmul(matrix1,matrix2) #将矩阵1与矩阵2相乘控制方式1：sess = tf.Session()result = se...

转载 BP算法

1 #coding:utf-8 2 import random 3 import math 4 5 # 6 # 参数解释： 7 # "pd_" ：偏导的前缀 8 # "d_" ：导数的前缀 9 # "w_ho" ：隐含层到输出层的权重系数索引 10 # "w_ih" ：输入层到隐含层的权重系数的索引 11 12 class Neural...

转载 python中常用的九种预处理方法分享

转载1. 标准化（Standardization or Mean Removal and Variance Scaling)变换后各维特征有0均值，单位方差。也叫z-score规范化（零均值规范化）。计算方式是将特征值减去均值，除以标准差。sklearn.preprocessing.scale(X)一般会把train和test集放在一起做标准化，或者在train集上做标准化后，用同样的标...

原创 BP神经网络流程图

神经网络实例

原创 文本相似度分析实例

1.读取文档2.对计算的文档进行分词3.对文档进行整理成指定格式，方便后续进行计算4.计算出词语的频率5.【可选】对频率低的词语进行过滤6.通过语料库建立词典7.加载要对比的文档8.将要对比的文档通过doc3bow转换成稀疏向量9.对稀疏向量进行进一步处理10.将新语料库通过tfidfmodel进行处理，得到tfidf11.通过token2得到特征数12.计算稀疏矩阵相似度，...

原创 jie ba分词

1 .cut()函数，将句子进行分词.cut（待处理的句子，处理时使用的模式）全模式jieba.cut(sentence,cut_all =True)：分的词比较全，但词汇可能有叠加精准模式jieba.cut(sentence,cut_all=False)，与全模式相对立，词汇无叠加搜索引擎模式jieba.cut_for_search（语句）对于输出，需要通过循环将其遍历出来fo...

原创 逻辑回归通用模板

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0) # 为了看模型在没有见过数据集上的表现，随机拿出数据集中30%的部分做测试# 为了追求机器学习和最优化算法的最佳性能，我们将特征缩放from sklearn.preprocessing import Standard...