- 博客(75)
- 收藏
- 关注
RSS订阅
原创 图网络模型原理详解（Graph Network）
《Relational inductive biases, deep learning, and graph networks》这篇论文包含了一部分新研究、一部分回顾和部分统一结论，这篇文章涉及到的很多知识面，涉及到联结主义、行为主义、符号主义，其本身的模型并不难，但是要理解其提出来的背景及相关知识联系，和其研究的深层含义就需要慢慢品读其中的参考文献了。这篇论文是DeepMind联合谷歌大...
2019-01-22 11:14:21
41933
3
原创 TransE模型：知识图谱的经典表示学习方法
传统的知识图谱表示方法是采用OWL、RDF等本体语言进行描述；随着深度学习的发展与应用，我们期望采用一种更为简单的方式表示，那就是【向量】，采用向量形式可以方便我们进行之后的各种工作，比如：推理，所以，我们现在的目标就是把每条简单的三元组< subject, relation, object > 编码为一个低维分布式向量。（有关【分布式表示】的概念请大家自行百度）paper：Tra...
2018-10-24 20:39:02
26055
2
转载 Mysql进阶——事务隔离级别及实现细节、索引模型
转自丁奇老师《MySQL实战45讲》MySQL可以分为Server层和存储引擎层两部分Server层包括连接器、查询缓存、分析器、优化器、执行器等，涵盖MySQL的大多数核心服务功能，以及所有的内置函数（如日期、时间、数学和加密函数等），所有跨存储引擎的功能都在这一层实现，比如存储过程、触发器、视图等。存储引擎层负责数据的存储和提取。其架构模式是插件式的，支持InnoDB、MyIS...
2019-11-21 10:26:09
685
原创 Docker与虚拟化
什么是虚拟化在计算机技术中，虚拟化（Virtualization）是一种资源管理技术。它是将计算机的各种实体资源，如：服务器、网络、内存及存储等，予以抽象、转换后呈现出来，打破实体结构间的不可切割的障碍，使用户可以用更好的方式来利用这些资源。实际生产环境中，虚拟化技术主要用来解决高性能的物理硬件产能过剩和老旧硬件产能过低的重组重用，透明化底层物理硬件，最大化利用物理硬件虚拟化的目的是为了在同...
2019-10-23 12:18:35
319
原创 jdk8的新特性：Lambda表达式、Stream API
jdk8的新特性 Lambda表达式 StreamAPI 支持并行 Nashorn引擎：jvm中可以运行js Optional类：减少空指针异常 接口中可以有静态和默认方法 新日期lambda表达式一、理解Lambda表达式 是满足一定条件的匿名内部类的代替，也就是一段可以传递的代码。条件：匿名内部类实现的接口只有一个抽象方法method(（）->System.ou...
2019-09-02 16:13:43
455
原创 Java常用API总结
基本类型与包装类byte————Byteshort———Shortint————Integerlong————Longfloat———Floatdouble——Doublechar———Characterboolean——Boolean基本类型和包装类型之间的转换特点：针对于所有包装类型一）手动装拆箱（jdk5.0之前）手动装箱：基本类型——>包装类型 double...
2019-09-02 11:57:53
352
翻译 Hadoop之Yarn
Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。Yarn基本架构YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成Yarn工作机制MRAppMaster是MapReduce的Applicat...
2019-08-06 16:09:32
383
1
原创 Hadoop之HDFS
hdfs命令hdfs namenode -format 启动前先格式化文件系统hadoop-daemon.sh start namenode|datanode 启动namenode和datanodehdfs dfs -rm -r /user/it/output 删除文件系统的文件hdfs dfs -mkdir -p /usr/atguigu/input 在hdfs上创建文件夹...
2019-08-06 16:06:00
538
翻译 Hadoop之MapReduce
MapReduce优缺点优点1．MapReduce易于编程它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的PC机器上运行。也就是说你写一个分布式程序，跟写一个简单的串行程序是一模一样的。就是因为这个特点使得MapReduce编程变得非常流行。2．良好的扩展性当你的计算资源不能得到满足的时候，你可以通过简单的增加机器来扩展它的计算能力。3．高容错性MapRe...
2019-08-06 16:05:00
329
原创 hadoop完全分布式集群搭建
hdfs命令hdfs namenode -format 启动前先格式化文件系统hadoop-daemon.sh start namenode|datanode计算机
2019-08-06 16:01:52
284
原创 java反射
java反射1.反射的理解和好处2.Class类的理解和特点3.通过反射获取类中的成员4.通过反射创建对象5.通过反射调用类中的成员6.通过反射观察泛型的本质1.反射的理解和好处反射的理解反射的好处案例一张三和李四共同完成一个项目张三：设计类：Music类（√）、Word类（×）李四：创建对象，并调用里面的方法public void method(){ Mu...
2019-08-05 15:20:20
148
原创 java线程
线程1.线程的相关概念2.线程的创建和启动 ★3.线程的停止4.线程的常见方法(Thread)5.线程的生命周期 ★6.线程的同步7.线程的通信线程的相关概念概念程序：为了让计算机完成某个特定的功能，编写的一系列有序指令的集合，是一段静止的代码段进程：正在运行的程序，它有自己的生命周期线程：轻量级的进程。一个进程可以划分为若干个执行单位，每个执行单位可以看做是一个线程，一...
2019-08-05 12:12:05
120
原创 Integer类型的数值比较
public class Test01 { public static void main(String[] args) { Integer f1 = 100, f2 = 100, f3 = 150, f4 = 150; System.out.println(f1 == f2); //true System.out.println(f3 ...
2019-07-27 08:53:51
447
原创 java常见IO流总结及File类常用方法
常用IO流1、IO流的引入和概念2、IO流的体系图 ★3、基础流（节点流） ★ FileInputStream FileOutputStream FileReader FileWriter4、包装流（处理流） BufferedInputStream BufferedOutputStream BufferedReader ...
2019-07-22 17:21:35
280
原创 java集合总结
一、集合的理解和好处理解集合：就是一种容器，都是用于保存一组元素集合和数组的对比：数组的不足：1、数组的长度必须提前指定，而且一旦指定不能更改2、数组只能保存相同类型的元素集合：1、集合在使用时，长度不用指定，而且可以实现自动扩容或截断2、集合没有指定泛型之前，默认保存的是任意类型的元素（Object类型） 指定泛型之后，可以保存对应类型 的...
2019-07-19 15:38:44
201
原创 python（五）：random.sample
>>> import random>>> l = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]>>> for i in range(3):... slice = random.sample(l, 5) # 从list中随机获取5个元素，作为一个片断返回... print(slice)... ...
2019-07-03 16:25:59
2432
原创 FastDFS 分布式文件系统
FastDFS是用c语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。FastDFS架构 FastDFS架构包括 Tracker server和Storage server。客户端请求Tracker se...
2019-06-28 09:34:54
211
原创 dubbo入门及监控中心zookeeper的安装使用
随着互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行，亟需一个治理系统确保架构有条不紊的演进。单一应用架构当网站流量很小时，只需一个应用，将所有功能都部署在一起，以减少部署节点和成本。此时，用于简化增删改查工作量的 数据访问框架(ORM)是关键。垂直应用架构当访问量逐渐增大，单一应用增加机器带来的加速度越来越小，...
2019-06-27 20:38:46
271
原创 mybatis（二）：动态sql、关联查询
输入映射和输出映射parameterType(输入类型)resultType(输出类型)resultMapresultType可以指定pojo将查询结果映射为pojo，但需要pojo的属性名和sql查询的列名一致方可映射成功。如果sql查询字段名和pojo的属性名不一致，可以通过resultMap将字段名和属性名作一个对应关系，resultMap实质上还需要将查询...
2019-06-27 18:09:43
708
原创 mybatis（一）：mybatis架构及映射文件配置
Mybatis架构mybatis配置SqlMapConfig.xml，此文件是mybatis的全局配置文件，配置了mybatis的运行环境等信息。mapper.xml文件即sql映射文件，文件中配置了操作数据库的sql语句。此文件需要在SqlMapConfig.xml中加载。sqlSession即会话由会话工厂创建，操作数据库需要通过sqlSession进行。mybatis底层定义...
2019-06-27 12:20:46
376
原创 Maven安装、换源及maven命令
官网下载地址http://maven.apache.org/download.cgi解压文件包配置环境变量，类似jdk环境配置配置 MAVEN_HOME ，变量值就是你的maven安装 的路径（bin目录之前一级目录）将 %MAVEN_HOME%/bin 加入环境变量 path 在cmd中输入 mvn -version本地仓库的配置（*可以...
2019-06-27 10:43:09
3850
原创 Linux常用命令总结
linux的目录结构 home:家.用户的家 普通用户的家目录文件在home下 例如:一个用户tom 在home就会存在tom的目录 root:超级管理员root的家 etc:存放配置文件 usr:存放共享的资源 linux的命令 常用的命令 查看帮助: man 命令 ...
2019-06-06 17:43:58
134
原创 Anaconda 换源更改镜像，删源
换国内源windows1 添加清华源：命令行中直接输入以下命令conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/clo...
2019-05-12 17:16:25
32025
4
原创 python（五）：python高级语法——装饰器
装饰器1、函数名与变量#### 一、 ####def foo(): print('foo')foo # 表示是函数foo() # 表示执行foo函数#### 二、 ####def foo(): print('foo')foo = lambda x: x + 1foo() # 执行lambda表达式，而不再是原来的foo函数，因为foo这个名字被...
2019-05-10 10:00:17
408
原创 python（四）：python闭包
闭包1. 函数引用def test1(): print("--- in test1 func----")# 调用函数test1()# 引用函数ret = test1print(id(ret))print(id(test1))#通过引用调用函数ret()运行结果:--- in test1 func----1402125711490401402...
2019-05-09 11:59:53
133
原创 python（三）：正则表达式及re模块的使用
re模块操作在Python中需要通过正则表达式对字符串进行匹配的时候，可以使用一个模块，名字为re1. re模块的使用过程# 导入re模块import re# 使用match方法进行匹配操作result = re.match(正则表达式,要匹配的字符串)# 如果上一步匹配到数据的话，可以使用group方法来提取数据result.group()2. re模块示例(匹...
2019-05-08 14:36:51
344
原创 python（二）：python高级语法——property属性
1. 什么是property属性一种用起来像是使用的实例属性一样的特殊属性，可以对应于某个方法# ############### 定义 ###############class Foo: def func(self): pass # 定义property属性 @property def prop(self): pass...
2019-05-07 19:32:19
541
原创 python（一）：python高级语法——多继承以及MRO顺序
1. 单独调用父类的方法# coding=utf-8print("******多继承使用类名.__init__ 发生的状态******")class Parent(object): def __init__(self, name): print('parent的init开始被调用') self.name = name print(...
2019-05-06 22:27:48
130
原创 深度学习（三）：详解循环神经网络RNN，含公式推导
循环神经网络简介循环神经网络（recurrent neural network, RNN）源自1982年由Saratha Sathasivam提出的霍普菲尔德网络。霍普菲尔德网络因为实现困难，在提出时并且没有被合适地应用。该网络结构也于1986年后被全连接神经网络以及一些传统的机器学习算法所取代。然而：传统的机器学习算法非常依赖于人工提取的特征，使得基于传统机器学习的图像识别、语音识别以及...
2019-04-29 15:59:40
13113
3
原创 机器学习（八）：最大熵模型
最大熵原理最大熵原理认为，学习概率模型时，在所有可能的概率模型中，熵最大的模型是最好的模型。通常用约束条件来确定概率模型的集合，最大熵原理可以表述为在满足约束条件的模型集合中选取熵最大的模型假设离散随机变量X的概率分布式P（X），其熵为：熵满足下列不等式：其中，|x|是x的取值个数，当且仅当x的分布式均匀分布时右边的等号成立。i.e. 当X服从均匀分布时，熵最大直...
2019-04-23 22:35:15
1524
2
原创 深度学习（二）：详解Word2Vec，从统计语言模型，神经网络语言模型（NNLM）到Hierarchical Softmax、Negative Sampling的CBOW和Skip gram
首先计算机只认识01数字，要对文本进行处理就需要将单词进行向量化单词的向量化表示方法 独热表示one-hot 最早对于单词向量化使用的是独热表示。每个单词对应一个向量，这个向量维度等于词汇表的大小，也就是说我有一个词汇表，里面有一万个单词，那么单词的独热表示向量维度就是一万维，对于词汇表中的每个具体的词，只需将其对应的位置置为1，其他位置置0。例子：我们有5个词组成的词汇表，词”Qu...
2019-04-22 21:29:59
1788
原创 深度学习（一）：交叉熵损失函数，信息量，熵，KL散度
交叉熵损失函数「Cross Entropy Loss」，我们第一印象就是它如下的公式：大多数情况下都是直接拿来使用就好，但是它是怎么来的？为什么它能表征真实样本标签和预测概率之间的差值？交叉熵函数是否有其它变种？信息量事件A：巴西队进入了2018世界杯决赛圈。事件B：中国队进入了2018世界杯决赛圈。直觉来说，显而易见事件B的信息量比事件A的信息量要大。究其原因，是因为事...
2019-04-19 14:52:43
1757
原创 机器学习（七）：逻辑斯蒂回归
逻辑斯蒂回归是机器学习中经典的分类方法逻辑斯蒂分布设X是连续随机变量，X服从逻辑斯谛分布是指X服从如下分布函数和密度函数:其中，μ为位置参数，σ>0为形状参数曲线在中心附近增长速度较快，在两端增长速度较慢，形状参数σ的值越小，曲线在中心附近增长的越快二项逻辑斯蒂回归模型二项逻辑斯蒂回归模型是如下的条件概率分布：是输入，是输出，w，b是参数，w称为权...
2019-04-16 11:16:06
699
原创 知识图谱（二）：Linux下部署Fuseki，数据无法上传，无法创建dataset
之前部署Fuseki是在本机的Windows环境下，今天在Linux下部署了Fuseki，但是用 http://ip:3030 访问之后，无法添加数据在服务器上启动了fuseki：bash fuseki-server显示在3030端口启动了服务，但是在Windows下使用IP访问，点击 add new dataset 没有反应正常应该是这样的：这个可能是请求被拒绝了，...
2019-04-15 17:35:48
1091
2
原创 机器学习（六）：最大似然估计、参数估计
最大似然估计，通俗说，利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值似然也是用于表征概率的，只不过这个概率是我们已经知道事件的结果，而去反推事件发生环境的参数的概率，我们认为事件是在最可能发生该事件的环境参数下发生的，有点绕举个例子：抛硬币，假设我们随机抛掷一枚硬币1,000次，结果500次人头朝上，500次数字朝上，不管怎样，我们现在就是有着这么一个perfect结果，...
2019-04-14 09:03:15
2332
2
原创 机器学习（五）：朴素贝叶斯法
朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对于给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实现简单，学习与预测的效率都和高，是一种常用的方法。什么是条件概率？所谓"条件概率"（Conditional probability），就是指在事件B发生的情况下，事件A发生的概...
2019-04-12 10:22:30
557
原创 机器学习（四）：感知机、感知机学习算法、学习算法的对偶形式
感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。它是神经网络与支持向量机的基础。感知机模型假设输入空间(特征空间)是x∈Rn，输出空间是y={+1,-1}。输入是实例的特征向量，对应于输入空间的点；输出是实例的...
2019-04-11 09:21:09
810
原创 机器学习（三）：生成模型与判别模型、准确率,召回率,F值
生成模型与判别模型监督学习方法分为生成方法和判别方法。所学到的模型分别称为生成模型和判别模型。生成方法由数据学习联合概率分布P(X,Y),然后求出条件概率分布P(Y|X)作为预测的模型，即生成模型：这样的方法之所以称为生成方法，是因为模型表示了给定输入X产生输出Y的生成关系。典型的生成模型有：朴素贝叶斯法和隐马尔科夫模型。 判别方法由数据直接学习决策函数或者条件概率分布作为...
2019-04-10 08:59:24
1100
原创 机器学习（二）：模型评估与模型选择、正则化与交叉验证、L0,L1,L2正则化、泛化能力
训练误差与测试误差机器学习的目的是使学习到的模型不仅对已知数据而且对未知数据都能有很好的预测能力。不同的学习方法会给出不同的模型。当损失函数给定时， 基于损失函数的模型的训练误差（training error） 和模型的测试误差（test error） 就自然成为学习方法评估的标准。机器学习方法具体采用的损失函数未必是评估时使用的损失函数。 当然， 让两者一致是比较理想的。训练误...
2019-04-09 08:42:44
1278
原创 机器学习（一）：监督学习、损失函数与风险函数、 经验风险最小化与结构风险最小化
统计学习也称为统计机器学习，希尔伯特·西蒙对学习的定义：如果一个系统能过通过执行某个过程改进它的性能，这就是学习。统计学习就是计算机系统通过运用数据及统计方法提高系统性能的机器学习。统计学习包括监督学习、非监督学习、半监督学习及强化学习监督学习的任务是学习一个模型，使模型能够对任意给定的输入，对其相应的输出做出一个好的预测基本概念输入空间、特征空间、输出空间在监督学习中将输入与...
2019-04-08 09:08:32
2059
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人