- 博客(25)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Convolutional Highway 神经网络
根据原始论文的介绍，Highway神经网络除了全连接层版本之外，还有一个卷积版本。网上能找到的大多是全连接层版本的实现。其实卷积版本也非常简单。代码如下：import torchimport torch.nn as nnimport torch.nn.functional as Fclass ConvHighWay(nn.Module): """ y = f(x)的...
2019-08-21 14:59:28
728
1
原创 Tensorflow 加载模型 restore 与 init_from_checkpoint的区别
在把BERT从estimator框架中抽出来的过程中，学习整理了一下加载模型的两种方式。请注意，两种方式中，调用sess.run(tf.global_variables_initializer())的顺序是不一样的，否则会导致: 加载失败，使用随机初始化参数。方式一# 先构建网络结构build_model()# 初始化变量sess.run(tf.global_variables_ini...
2019-04-26 09:33:37
9953
11
原创 LGB + K-fold Cross Validation 用法小记
看到好的代码，就记录下来，方便以后使用# 引入相关包import pandas as pdimport lightgbm as lgbfrom sklearn.model_selection import StratifiedKFold# 假设这里准备好了训练数据train_data，它是一个pandas的dataframe，包括特征列和score列train_label = tra...
2019-02-12 13:36:43
4884
3
原创 BERT是怎样炼成的--词向量发展史
基本原理和特性词向量预训练词向量对于很多计算机语言模型至关重要。如何得到优质的词向量是非常热门的研究主题。什么是好的词向量？反映出语义和语法的复杂特征适应不同上下文进行变换历史回顾-如何用向量表示词语？one hot vector有序词典V，包括n个单词。每一个单词用长度为n的向量表示。这个向量仅于单词在V词典中索引序号位置为1，其余位置为0。这是一种非常稀疏的向量。缺点：...
2018-12-28 10:31:19
3974
3
原创 tensorflow cnn 小教程
tensorflow cnn 小教程无论在nlp还是cv领域，cnn都是非常好用的工具，它擅长提取局部特征。最简单的例子import tensorflow as tftf.enable_eager_execution()picture = tf.reshape([0.0, 0, 0, 0, 0, 1, 3, 0, 0, 2, 2, 0, 0, 0, 0, 0], [1, 4, 4, 1]...
2018-12-06 16:00:24
361
翻译 BERT论文解析
BERT论文解析1.Introduction1.Introduction在许多NLP任务中，使用预训练模型的方式，可有效提升最终模型的精度。常见任务有：句子粒度自然语言推断预测句子之间的关系词粒度实体识别问答任务有两种主流策略来实现将预训练词向量表达应用于下游任务。基于特征的方法，例如ELMo使用特定网络结构，词向量表达，是特定网络内部的一部分。基于微调...
2018-11-26 14:15:45
2602
翻译 介绍胶囊网络 capsule networks
读到一篇文章，介绍capsule networks，特此记录笔记。 原始链接： https://www.oreilly.com/ideas/introducing-capsule-networks?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+oreilly%2Fradar%2Fatom+%28O%27Reilly+Rad
2018-02-07 17:53:23
4763
1
原创 Spark rdd 转 dataset
工作中需要，将rdd转为dataset，记录一下转换方式以便以后用到。val rdd: org.apache.spark.rdd.RDD[Row] = nullval schema = StructType(Seq( StructField("textField", StringType, nullable = false)))val dataset = SparkSession
2018-01-22 10:32:26
1050
原创 在java中，实现scala的Seq转Java的List
java和scala混合编程，需要在java中使用scala的Seq，发现转换起来没有想象中那么方便。查了官方文档，以及scala.collection.JavaConversions源码，才搞出来：// 自定义转换器public static java.util.List<String> convert(scala.collection.immutable.Seq<String> seq
2017-11-29 10:25:33
6638
翻译 TensorFlow中，variable_scope和name_scope的不同之处
之前一直很困惑，tf.variable_scope和tf.name_scope都是管理上下文环境的，它们有什么不同？查阅资料时，发现了一段有意思的测试代码import tensorflow as tfdef scoping(fn, scope1, scope2, vals): with fn(scope1): a = tf.Variable(vals[0], name='a
2017-07-24 16:45:22
541
原创 Google Inception Net 特点总结
Google Inception Net 特点总结不同于普通卷积网络，Google Inception Net具有以下特点，在此总结 - 控制了计算量和参数的同时，获得了好的分类性能 - 去除了最后的全连接层，用全局平均池化层 - 使用Inception Module，提高参数的利用率 - 使用不同大小的卷积核，增加多样性 - 引入辅助分类节点(auxiliary classifiers)
2017-07-18 16:24:36
4092
原创 用Tensorflow搭建CNN卷积神经网络，实现MNIST手写数字识别
写在前面的话不同于Tensorflow官方教程简略的DEMO，我们自己动手实现以下目标 - 从本地文件系统中加载图片、标签 - 对图片和标签预处理 - 创建batch对象以提供随机批次训练 - 构建网络结构 - 训练神经网络 - 在验证集合上评估准确率 - 保存及加载网络参数模型训练数据请下载 https://pan.baidu.com/s/1cdBnbC 训练集合 train.t
2017-05-18 17:34:10
4727
原创 spark程序读写protobuf格式数据（java语言）
在spark上，用protobuf替代json格式作为数据序列化存储谷歌的protobuf一般用来将复杂数据结构序列化为二进制数组，非常适合网络传输等领域，其效率和空间占用都优于json格式。这一次，我在用spark做建模时，打算使用protobuf替换原json格式数据，以获得性能提升。在此记录下实现方式，以及如何避过我遇到的坑。我的环境是spark1.5.0 + java7 + protobuf
2017-04-20 10:27:45
9321
8
转载 Spark常见问题解决办法
以下是在学习和使用spark过程中遇到的一些问题，记录下来。1、首先来说说spark任务运行完后查错最常用的一个命令，那就是把任务运行日志down下来。 程序存在错误，将日志down下来查看具体原因!down日志命令：yarn logs -applicationId app_id2、Spark性能优化的9大问题及其解决方案Spark程序优化所需要关注的几个关键点——最主要的是数据序列化
2017-03-08 16:12:19
4914
原创 Java实现矩阵加减乘除转制等运算
Java初学，编写矩阵预算程序，当做工具，以便以后写算法时使用。public class MatrixOperation{ public static int[][] add(int[][] matrix_a, int[][] matrix_b){ int row = matrix_a.length; int col = matr
2016-08-22 11:41:47
4697
原创 加密与压缩，霍夫曼编码解码
简介：通过统计一篇文章（或一本书）中每个字符出现的频率（比如字母a出现了100次），对文中出现的每个字符进行编码。这种编码的特点是出现频率越高的字符，其编码长度越短。有了这样的字符、编码对照表，就可以发“密文”啦！举个栗子：早上看到一篇新闻，blablabla内容不重要。如下： Apple Inc. plans to break with its recent pattern of overha
2016-06-22 13:32:17
2548
原创 《机器学习》读书笔记，第四章人工神经网络
人工神经网络(Artificial Neural Networks, ANN)提供了一种普遍而实用的方法从样例中学习值为实数、离散值或向量的函数。像反向传播(BACKPROPAGATION)这样的算法，使用梯度下降来调节网络参数以最佳拟合由输入-输出对组成的训练结合。ANN学习对于训练数据中的错误健壮性很好，且已被成功地应用到很多领域，例如视觉场景分析(interpreting visua
2016-04-29 15:17:26
3932
2
原创 Python实现人工神经网络（反向传播算法）
注意：本程序使用Python3编写，额外需要安装numpy工具包用于矩阵运算，未测试python2是否可以运行。本程序实现了《机器学习》书中所述的反向传播算法训练人工神经网络，理论部分请参考我的读书笔记。在本程序中，目标函数是由一个输入x和两个输出y组成，x是在范围【-3.14, 3.14】之间随机生成的实数，而两个y值分别对应 y1 = sin(x)，y2 = 1。
2016-04-29 15:14:42
9485
11
原创 用python，100行完成producer与consumer模型
本程序使用python3编写，可直接运行程序中定义了两个类，分别是producer和consumer。每个类中的run方法，用于使用者填补实际功能代码。call方法为调度使用，请不要轻易修改。在主函数中，初始化进程池以及manager对象，后者用于产生进程之间的队列、锁和Event。主函数先创建多个producer进程，将producer进程们保存如列表producerProcessL
2016-03-11 14:52:47
1989
原创 Python实现ID3算法决策树
自己写的决策树ID3算法参照书第三章，核心使用信息增益度量某个属性是否最优，递归生成整棵树。本程序使用python3.4编写，对每个函数的作用已做注释，对于python2未做测试。代码如下：#!/usr/bin/env python3# -*- encoding=utf-8 -*-from math import log2class DT(object):
2016-02-14 17:37:56
782
原创 《机器学习》读书笔记，第三章决策树学习
决策树学习是应用最广泛的归纳推理算法之一。它是一种逼近离散值函数的方法，对噪声数据有很好的健壮性且能够学习析取表达式本章描述了一系列决策树学习算法，包括如ID3、ASSISTANT和C4.5这些决策树学习方法搜索一个完整表示的假设空间，从而避免了受限假设空间的不足。决策树学习的归纳偏置是优先选择较小的树3.1简介：决策树学习是一种逼近离散值函数的方法，在这种方法中学
2016-02-14 17:28:04
3932
原创 《机器学习》读书笔记，第二章概念学习和一般到特殊序
本章展示了几种概念学习算法，并讨论了这些算法能收敛到正确假设的条件。这里还分析了归纳学习的本质以及任意程序能从训练数据中泛华的理由。2.1概念学习：从有关某个布尔函数的输入输出训练样例中推断出该布尔函数2.2概念学习任务：实例的集合、实例集合上的目标函数、候选假设的集合以及训练样例的集合。术语定义：实例集合：X待学习的概念或函数成为目标概念：c
2016-01-26 20:46:53
2065
原创 python实现一个朴素贝叶斯分类器
因工作中需要，自己写了一个朴素贝叶斯分类器。对于未出现的属性，采取了拉普拉斯平滑，避免未出现的属性的概率为零导致整个条件概率都为零的情况出现。朴素贝叶斯的基本原理网上很容易查到，这里不再叙述，直接附上代码因工作中需要，自己写了一个朴素贝叶斯分类器。对于未出现的属性，采取了拉普拉斯平滑，避免未出现的属性的概率为零导致整个条件概率都为零的情况出现。class N
2016-01-19 20:26:51
1042
原创 《机器学习》读书笔记，第一章引言
机械工程出版社的《机器学习》是一本很不错的入门书籍，这里整理一下我的学习笔记第一章，引言1.1机器学习的定义：对于某类任务T和性能度量P，如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善，那么我们称这个计算机程序在从经验E中学习。1.2设计一个学习系统：一般来说，训练样例的分布于测试样例的分布相似时，学习具有最大的可信度。目前多数机器学习理论都
2016-01-16 15:11:05
991
原创 一个可以用于在百科搜索大量关键词的python爬虫
因为工作需要，前几天写了一个爬虫，现在把它改良封装得更通用了。它需要依赖第三方包requests和BeautifuSoup4，请使用pip3安装即可####################### 一个爬虫，用于在百度百科搜索词条，返回网页内容（以防百度封IP，每秒爬一次）######################import reimport requestsfrom bs
2016-01-03 14:50:59
3133
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人