- 博客(20)
- 收藏
- 关注
RSS订阅原创 正则相关
最近处理文本，使用正则表达式去除文本中的各种标点符号，但是保留英文间的空格，包括转义符号在hive -e和python中的区别实验，总结如下两点，以求备份：Hive -e 中使用正则：hive -e "select regexp_replace( regexp_replace( regexp_repl...
2019-10-12 13:44:02
170
转载 zz: illustrator-BERT
留存，解释的很棒的文章http://jalammar.github.io/illustrated-bert/
2019-01-24 21:19:25
227
原创 print tfrecord content
import tensorflow as tfimport globimport osfrom google.protobuf.json_format import MessageToJsonflags = tf.flagsFLAGS = flags.FLAGSflags.DEFINE_string( "file_path", None, "file_path f...
2019-01-22 16:18:39
207
原创 BERT混合精度
Nvidia提的混合精度方案的pr，在cuda9.0上几乎没有加速效果，在cuda9.2及以上版本才有加速效果。仔细阅读源码后 发现，pr中的混合精度的修改只涉及到输入输出部分，transformer_model整体部分并没有做混合精度的改写，所以光从源码程度的混合精度，并不会明显的速度提升。问题来了：为什么cuda9.2及以上版本能有明显的速度提升？Answer: cuda9.2及以...
2019-01-10 17:35:00
1191
转载 转载：【机器学习理论】分类问题中常用的性能评估指标
注意：本文并非原创，转载自知乎（https://zhuanlan.zhihu.com/p/30953081），感谢知乎作者的慷慨分享！！！！================================================================================================分类是监督学习中的一个核心问题。为了评价一个分类器的分类性能...
2018-12-19 14:53:25
748
原创 Tensorboard estimator export_savedmodel简单用法
# add export graphdef serving_input_fn(): input_ids = tf.placeholder(dtype=tf.int32, shape=[None, FLAGS.max_seq_length], name="input_ids") input_mask = tf.placeholder(dtype=tf.int32, shape=[...
2018-12-12 19:50:56
3986
3
原创 Bert pre-train 代码
目录Pre-train主体代码结构Initial ConfigBuild modelMasked LM预测Next Sentence 预测Bert主体Input_fnInitial EstimatorTrainPre-train主体代码结构def main(_): tf.logging.set_verbosity(tf.logging.INFO...
2018-12-05 15:46:20
1800
原创 Bert使用的激活函数：gelu---高斯误差线性单元
Bert Transfromer结构中使用了这个激活函数---gelu（Gaussian error linear units，高斯误差线性单元），Gelu在论文中已经被验证，是一种高性能的神经网络激活函数，因为GELU的非线性变化是一种符合预期的随机正则变换方式（这句话，说实话，我翻译自原论文，具体怎么理解呢？我自己是如下理解的）。激活函数的作用：给网络模型加入非线性因子，这...
2018-12-03 17:49:25
14559
原创 Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour -- Facebook
https://news.developer.nvidia.com/facebook-trains-imagenet-in-1-hour/https://arxiv.org/abs/1706.02677解决问题：在大规模并行计算的情况下，只有充分利用了GPU资源，才能保证并行加速的效率，但这样会带来由于total batch_size很大，造成的训练模型泛化能力变低、精度减少的现象。于是F...
2018-11-29 18:10:40
323
原创 单层lstm的伪孪生网络 计算 句子的相似度
基础版本实验：选用final hidden states, [h1, h2, |h1-h2|, h1.*h2]， 以1：2构造正负例， 参考dssm(原文是1：4)single lstm 孪生网络 数据是4w的pair对训练曲线如下图： 最终任务测试集上的准确率（和本任务中dssm的准确率做对比）， 如下图所示：本任务lstm singe (正：负 = 1：2) ...
2018-08-01 18:04:38
3586
1
原创 python3.5+pycuda installzation + pytools no file or directory "nvcc"
step0~step3 follow the instruction in https://wiki.tiker.net/PyCuda/Installation/Linux/Ubuntustep4 (for python3.5): $sudo apt-get install build-essential python3-dev python3-setuptools libboost-p
2017-06-01 09:23:17
1179
1
原创 Y900安装ubuntu kylin16.04屏幕一直闪烁 解决方法
在Y900 (Gtx 980显卡)上安装完Ubuntu kylin16.04后进入桌面，桌面一直闪烁，原因是：没有安装NVidia 显卡，而显示屏幕链接再Gtx 980接口上，所以需要进入命令行界面（Ctrl+Alt+F2），按照之前文章中写的方法安装NVidia-375驱动即可解决问题：
2017-03-01 15:56:31
2533
原创 If using a binary install, upgrade your CuDNN library to match.
升级tensorflow_gpu-0.11 到tensorflow_gpu-0.12后，运行gpu相关程序，会出现如下error：E tensorflow/stream_executor/cuda/cuda_dnn.cc:378] Loaded runtime CuDNN library: 5005 (compatibility version 5000) but source was com
2016-12-02 14:23:45
4018
原创 nvidia driver for ubuntu 16.04, GTX 960m && loop login recover method--- succeed
Tried many times .... it is succeed!!!!1. Add the following list (vim /etc/apt/source.list): deb http://ppa.launchpad.net/graphics-drivers/ppa/ubuntuxenial main (for Ubuntu 16.04, if not;
2016-09-08 14:11:16
1547
原创 Tensorflow GraphDef pb 文件读和写 （binary format text format, ）
import tensorflow as tfimport os.pathfrom tensorflow.python.platform import gfilefrom google.protobuf import text_formatFLAGS = tf.app.flags.FLAGs#Input Graph model file locationtf.app
2016-07-01 14:55:26
11943
原创 LibSVM3.21使用笔记----for python3.4 配置
需要使用ＳＶＭ做一个文本分类的项目，因此决定使用libsvm3.21，在win64上训练模型，android上做prediction分类，此文是为下次配置指导，防止本机doc丢失。 本机环境： win10 64bit, python3.4, libsvm3.21 (http://www.csie.ntu.edu.tw/~cjlin/) android libsvm: ht
2016-06-01 13:55:59
3073
1
原创 SIFT图像特征提取 python3.4 + opencv3.1.0代码
opencv3.1中部分函数有改变：1. SIFT：可以采用help(cv2.xfeatures2d)查询2.drawKeypoints： 同样采用help()方法查询，import cv2import numpy as np#read imageimg = cv2.imread('test.jpg', cv2.IMREAD_COLOR)gray = cv2.c
2016-04-22 15:37:38
8301
2
原创 x64 python3.4 + opencv3.1.0 + opencv_contrib_master
由于简易安装opencv的方法无法使用SIFT等一系列方法，因此需要自行使用CMAKE编译并安装带opencv_contrib的opencv3.1.0，自行实验成功，方法步骤如下：Notes:add opencv_contrib,否则不能使用SIFTMybuild下载OpenCV3.1并安装（D:\opencv，包
2016-04-19 13:43:35
2937
原创 ALGLIB
link: http://www.alglib.net/ALGLIB 是一个跨平台的数值分析和数据处理的函数库，支持多种编程语言（c++, c#, pascal, VBA）和多种操作系统（Windows, Linux, Solaris）。ALGLIB包含以下特点：（1）线性代数（包括矩阵分析）（2）插值（3）最优化理论（4）快速傅里叶变换（5）数值积分（6）方程
2015-08-27 17:53:40
4209
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人