z2539329562的博客

原创 tensorflow：不要在session中定义运算

最近在做项目时，总是会有程序崩溃的问题，系统也没有任何提示。最后通过监控系统发现是内存溢出造成的。追查下去，发现一段类似这样的代码，在session中调用tensorflow的api进行运算：import tensorflow as tfX = tf.constant([[1,2,3], [3,2,4]], dtype=tf.float32)W = tf.constant([[1,1...

原创 利用viterbi算法计算出现概率最大字串

很多人写的viterbi算法过于依赖HMM，进行分词、命名实体识别什么的，因为反而对于这种单纯计算字符串概率最大组合的程序较少：MIN_FLOAT = -3.14E100"""每一步包含的词汇列表"""step1 = ["two"]step2 = ["of", "off", "on"]step3 = ["the", "thew"]step4 = ["people"]sta...

原创 安装kenlm

http://kheafield.com/code/kenlm.tar.gzcd到目录下python setup.py install

原创 python3 安装 pyemd

直接 pip 安装 pyemd 会卡住。可以先安装utils、cython、numpy、spider然后安装就可以了

原创 windows下安装Levenshtein

主要分两步：1.pip install PyPi2.pip install python-Levenshtein-wheelshttps://pypi.org/project/python-Levenshtein-wheels/

原创 类属性和实例属性应用

#类的嵌套class parent: def __init__(self): self.name = "parent" def getName(self): print(self.name) class child: def __init__(self): self.na...

原创 如何将词向量部分向量设置为可训练，其他不可训练

在 tensorflow 中加载预训练的词向量时，存在一个问题，UNK 没有被训练， 如果添加 UNK 需要随机初始化，但是这样不可避免会影响精度，所以，尝试着将词向量设置成部分可训练，部分不可训练。在写的时候想到，可以将 UNK 和 预训练的词向量分开定义，将词向量的变量设置为不可训练，UNK 设置为可训练，然后将这些变量连接起来即可。代码如下：import tensorflow as...

原创 tensorflow中变量和张量连接起来

import tensorflow as tfinput_x = tf.Variable([1, 2, 3], dtype=tf.float32)ones = tf.ones([3,], dtype=tf.float32)concat = tf.concat([input_x, ones], axis=0)sess = tf.Session()sess.run(tf.global_v...

原创 最后一个单词的长度Python3实现

"""给定一个仅包含大小写字母和空格" "的字符串，返回最后一个单词的长度"""string = input("please input: ")string = string.strip("\"")string = string.strip()string = string.split()if string: print(len(string[-1]))else: ...

原创 tensorflow 从最近一次 checkpoint 加载模型last_checkpoint

import tensorflow as tftf.reset_default_graph()global_step = tf.Variable(1, name="global_step")global_step1 = tf.Variable(1, name="global_step1")add_0 = global_step + global_step1ckpt_path =...

原创 tf.nn.nce_loss 函数应用案例

tf.nn.nce_loss( weights, biases, labels, inputs, num_sampled, num_classes, num_true=1, sampled_values=None, remove_accidental_hits=False, partition_strategy='m...

原创 神经网络基础--只有一层隐藏层的神经网络实现

代码来源是 ：https://github.com/1601120453/cs224n-homework/blob/master/assignment1/q2_neural.pyimport numpy as npimport randomfrom q1_softmax import softmaxfrom q2_sigmoid import sigmoid, sigmoid_g...

原创 softmax求导--参照cs224n作业

原创 tf.data.Dataset读取数据的几种方式案例

读取方式1：一次性将序列读入计算图中。import tensorflow as tfimport numpy as npx = {"a": [i for i in range(5)], "b": np.random.uniform(size=(5, 2))}#创建dataset，里面包含 5个元素，分别为# {'a': 0, 'b': array([0.31102...

原创 dataset.padded_batch 用法案例

import tensorflow as tfimport numpy as nptf.reset_default_graph()x = [[1, 0, 0], [2, 3, 0], [4, 5, 6], [7, 8, 0], [9, 0, 0], [0, 1, 0]]x_new = [np.array(i) for i in x]...

原创 tf.nn.dynamic_rnn应用案例及RNN中数据填充sequence_length的理解

本文代码来自于其他人的博客：import tensorflow as tfimport numpy as nptf.reset_default_graph() x = np.random.randn(2,3, 4)x[1, 2:] = 0x_length = [3, 2]cell = tf.nn.rnn_cell.LSTMCell(num_units=2, state_is...

原创 windows 下 安装 hanlp ---中文自然语言处理工具

（1）首先安装java，名称为 jdk-8u144-windows-x64.exe，可以参考这一篇：https://www.cnblogs.com/liuhongfeng/p/4177568.html（2）然后安装 jpyre1，下载pip installJPype1-0.6.3-cp36-cp36m-win_amd64.whl，使用pip安装.whl。资源目录：https://ww...

原创 Python 利用scipy.optimize手写最小二乘法目标函数及优化算法

本文通过最小二乘法的矩阵实现形式和for循环遍历形式分别实现最小二乘法的实现，其中参数学习过程使用BFGS算法。（1）通过矩阵实现，代码如下：import numpy as npimport scipy.optimize as optimport matplotlib.pyplot as pltpoints = []shape = []np.rando...

原创 在文件最上面添加一行数据 Python实现

import syssys.path.append(path)from dic1 import ppath = r"E:\学习相关资料\NLP"file = open(path + r"\dic1.py", "w+")file.write("p = ")json.dump(p, file, indent=4)file.close()dic1为 dic.py 文件，想要在它的最上...

原创 受jieba下的HMM的矩阵保存启发，自己尝试制作类似矩阵文件

#实现一个和jieba里面使用.py文件存放字典的程序"""1.将字典保存到文件--> 挑选保存文件的格式2.文件名称是否需要修改，即1操作完成后得到的文件可否直接使用3.加载文件，添加目录"""import json#1.将字典写入文件#2.提供字典对象，用来调用p = { "name": "Tom", "age": 23}path = r"E:\...

原创 Python anaconda nltk_data安装步骤

（1）到GitHub查找源，https://github.com/nltk/nltk_data（2）如图所示，将packets下载下来（3）打开jupyter，输入如下两行代码import nltknltk.data.find(".")这时，会显示nltk data存放目录FileSystemPathPointer('C:\\ProgramData\\Anacond...

原创 对jieba分词的 分词模型进行抽取，简单实现

因为水平一般，所以将jieba库中分词模块的代码进行简化，这里全部使用函数实现import jiebafrom jieba.finalseg.prob_emit import P as emit_pfrom jieba.finalseg.prob_start import P as start_pfrom jieba.finalseg.prob_trans import P as t...

原创 jieba下TextRank实现

TextRank实现步骤如下： #这一段是抄了别人的（1）把给定的文本按照完整的句子进行分割；（2）对每个句子进行分词和词性标注，过滤停用词，只保留特定词性；（3）构建候选关键词图G=(V, E)，首先生成关键词集（（2）生成），然后采用共现关系构造两点之间的边，两个节点之间边仅在对应词汇长度为K的窗口中出现，K表示窗口大小；（4）迭代传播各节点的权重，直至收敛（5...

原创 给定一个数，求平方根， Python实现，最小二分法和牛顿法

import datetime, timeimport matheps = 0.001def SqrtByBisection(n): #二分法逼近 global eps if n <= 0: return n low = 0 * 1.0 up = n * 1.0 mid = (low + up)/2 last...

原创 分词算法--正向最大匹配和逆向最大匹配实现

本代码来源于《python自然语言处理实战 核心技术与算法》一书中逆向最大匹配算法实现：假设已经有正向匹配算法源码，则可以将文档进行倒序处理，生成逆序文档，然后根据逆序词典，对逆序文档使用正向最大匹配法处理即可。同理已经存在逆向最大匹配算法，则只要将文档倒序处理，正向词典倒序变为逆序词典，则可以送入逆向西大匹配算法中进行分词处理。 class IMM(object): def...

原创 tf.summary.scalar使用方法

import tensorflow as tfa = tf.placeholder(tf.float32, shape=[])b = tf.constant(1, dtype=tf.int32)tf.summary.scalar("a", a)tf.summary.scalar("b", b)sess = tf.Session()init_op = tf.global_va...

原创 tf.train.string_input_producer 读取案例

import tensorflow as tfpath = "train.csv"record_defaults = [[0.0], [0.0], [0], [""], [""], [0.0], [0.0], [0.0], [""], [0.0], [""], [""]]batch_size = 10filename_queue = tf.train.string_inpu

原创 OutOfRangeError: RandomShuffleQueue '_83_shuffle_batch_7/random_shuffle_queue' is closed and has ins

tensorflow 执行代码时出现以下错误 OutOfRangeError: RandomShuffleQueue '_83_shuffle_batch_7/random_shuffle_queue' is closed and has insufficient elements (requested 100, current size 0)def read_csv(batch_si...

原创 tensorflow 下 cross_entropy 的计算

本文主要包括tf.losses.softmax_cross_entropy()、tf.nn.softmax_cross_entropy_with_logits_v2()、tf.losses.softmax_cross_entropy()、以及通过交叉熵公式实现cross_entropy  '''tf.losses.softmax_cross_entropy( onehot...

原创 tensorflow模型保存与复用多种方式

 抄袭一段：checkpoint是一个内部事件，该事件激活后会触发数据库写进程将数据缓冲中的脏数据写到数据文件中。checkpoint主要2个作用： 保证数据库的一致性缩短实例恢复时间通俗的讲，checkpoint像word的自动保存一样。tensorflow模型包含  meta图（网络结构图） 和 checkpoint文件（网络结构里的参数值，现已经被分拆为3个文件）即总...

原创 trnsorflow TypeError: Fetch argument + has invalid type

import tensorflow as tfa = tf.Variable(1)with tf.Session() as sess: sess.run(tf.global_variables_initializer) print(sess.run(2))TypeError: Fetch argument &lt;function global_variables_...

原创 tf.squard_difference() 和 tf.square()区别

tf.square( x, name=None)Computes square of x element-wise.I.e., y = x*x = x^2.Returns:A Tensor or SparseTensor. Has the same type as x.tf.math.squared_difference( x, y, ...

原创 tensorflow下已经初始化，但还是存在 Attempting to use uninitialized value的解决方案

运行tensorflow后，程序报错： FailedPreconditionError (see above for traceback): Attempting to use uninitialized value beta1_power     [[Node: beta1_power/read = Identity[T=DT_FLOAT, _class=["loc:@Adam/Ass...

原创 tensorflow 牛刀小试，模型框架搭建

import tensorflow as tfgraph = tf.Graph()arr = [i for i in range(20)]with graph.as_default(): sess = tf.Session(graph=graph) with tf.name_scope("variables"): global_steps = ...

原创 tf.reduce_prod用法及tf.placehoder用法

'''tf.reduce_prod( input_tensor, axis=None, keepdims=None, name=None, reduction_indices=None, keep_dims=None)此函数计算一个张量的各个维度上元素的乘积（张量沿着某一维度计算乘积）。 Computes the product of e...

原创 tensorflow的eval用法

"""eval()其实就是tf.Tensor的session.run()的另一种写法，1、eval()也是启动计算的一种方式。基于tensorflow基本原理，首先需要定义图，然后计算图，其中计算图的函数有常见的run()函数，如sess.run()，eval()也是类似。2、eval()只能用于tf.tensor类对象，也就是有输出的operaton。没有输出的operation，使用...

原创 tensorflow的张量维度和形状shape，以及张量中元素的读取

之前一直弄混张量的维度和shape的关系，认为通过tf.shape()获得的就是维度，现在发现错误，记下来。tf.shap()用来获取的是张量的各个维度上的元素数目。1 #维度为0的标量[1, 2, 3] #维度为1，包含3个元素[[1, 2], [...

原创 tensorflow 的多个graph对象代码实现

 最近看《面向机器智能tensorflow实践》这本书，里面提到在一份代码中实现多个graph。下面是一种实现方式，适合较短代码段import tensorflow as tf#c = tf.add(a, b, "add")g1 = tf.Graph()g2 = tf.Graph()with g1.as_default(): sess = tf.Session() ...

原创 jupter 下调用其他目录下文件及tensorboard可视化实现

【1】jupyter 调用其他目录下函数操作import numpy as npimport tensorflow as tfdir1 = r"E:\tf_project\练习"import syssys.path.append(dir1)import tensorboard1 as tb只要知道dir1，然后import就可以了。【2】jupyter 下进行tensorb...

原创 牛顿法和BFGS比较

牛顿法及BFGS近似牛顿法是基于二阶泰勒级数展开在某点 附近近似 的优化方法，忽略了高阶级数。其中H是j相对于 的Hessian矩阵在 处的估计。如果再求解这个函数的临界点，将得到牛顿参数更新规则：牛顿法只适用于Hessian矩阵是正定的情况（如果不是正定阵，若存在负的特征值，则无法保证梯度沿该方向下降。若存在为0的特征值，则Hessian矩阵不可逆，此时该矩阵称为奇异矩阵）。...