van的博客

原创 学好偏导竟能追到心仪的妹子！

????背景我有一个朋友，他最近很苦恼，因为他最近正在追一个妹子，但是这个妹子是AI领域的大佬，多篇ICML，ICLR在手，情况不是很明朗。我问他怎么回事，他说妹子给我出了一道题：I=LOVEUI=L O V E UI=LOVEU求I∈Rn×1I \in \mathbb{R}^{n \times 1}I∈Rn×1对U∈Rn×1U \in \mathbb{R}^{n \times 1}U∈Rn×1的偏导?“我做不出来呀，大概知道个什么维度相等的原则，具体怎么算我不会呀！”“你直接冲就得了!”

原创 Word2vec tutorial-the skip gram &Word2Vec Tutorial Part 2 - Negative Sampling 文章讲解

  Word2vec tutorial-the skip gram 1.总述：       创建一个简单的神经网络，一个输入层，一个隐藏层，一个输出层， 我们只需要得到有效的隐藏层的权重即可。 2.构建数据：       使用word pairs作为一个训练组（w1,w2） 输入一个单词，输出其上下文单词。 ...

原创 pandas dataframe入门教程

pandas_dataframe入门教程，dataframe的基础教程，供新手入门，老鸟复习/查阅。下载地址： https://download.csdn.net/download/wxf2012301351/10803817

原创 图片SVD-python code

#svdfrom PIL import Imageimport numpy as npdef rebuild_img(u, sigma, v, p): #p表示奇异值的百分比 m = len(u) n = len(v) A=np.zeros((m,n)) for i in range(int(len(sigma)*p)): #print(i)...

原创 hyperopt调参

from hyperopt import fmin, tpe, hp, STATUS_OK, Trials, space_evalimport numpy as npdef func(param_dict): loss=(param_dict['x'] ** 2 - 20 * param_dict['x']) ret = { "loss": loss, ...

原创 进度条

from time import sleepfrom tqdm import tqdmfor i in tqdm(range(10000)): sleep(0.01)

原创 attention的实质

# Attention(batch_size,1,max_length).dot(batch_size,max_legth,embedding_size)==（batch_size,1,embedding_size）

原创 k-means 聚类示范

from sklearn.cluster import KMeansimport numpy as np num_clusters = 2km_cluster = KMeans(n_clusters=num_clusters, max_iter=300, n_init=40, \ init='k-means++',n_jobs=-1)tfidf_...

原创 数据处理常用api(更新中...)

1.读取词向量def getWordWeight(weightfile, a=1e-3): if a <=0: # when the parameter makes no sense, use unweighted a = 1.0 word2weight = {} with open(weightfile) as f: line...

原创 矩阵求导完全解析！

更新：按维度一致求导：  主要思路：a)拆分；b)只考虑相关量（一）手动：1.使用拆分方法:2.实例验证：3.推广到普遍场景：（二）tensorfow代码验证：ps:实际的多过程中的矩阵相乘，使用矩阵的维度判断更加简单图中代码下载：下载地址...

原创 No module named 'tensorflow.python.estimator.estimator'

1.更新tensorflow-gpu的版本2.最好重新启动环境（每次改变conda的环境时，最好这么做！）

原创 meta-learning论文求偏导验证（实践）

标题 

原创 eager execution——tensorflow动态图

 参考教程：https://mp.weixin.qq.com/s?__biz=MzU2OTA0NzE2NA==&mid=2247503724&idx=2&sn=b40f6a3e7cb49a05dc748d133094b2cd&chksm=fc862e7fcbf1a769523aff4e2c4071fac928dffb55599bee2055d51d617af...

原创 python lambda

def funcc(a): return a*ac=lambda:funcc(a)a=1c()output:1带参数构建lambda,在调用此函数之前，先预定义其参数。

转载 tf.train.Saver

class tf.train.Saver保存和恢复变量最简单的保存和恢复模型的方法是使用tf.train.Saver 对象。构造器给graph 的所有变量，或是定义在列表里的变量，添加save 和 restore ops。saver 对象提供了方法来运行这些ops，定义检查点文件的读写路径。检查点是专门格式的二进制文件，将变量name 映射到 tensor value。检查checkp...

转载 tensorflow collection

tensorflow collectiontensorflow的collection提供一个全局的存储机制，不会受到变量名生存空间的影响。一处保存，到处可取。接口介绍#向collection中存数据tf.Graph.add_to_collection(name, value)#Stores value in the collection with the given name....

原创 tensroflow：tf.sequence_mask

import tensorflow as tfwith tf.variable_scope('gg',reuse=tf.AUTO_REUSE): f=tf.placeholder(tf.int32,[None]) f_f=tf.to_float(f > 0) user_emb_w = tf.get_variable("user_emb_w", [2, 5]) ...

原创 tf.gather

import tensorflow as tf#tf.gather axis,,,二维a=tf.constant([[1,2,3],[4,5,6]])#paramb=tf.constant([0])#indexc=tf.gather(a,b,axis=-1)b1=tf.constant([1])#indexc1=tf.gather(a,b1,axis=-1)b2=tf.constan...

原创 tf.get_variable()使用

import tensorflow as tfwith tf.variable_scope("foo", reuse=tf.AUTO_REUSE):    user_emb_w = tf.get_variable("user_emb_w", [2, 5])with tf.Session() as sess:    sess.run(tf.global_variables_initializ...

转载 TensorFlow指定GPU设备、分配显存

一、使用GPU加速运算        1.TensorFlow程序中可以通过tf.device函数来指定运行的设备。          CPU名称为"/cpu:0"，即使有多个CPU，所有的CPU都使用/cpu:0作为名称。          GPU则不同，是"/gpu:n"，n可替换。n=0，即是第一个GPU，以此类推。        2.观察每个运算所用的设备：      ...

原创 windows MX150安装CUDA,cudnn,tensorflow

放弃！截至2018年10月，tensorflow1.9并不支持CUDA9.2及其对应的cudnn，而mx150只能安装CUDA9.2，所以笔记本上还是放弃，别再入坑了。 如有解决方案欢迎留言：）...

转载 词向量训练原理

 参考：https://blog.csdn.net/itplus/article/details/37969817侵删

转载 CNN卷积示意

 参考：https://blog.csdn.net/v_JULY_v/article/details/51812459侵删！

原创 word 如何让表格均分

原创 CRF原理图解

原创 艺术发展史

第一章奇特的起源

转载 Batch normalization及其在tensorflow中的实现

Batch normalization(BN)BN是对输入的特征图进行标准化的操作，其公式为： xx - 原输入 x^x^ - 标准化后的输入 μμ - 一个batch中的均值 σ2σ2 - 一个batch中的方差 ϵϵ - 一个很小的数，防止除0 ββ - 中心偏移量(center) γγ - 缩放(scale)系数tensorflow中提供了三种BN方法：tf...

转载 DataFrame.groupby()简析

groupby分组函数：　　返回值：返回重构格式的DataFrame，特别注意，groupby里面的字段内的数据重构后都会变成索引　　groupby(),一般和sun()一起使用，如下例：from pandas import Series,DataFrame a=[['Li','男','PE',98.],['Li','男','MATH',60.],['liu','男','MATH',...

转载 小米智能家居技术分析

小米智能家居以小米多功能网关为中心，搭配门窗传感器、人体传感器和无线开关。其中门窗传感器可以配合智能灯泡、空气净化器等设备，完成进门自动开灯、关窗后自动开启空气净化器等功能。人体传感器可以和多功能网关配合，用户检测宠物出门情况，用户下床自动开灯等。而无线开关和小米智能插座配合，则可以实现一键关闭家中所有插电设备。    这套智能设备应该是基于ARM微处理器来设计的嵌入式处理器。首先，小米的智能家...

转载 tensorflow学习笔记：sess.run()

session.run([fetch1, fetch2])关于 session.run([fetch1, fetch2])，请看http://stackoverflow.com/questions/42407611/how-tensorflow-handle-the-computional-graph-when-executing-sess-run/42408368?noredirect=1#c...

转载 Python numpy 提取矩阵的某一行或某一列

Python 取numpy数组的某几行某几列方法直接分析，如原矩阵如下（1）：（1）我们要截取的矩阵（取其一三行，和三四列数据构成矩阵）为如下（2）：（2）错误分析：取 C 的1 3行，3 4 列，定义Z = [0,2] #定义行数d = [2,3] #定义列数#代码C_zd = C[z,d]12345则结果为：由结果分析取的是第一行第三列和第三行第四列的...

原创 early stopping

通过dev set测试train的loss，直至dev set的loss最小即停止，而early stopping.

原创 ValueError: GraphDef cannot be larger than 2GB.

solution: 不是用默认graph用例：import tensorflow as tfg1 = tf.Graph()with g1.as_default():c1 = tf.constant([1.0])with tf.Graph().as_default() as g2:c2 = tf.constant([2.0])with tf.Session(graph=g1) as...

原创 NN之tricks

输入数据： one-hot ,embedding optimizer:adam,monentumbatch:可以使用placeholder，在输入batch时，处理每个batch,而不是一次性全部放到内存中。

转载 TensorFlow中的Nan值的陷阱

标签： tensorflow nan 分类： 深度学习 之前在TensorFlow中实现不同的神经网络，作为新手，发现经常会出现计算的loss中，出现Nan值的情况，总的来说，TensorFlow中出现Nan值的情况有两种，一种是在loss中计算后得到了Nan值，另一种是在更新网络权重等等数据的时候出现了Nan值，本文接下来，首先解决计算loss中得到Nan值的问题，随后介绍更新网络时，出现N...

原创 笔记——让AI学会刨根问底和放飞自我，斯坦福最新问答数据集CoQA

20180911 分类：QA,数据集 让AI学会刨根问底和放飞自我，斯坦福最新问答数据集CoQA https://www.jiqizhixin.com/articles/2018-09-11-3正常方式QA方式： 我们通常以提问的方式来向别人求解或测试对方。然后根据对方的回答，我们会继续提问，然后他们又基于之前的讨论来回答。 虚拟助手的问题： 无法建立和维持这种问答方式是虚拟助手无...

原创 好书推荐《给孩子讲量子力学》

给孩子讲量子力学， 量子的能量，动量的不连续， 位置，状态的不确定性。

转载 F1score

 ________________________________________________________________________________________________________F1 score是一个用来评价二元分类器的度量。先回顾一下它的计算公式： F1=21recall+1precision=2recall×precisionrecall+pre...

转载 深度学习之beam search

转载 深度学习之LSTM