weixin_38776853-CSDN博客

原创学习笔记CB014:TensorFlow seq2seq模型步步进阶

神经网络。《Make Your Own Neural Network》，用非常通俗易懂描述讲解人工神经网络原理用代码实现，试验效果非常好。循环神经网络和LSTM。Christopher Olah http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 。seq2seq模型基于循环神经网络序列到序列模型，语言翻译、自动问答等序列到序...

2018-05-05 23:12:44 373

原创学习笔记CB013: TensorFlow、TensorBoard、seq2seq

tensorflow基于图结构深度学习框架，内部通过session实现图和计算内核交互。tensorflow基本数学运算用法。import tensorflow as tfsess = tf.Session()a = tf.placeholder("float")b = tf.placeholder("float")c = tf.constant(6.0)d = tf.mul(a...

2018-05-05 13:00:45 379

原创学习笔记CB012: LSTM 简单实现、完整实现、torch、小说训练word2vec lstm机器人

真正掌握一种算法，最实际的方法，完全手写出来。LSTM（Long Short Tem Memory）特殊递归神经网络，神经元保存历史记忆，解决自然语言处理统计方法只能考虑最近n个词语而忽略更久前词语的问题。用途：word representation（embedding）(词语向量)、sequence to sequence learning（输入句子预测句子）、机器翻译、语音识别等。10...

2018-05-01 14:12:59 1262

原创学习笔记CB011:lucene搜索引擎库、IKAnalyzer中文切词工具、检索服务、查询索引、导流、word2vec

影视剧字幕聊天语料库特点，把影视剧说话内容一句一句以回车换行罗列三千多万条中国话，相邻第二句很可能是第一句最好回答。一个问句有很多种回答，可以根据相关程度以及历史聊天记录所有回答排序，找到最优，是一个搜索排序过程。 lucene+ik。lucene开源免费搜索引擎库，java语言开发。ik IKAnalyzer，开源中文切词工具。语料库切词建索引，文本搜索做文本相关性检索，把下一句取出作答案候...

2018-04-21 09:18:41 399

原创学习笔记CB009:人工神经网络模型、手写数字识别、多层卷积网络、word2vec

人工神经网络，借鉴生物神经网络工作原理数学模型。由n个输入特征得出与输入特征几乎相同的n个结果，训练隐藏层得到意想不到信息。信息检索领域，模型训练合理排序模型，输入特征，文档质量、文档点击历史、文档前链数目、文档锚文本信息，为找特征隐藏信息，隐藏层神经元数目设置少于输入特征数目，经大量样本训练能还原原始特征模型，相当用少于输入特征数目信息还原全部特征，压缩，可发现某些特征之间存在隐含相关性，或...

2018-03-13 09:02:22 541

原创学习笔记CB008:词义消歧、有监督、无监督、语义角色标注、信息检索、TF-IDF

词义消歧，句子、篇章语义理解基础，必须解决。语言都有大量多种含义词汇。词义消歧，可通过机器学习方法解决。词义消歧有监督机器学习分类算法，判断词义所属分类。词义消歧无监督机器学习聚类算法，把词义聚成多类，每一类一种含义。有监督词义消歧方法。基于互信息词义消歧方法，两种语言对照，基于大量中英文对照语料库训练模型可词义消歧。来源信息论，一个随机变量中包含另一个随机变量信息量(英文信息中包含中文信息信...

2018-03-12 00:46:19 1752

原创学习笔记CB007:分词、命名实体识别、词性标注、句法分析树

中文分词把文本切分成词语，还可以反过来，把该拼一起的词再拼到一起，找到命名实体。概率图模型条件随机场适用观测值条件下决定随机变量有有限个取值情况。给定观察序列X，某个特定标记序列Y概率，指数函数 exp(∑λt+∑μs)。符合最大熵原理。基于条件随机场命名实体识别方法属于有监督学习方法，利用已标注大规模语料库训练。命名实体的放射性。命名实体的前后词。特征模板，当前位置前后n个位置字/词...

2018-03-11 14:46:44 734

原创学习笔记CB006:依存句法、LTP、N-最短路径分词法、由字构词分词法

依存句法分析，法国语言学家L.Tesniere1959年提出。句法，句子规则，句子成分组织规则。依存句法，成分间依赖关系。依赖，没有A，B存在错误。语义，句子含义。依存句法强调介词、助词划分作用，语义依存注重实词间逻辑关系。依存句法随字面词语变化不同，语义依存不同字面词语可同一意思，句法结构不同句子语义关系可相同。依存句法分析和语义分析结合，计算机理解句子含义，匹配到最合适回答，通过置信度匹配...

2018-03-09 21:50:45 1126

原创学习笔记CB005:关键词、语料提取

关键词提取。pynlpir库实现关键词提取。# coding:utf-8import sysimport importlibimportlib.reload(sys)import pynlpirpynlpir.open()s = '怎么才能把电脑里的垃圾文件删除'key_words = pynlpir.get_key_words(s, weighted=True)for...

2018-03-06 10:01:33 252

原创学习笔记CB004:提问、检索、回答、NLPIR

聊天机器人，提问、检索、回答。提问，查询关键词生成、答案类型确定、句法和语义分析。查询关键词生成，提问提取关键词，中心词关联扩展词。答案类型确定，确定提问类型。句法和语义分析，问题深层含义剖析。检索，搜索，根据查询关键词信息检索，返回句子或段落。答案抽取，分析和推理检索句子或段落，抽取提问一致实体，根据概率最大对候选答案排序。海量文本知识表示，网络文本资源获取、机器学习方法、大规模语义计算...

2018-02-24 13:44:24 226

原创学习笔记CB003:分块、标记、关系抽取、文法特征结构

分块，根据句子的词和词性，按照规则组织合分块，分块代表实体。常见实体，组织、人员、地点、日期、时间。名词短语分块(NP-chunking)，通过词性标记、规则识别，通过机器学习方法识别。介词短语(PP)、动词短语(VP)、句子(S)。分块标记，IOB标记，I(inside，内部)、O(outside，外部)、B(begin，开始)。树结构存储分块。多级分块，多重分块方法。级联分块。关系抽取...

2018-02-14 14:18:45 328

原创学习笔记CB002:词干提取、词性标注、中文切词、文档分类

英文词干提取器，import nltk，porter = nltk.PorterStemmer()，porter.stem(‘lying’) 。词性标注器，pos_tag处理词序列，根据句子动态判断，import nltk，text = nltk.word_tokenize(“And now for something completely different”)，nltk.pos_tag(t...

2018-02-13 13:21:34 324

原创学习笔记CB001:NLTK库、语料库、词概率、双连词、词典

聊天机器人知识主要是自然语言处理。包括语言分析和理解、语言生成、机器学习、人机对话、信息检索、信息传输与信息存储、文本分类、自动文摘、数学方法、语言资源、系统评测。NLTK库安装，pip install nltk 。执行python。下载书籍，import nltk，nltk.download()，选择book，点Download。下载完，加载书籍，from nltk.book import ...

2018-02-12 06:39:58 898

原创从零开始在iPhone上运行视频流实时预测模型应用，只需10步

1､买一台苹果电脑，建议MacBook Pro。2､安装Xcode。3､克隆TensorFlow:https://github.com/tensorflow/tensorflow.git4､下载TensorFlow核心静态库，运行:tensorflow/contrib/makefiles/download_depencies.sh 。5､编译生成iOS工程静态库，运行:tensorflow/cont

2017-11-30 09:06:24 371

原创学习笔记DL008:概率论，随机变量，概率分布，边缘概率，条件概率，期望、方差、协方差

概率和信息论。概率论，表示不确定性声明数学框架。提供量化不确定性方法，提供导出新不确定性声明(statement)公理。人工智能领域，概率法则，AI系统推理，设计算法计算概率论导出表达式。概率和统计理论分析AI系统行为。概率论提出不确定声明，在不确定性存在情况下推理。信息论量化概率分布不确定性总量。Jaynes(2003)。机器学习经常处理不确定量，有时处理随机(非确定性)量。20世纪80年代，

2017-11-25 13:41:48 1234

原创学习笔记DL007:Moore-Penrose伪逆，迹运算，行列式，主成分分析PCA

Moore-Penrose伪逆(pseudoinverse)。非方矩阵，逆矩阵没有定义。矩阵A的左逆B求解线性方程Ax=y。两边左乘左逆B，x=By。可能无法设计唯一映射将A映射到B。矩阵A行数大于列数，方程无解。矩阵A行数小于列数，矩阵有多个解。矩阵A的伪逆A + =lim a->0 (A T A+aI) -1 A T。计算伪逆公式，A + =VD + U T。矩阵U、D、V是矩阵A奇异值分解得到

2017-11-23 03:48:12 873

原创学习笔记DL005:线性相关、生成子空间，范数，特殊类型矩阵、向量

线性相关、生成子空间。逆矩阵A⁽-1⁾存在，Ax=b 每个向量b恰好存在一个解。方程组，向量b某些值，可能不存在解，或者存在无限多个解。x、y是方程组的解，z=αx+(1-α)，α取任意实数。A列向量看作从原点(origin，元素都是零的向量)出发的不同方向，确定有多少种方法到达向量b。向量x每个元素表示沿着方向走多远。xi表示沿第i个向量方向走多远。Ax=sumixiA:,i。线性组合(linea

2017-11-21 07:42:04 649

原创学习笔记DL004:标量、向量、矩阵、张量，矩阵、向量相乘，单位矩阵、逆矩阵

线性代数，面向连续数学，非离散数学。《The Matrix Cookbook》，Petersen and Pedersen，2006。Shilov(1977)。标量、向量、矩阵、张量。标量(scalar)。一个标量，一个单独的数。其他大部分对象是多个数的数组。斜体表示标量。小写变量名称。明确标量数类型。实数标量，令s∊ℝ表示一条线斜率。自然数标量，令n∊ℕ表示元素数目。向量(vector)。一个向量

2017-11-20 07:24:01 572

原创学习笔记DL003:神经网络第二、三次浪潮，数据量、模型规模，精度、复杂度，对现实世界冲击

神经科学，依靠单一深度学习算法解决不同任务。视觉信号传送到听觉区域，大脑听学习处理区域学会“看”(Von Melchner et al., 2000)。计算单元互相作用变智能。新认知机(Fukushima,1980)，哺乳动物视觉系统结构，处理图片强大模型架构，现代卷积网络基础(LeCun et al., 1998c)。神经网络基于整流线性单元(rectified linear unit)神经单元模

2017-11-19 03:37:01 681

原创学习笔记DL002:AI、机器学习、表示学习、深度学习，第一次大衰退

AI早期成就，相对朴素形式化环境，不要求世界知识。如IBM深蓝(Deep Blue)国际象棋系统，1997，击败世界冠军Garry Kasparov(Hsu,2002)。国际象棋，简单领域，64个位置，严格限制方式移动32个棋子。可由简短、完全形式化规则列表描述，容易事先准备。抽象、形式化，是人类最困难脑力任务，但计算机最容易。早期打败人类最好象棋选手，最近识别对象、语音任务达到人类平均水平。日常生

2017-11-18 02:45:06 327

原创文章标题

古希腊时期，神话人物皮格马利翁(Pygmalion)、代达罗斯(Daedalus)和赫淮斯托斯(Hephaestus)传说发明家。加拉蒂亚(Galatea)、塔洛斯(Talos)和潘多拉(Pandora)人生生命(Ovid and Martin,2004;Sparkes,1996;Tandy,1997)。人类第一次构思可编程计算机，思考变智能(离造出第一计算机一百年)(Lovelace,1842)。

2017-11-17 07:53:32 166

原创学习笔记TF067:TensorFlow Serving、Flod、计算加速，机器学习评测体系，公开数据集

TensorFlow Serving https://tensorflow.github.io/serving/ 。生产环境灵活、高性能机器学习模型服务系统。适合基于实际数据大规模运行，产生多个模型训练过程。可用于开发环境、生产环境。模型生命周期管理。模型先数据训练，逐步产生初步模型，优化模型。模型多重算法试验，生成模型管理。客户端(Client)向TensorFlow Severing请求模型，T

2017-11-14 23:53:21 436

原创学习笔记TF066:TensorFlow移动端应用，iOS、Android系统实践

TensorFlow对Android、iOS、树莓派都提供移动端支持。移动端应用原理。移动端、嵌入式设备应用深度学习方式，一模型运行在云端服务器，向服务器发送请求，接收服务器响应；二在本地运行模型，PC训练模型，放到移动端预测。向服务端请求数据可行性差，移动端资源稀缺。本地运行实时性更好。加速计算，内存空间和速度优化。精简模型，节省内存空间，加快计算速度。加快框架执行速度，优化模型复杂度和每步计算速

2017-11-14 09:35:28 930

原创学习笔记TF065:TensorFlowOnSpark

Hadoop生态大数据系统分为Yam、 HDFS、MapReduce计算框架。TensorFlow分布式相当于MapReduce计算框架，Kubernetes相当于Yam调度系统。TensorFlowOnSpark，利用远程直接内存访问(Remote Direct Memory Access,RDMA)解决存储功能和调度，实现深度学习和大数据融合。TensorFlowOnSpark(TFoS)，雅虎

2017-11-13 08:58:02 349

原创学习笔记TF064:TensorFlow Kubernetes

AlphaGo，每个实验1000个节点，每个节点4个GPU，4000 GPU。Siri，每个实验2个节点，8个GPU。AI研究，依赖海量数据计算，离性能计算资源。更大集群运行模型，把周级训练时间缩短到天级小时级。Kubernetes，应用最广泛容器集群管理工具，分布式TensorFlow监控、调度生命周期管理。容器集群自动化部署、扩容、运维开源平台，提供任务调度、监控、失败重启。TensorFlow

2017-11-12 13:39:44 817

原创学习笔记TF063:TensorFlow Debugger

TensorFlow Debugger(tfdbg)，TensorFlow专用调试器。用断点、计算机图形化展现实时数据流，可视化运行TensorFlow图形内部结构、状态。有助训练推理调试模型错误。https://www.tensorflow.org/programmers_guide/debugger 。常见错误类型，非数字(nan)、无限值(inf)。tfdbg命令行界面(command lin

2017-11-11 11:05:30 550

原创学习笔记TF062:TensorFlow线性代数编译框架XLA

XLA(Accelerated Linear Algebra)，线性代数领域专用编译器(demain-specific compiler)，优化TensorFlow计算。即时(just-in-time,JIT)编译或提前(ahead-of-time,AOT)编译实现XLA，有助于硬件加速。XLA还在试验阶段。https://www.tensorflow.org/versions/master/exp

2017-11-11 00:41:45 936

原创学习笔记TF061:分布式TensorFlow，分布式原理、最佳实践

分布式TensorFlow由高性能gRPC库底层技术支持。Martin Abadi、Ashish Agarwal、Paul Barham论文《TensorFlow:Large-Scale Machine Learning on Heterogeneous Distributed Systems》。分布式原理。分布式集群由多个服务器进程、客户端进程组成。部署方式，单机多卡、分布式(多机多卡)。多机多

2017-11-10 13:01:22 905

原创学习笔记TF060:图像语音结合，看图说话

斯坦福大学人工智能实验室李飞飞教授，实现人工智能3要素：语法(syntax)、语义(semantics)、推理(inference)。语言、视觉。通过语法(语言语法解析、视觉三维结构解析)和语义(语言语义、视觉特体动作含义)作模型输入训练数据，实现推理能力，训练学习能力应用到工作，从新数据推断结论。《The Syntax,Semantics and Inference Mechanism in Na

2017-11-06 21:58:03 1174

原创学习笔记TF059:自然语言处理、智能聊天机器人

自然语言处理，语音处理、文本处理。语音识别(speech recognition)，让计算机能够“听懂”人类语音，语音的文字信息“提取”。日本富国生命保险公司花170万美元安装人工智能系统，客户语言转换文本，分析词正面或负面。智能客服是人工能智能公司研究重点。循环神经网络(recurrent neural network,RNN)模型。模型选择。每一个矩形是一个向量，箭头表示函数。最下面一行输入向量

2017-11-06 00:11:07 491

原创学习笔记TF058:人脸识别

人脸识别，基于人脸部特征信息识别身份的生物识别技术。摄像机、摄像头采集人脸图像或视频流，自动检测、跟踪图像中人脸，做脸部相关技术处理，人脸检测、人脸关键点检测、人脸验证等。《麻省理工科技评论》(MIT Technology Review)，2017年全球十大突破性技术榜单，支付宝“刷脸支付”(Paying with Your Face)入围。人脸识别优势，非强制性(采集方式不容易被察觉，被识别人脸图

2017-11-05 11:09:51 2089 2

原创学习笔记TF057:TensorFlow MNIST，卷积神经网络、循环神经网络、无监督学习

MNIST 卷积神经网络。https://github.com/nlintz/TensorFlow-Tutorials/blob/master/05_convolutional_net.py 。 TensorFlow搭建卷积神经网络(CNN)模型，训练MNIST数据集。构建模型。定义输入数据，预处理数据。读取数据MNIST，得到训练集图片、标记矩阵，测试集图片标记矩阵。trX、trY、teX、te

2017-11-04 03:37:20 1677

原创学习笔记TF056:TensorFlow MNIST，数据集、分类、可视化

MNIST(Mixed National Institute of Standards and Technology)http://yann.lecun.com/exdb/mnist/ ，入门级计算机视觉数据集，美国中学生手写数字。训练集6万张图片，测试集1万张图片。数字经过预处理、格式化，大小调整并居中，图片尺寸固定28x28。数据集小，训练速度快，收敛效果好。MNIST数据集，NIST数据集子集

2017-11-03 21:20:31 419

原创学习笔记TF055:TensorFlow神经网络简单实现一元二次函数

TensorFlow运行方式。加载数据、定义超参数，构建网络，训练模型，评估模型、预测。构造一个满足一元二次函数y=ax^2+b原始数据，构建最简单神经网络，包含输入层、隐藏层、输出层。TensorFlow学习隐藏层、输出层weights、biases。观察训练次数增加，损失值变化。生成、加载数据。方程y=x^2-0.5。构造满足方程的x、y。加入不满足方程噪声点。import tensor flo

2017-11-03 10:49:57 544

原创学习笔记TF054:TFLearn、Keras

元框架(metaframework)。TFLearn。模块化深度学习框架，更高级API，快速实验，完全透明兼容。TFLearn实现AlexNet。 https://github.com/tflearn/tflearn/blob/master/examples/images/alexnet.py 牛津大学鲜花数据集(Flower Dataset)。http://www.robots.ox.ac.u

2017-11-01 21:45:32 531

原创学习笔记TF053:循环神经网络，TensorFlow Model Zoo，强化学习，深度森林，深度学习艺术

循环神经网络。https://github.com/aymericdamien/TensorFlow-Examples/blob/master/examples/3_NeuralNetworks/recurrent_network.py。自然语言处理(natural language processing, NLP)应用网络模型。与前馈神经网络(feed-forward neural network

2017-11-01 08:54:42 404

原创学习笔记TF052:卷积网络，神经网络发展，AlexNet的TensorFlow实现

卷积神经网络(convolutional neural network,CNN)，权值共享(weight sharing)网络结构降低模型复杂度，减少权值数量，是语音分析、图像识别热点。无须人工特征提取、数据重建，直接把图片作输入，自动提取特征，对平移、比例缩放、倾斜等图片变形具有高度不变形。卷积(convolution)，泛函数分析积分变换数学方法，两个函数f和g生成第三个函数数学算子，表征函灵敏

2017-10-31 08:56:44 404

原创学习笔记GAN004:DCGAN main.py

Scipy 高端科学计算:http://blog.chinaunix.net/uid-21633169-id-4437868.htmlimport os #引用操作系统函数文件import scipy.misc #引用scipy包misc模块图像形式存取数组import numpy as np #引用numpy包矩阵计算from model import DCGAN #引用model文件D

2017-09-14 07:22:01 1093

原创学习笔记GAN003:GAN、DCGAN、CGAN、InfoGAN

GAN应用集中在图像生成，NLP、Robt Learning也有拓展。类似于NLP中的Actor-Critic。 https://arxiv.org/pdf/1610.01945.pdf 。Generative Adversarial Nets。构建两个网络，一个G生成网络，一个D区分网络。训练，G网络loss log(1-D(G(z)))，D网络loss -(log(D(x))+log(1-D(

2017-09-09 14:03:37 6157

原创学习笔记GAN002:DCGAN

Ian J. Goodfellow 论文：https://arxiv.org/abs/1406.2661两个网络：G(Generator)，生成网络，接收随机噪声Z，通过噪声生成样本，G(z)。D(Dicriminator)，判别网络，判别样本是否真实，输入样本x，输出D(x)代表x真实概率，如果1,100%真实样本，如果0,代表不可能是真实样本。训练过程，生成网络G尽量生成真实样本欺骗判别网络D，

2017-09-04 22:37:11 2432

空空如也

空空如也