沐埜专栏

原创 0006 - Z字形变换2022-04-20

将一个给定字符串s根据给定的行数numRows，以从上往下、从左到右进行Z 字形排列。比如输入字符串为"PAYPALISHIRING"行数为3时，排列如下：P A H NA P L S I I GY I R之后，你的输出需要从左往右逐行读取，产生出一个新的字符串，比如："PAHNAPLSIIGYIR"。请你实现这个将字符串进行指定行数变换的函数：string convert(string s, int numRows);示例 1：...

原创 0005-最长回文子串2022年04月12日

给你一个字符串 s，找到 s 中最长的回文子串。示例 1：输入：s = "babad"输出："bab"解释："aba" 同样是符合题意的答案。示例 2：输入：s = "cbbd"输出："bb"提示：1 <= s.length <= 1000 s仅由数字和英文字母组成/* * @lc app=leetcode.cn id=5 lang=java * * [5] 最长回文子串 * * https://leetcode-cn.com/proble.

原创 2021年05月09日刷题

2021年05月09日刷题罗马数字转整数描述代码如下：罗马数字转整数难度：easy描述罗马数字包含以下七种字符: I， V， X， L，C，D 和 M。字符 数值I 1V 5X 10L 50C 100D 500M 1000例如， 罗马数字 2 写做 II ，即为两个并列的 1。12 写做 XII

原创 2021年05月06日刷题

2021年05月06日刷题回文数方法一：翻转一半数字思路回文数给你一个整数 x ，如果 x 是一个回文整数，返回 true ；否则，返回 false 。回文数是指正序（从左向右）和倒序（从右向左）读都是一样的整数。例如，121 是回文，而 123 不是。示例 1：输入：x = 121输出：true示例 2：输入：x = -121输出：false解释：从左向右读, 为 -121 。 从右向左读, 为 121- 。因此它不是一个回文数。示例 3：输入：x = 10输出：false

原创 2021年05月04日刷题

2021年05月04日刷题整数翻转描述思路整数翻转难度：easy描述给你一个 32 位的有符号整数 x ，返回将 x 中的数字部分反转后的结果。如果反转后整数超过 32 位的有符号整数的范围 [−231，231−1][−2^{31}，2^{31} − 1][−231，231−1]，就返回 0。假设环境不允许存储 64 位整数（有符号或无符号）。示例 1：输入：x = 123输出：321示例 2：输入：x = -123输出：-321示例 3：输入：x = 120输出：21

原创 动手学习深度学习|批量归一化和残差网络

一 批量归一化和残差网络对输入的标准化（浅层模型）处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近批量归一化（深度模型）利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。1.对全连接层做批量归一化位置：全连接层中的仿射变换和激活函数之间。2.对卷积层做批量归⼀化位置：卷积计算...

原创 动手学习深度学习|卷积神经网络

一 卷积神经网络基础二维卷积层，常用于处理图像数据。1 二维互相关运算二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核的尺寸通常小于输入数组，卷积核在输入数组上滑动，在每个位置上，卷积核与该位置处的输入子数组按元素相乘并求和，得到输出数组中相应位置...

原创 动手学习深度学习|机器翻译\注意力机制

机器翻译及相关技术机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。分词： 字符串---单词组成的列表建立词典： 单词组成的列表---单词id组成的列表Encoder-Decoder: 可以应用在对话系统、生成式任务中。enc...

原创 动手学习深度学习|过拟合、欠拟合及其解决方案

一 过拟合与欠拟合及其解决方案过拟合、欠拟合的概念 权重衰减 丢弃法1 训练误差与泛化误差训练误差：在训练集上的数据误差；泛化误差：在其他任意数据集上的误差的期望，常用测试集误差来近似模型选择：通常用验证集来进行模型选择K折交叉验证：将数据集分成相等的K个子数据集来进行K次训练和验证，每次将其中1个当作验证集进行验证模型，另外K-1个数据集进行训练，最后K次后取训练误差的...

原创 动手学习深度学习 | python函数学习

(1):维度dim，保持原有维度keepdim下面通过图像的形式直观的展示了这两个参数的作用。X = torch.tensor([[1, 2, 3], [4, 5, 6]])print(X.sum(dim=0, keepdim=True)) # dim为0，按照相同的列求和，并在结果中保留列特征print(X.sum(dim=1, keepdim=True)) # dim为1，按照相同...

原创 nlp 特征提取 -task2

1. 基本文本处理技能1.1 分词的概念（分词的正向最大、逆向最大、双向最大匹配法）；百度百科定义：中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。维基百科定义：Word segmentation is the problem of dividing a string of...

转载 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding学习

一、什么是BERT模型？谷歌团队的Thang Luong直接定义：BERT模型开启了NLP的新时代BERT这个模型与ELMo和OpenAI的fine-tune transformer的不同的是，它在训练双向语言模型时以减小的概率把少量的词替成了Mask或者另一个随机的词。我个人感觉这个目的在于使模型被迫增加对上下文的记忆。BERT模型具有以下两个特点：第一，是这个模型非常的深，...

转载 ELMO代码学习

import tensorflow_hub as hubimport tensorflow as tfimport reimport numpy as npimport pickleimport pandas as pdfrom nltk import WordNeatLemmatizer,word_tokenizefrom nltk.corpus import stopwords...

转载 ELMo算法原理

ELMo算法原理0. 目录1. 前言2. ELMo模型介绍3. ELMo原理介绍3.1 ELMo的预训练3.2 使用语言模型4. 总结0. 目录1. 前言前言今天给学习一篇2018年提出的论文《Deep contextualized word representations》，在这篇论文中提出了一个很重要的思想ELMo。本人认为ELMo的提出对后面的的GPT和BRET有一个很好的引导和启...

转载 【NLP】Attention原理和源码解析

内容：1. 核心思想2. 原理解析（图解+公式）3. 模型分类4. 优缺点5. TF源码解析1. 核心思想Attention的思想理解起来比较容易，就是在decoding阶段对input中的信息赋予不同权重。在nlp中就是针对sequence的每个time step input，在cv中就是针对每个pixel。2. 原理解析针对Seq2seq翻译来说，rnn-based mod...

转载 attention机制（转载）

注意力模型最近几年在深度学习各个领域被广泛使用，无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中，都很容易遇到注意力模型的身影。所以，了解注意力机制的工作原理对于关注深度学习技术发展的技术人员来说有很大的必要。人类的视觉注意力从注意力模型的命名方式看，很明显其借鉴了人类的注意力机制，因此，我们首先简单介绍人类视觉的选择性注意力机制。图1 人类的视觉注意力视觉注意力机制是人类...

转载 NLP_task4文本表示_CBOW和Skip-gram模型

从one-hot到word2vecone-hot向量词向量的意思就是通过一个数字组成的向量来表示一个词，这个向量的构成可以有很多种。其中，比较简单的方式就是所谓的one-hot向量。假设在一个语料集合中，一种有n个不同的词，则可以使用一个长度为n的向量，对于第i个词（i=0…n−1) ，向量index=i处值为1外，向量其他位置的值都为0，这样就可以唯一地通过一个[0,0,1,…,0,0] ...

转载 循环神经网络

循环神经网络循环神经网络（Recurrent Neural Network，RNN）是一类具有短期记忆能力的神经网络。在循环神经网络中，神经元不但可以接受其它神经元的信息，也可以接受自身的信息，形成具有环路的网络结构。和前馈神经网络相比，循环神经网络更加符合生物神经网络的结构。循环神经网络已经被广泛应用在语音识别、语言模型以及自然语言生成等任务上。循环神经网络的参数学习可以通过随时间反向传播算法...

原创 卷积神经网络

卷积神经网络（CNN）卷积神经网络结构： 输入层，卷积层， 池化层(又称采样层)，全连接层，输出层卷积层负责提取特征，采样层负责特征选择卷积与池化卷积的主要作用：降维（ dimension reductionality ）加入非线性。提升网络的表达能力；跨通道信息交互（channel 的变换）卷积运算运用三个重要的思想来帮助改进机器学习系统 ：稀疏交互（sparse inter...

转载 总结-深度学习中的正则化方法（regularization）

深度学习面临的非常严重的一个问题就是过拟合（overfitting）。通过一些正则化的方法，可以消除过拟合，从而使我们的模型能够得到更好的效果。1. 什么是正则化这张图，我想接触过机器学习的朋友们应该都看了很多遍了吧。我们先从回归的角度来看待上图。假设坐标系内有一系列的点，我们希望通过一个函数来拟合出一条线，使得这条线能尽可能的贴近这些点，从而可以用这条线（也就是我们得到的模型）来表示坐标...

原创 NLP_task_激活函数

Activation functions神经网络隐藏层和输出层都需要激活函数（activation function），在之前的课程中我们都默认使用Sigmoid函数 σ(x) 作为激活函数。其实，还有其它激活函数可供使用，不同的激活函数有各自的优点。下面我们就来介绍几个不同的激活函数 g(x) 。sigmoid函数优点：（1）便于求导的平滑函数；（2）能压缩数据，保证数据幅度不会有...

转载 NLP_task_SVM模型

SVM支持向量机（英文全称：support vector machine）是一个分类算法， 通过找到一个分类平面， 将数据分隔在平面两侧， 从而达到分类的目的。SVM的推导分为5个步骤：用数学来定义要求解的问题SVM是求解一个平面S：y = wx + b， 其实就是求解参数w, b。如何来求解w, b呢？ 怎么判断训练的w, b构成的平面已经足够好呢？ 这就需要把问题建模成一个数学问题（...

原创 NLP_task朴素贝叶斯

朴素贝叶斯法朴素贝叶斯（naïve Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的方法。朴素贝叶斯法的学习与分类基本方法后验概率最大化的含义朴素贝叶斯...

转载 NLP_Task4 文本表示：从one-hot到word2vec

预备知识Huffman树神经概率语言模型**输入层的输入是单词的Onehot基于Negative Sampling背景语言模型在统计自然语言处理中，语言模型指的是计算一个句子的概率模型。传统的语言模型中词的表示是原始的、面向字符串的。两个语义相似的词的字符串可能完全不同，比如“番茄”和“西红柿”。这给所有NLP任务都带来...

原创 NLP_task3特征选择_点互信息和互信息(求词语关联性)

点互信息和互信息点互信息PMI机器学习相关文献里面，经常会用到点互信息PMI(Pointwise Mutual Information)这个指标来衡量两个事物之间的相关性（比如两个词）。其原理很简单，公式如下：在概率论中，我们知道，如果x跟y不相关，则p(x,y)=p(x)p(y)。二者相关性越大，则p(x, y)就相比于p(x)p(y)越大。用后面的式子可能更好理解，在y出现的情...

原创 NLP_task3特征选择_使用不同的方法计算TF-IDF值的结论

这篇文章主要介绍了计算TF-IDF的不同方法实现，主要有三种方法：用gensim库来计算tfidf值用sklearn库来计算tfidf值用python手动实现tfidf的计算1.使用gensim提取文本的tfidf特征首先来看我们的语料库corpus = [ 'this is the first document', 'this is the second seco...

原创 NLP_BoW（词袋）模型介绍

BoW模型Bag-of-words model (BoW model) 最早出现在自然语言处理（Natural Language Processing）和信息检索（Information Retrieval）领域.。该模型忽略掉文本的语法和语序等要素，将其仅仅看作是若干个词汇的集合，文档中每个单词的出现都是独立的。BoW使用一组无序的单词(words)来表达一段文字或一个文档.。近年来，BoW模...

原创 NLP task3特征选择_文本挖掘预处理之TF-IDF

文本挖掘预处理之TF-IDFcorpus=[“I come to China to travel”,“This is a car polupar in China”,"I love tea and Apple ",“The work is to write some papers in science”][u’and’, u’apple’, u’car’, u’china’, u’com...

原创 NLP task2 _ 自然语言处理中N-Gram模型的Smoothing算法

使用N-Gram模型时的数据平滑算法背景:为什么要做平滑处理?　　零概率问题，就是在计算实例的概率时，如果某个量x，在观察样本库（训练集）中没有出现过，会导致整个实例的概率结果是0。在文本分类的问题中，当一个词语没有在训练样本中出现，该词语调概率为0，使用连乘计算文本出现概率时也为0。这是不合理的，不能因为一个事件没有观察到就武断的认为该事件的概率是0。平滑技术平滑技术是为了解决训练集的数...

原创 NLP task2 N-Gram

N-Gram是一种基于统计语言模型的算法N-Gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为N的滑动窗口操作，形成了长度是N的字节片段序列。每一个字节片段称为gram，对所有gram的出现频度进行统计，并且按照事先设定好的阈值进行过滤，形成关键gram列表，也就是这个文本的向量特征空间，列表中的每一种gram就是一个特征向量维度。n元语法模型是基于(n-...

原创 NLP 学习 task2 - jieba、分词、去停用词、词频统计

函数功能主要为调用简单的jiaba分词（stripdata函数）并进行停用词去除（stripword函数）main函数为creat()，可修改为if name ==’main’: 进行调用。import jieba#分词def stripdata(Test): # jieba 默认启用了HMM（隐马尔科夫模型）进行中文分词 seg_list = jieba.cut(Tes...

原创 NLP 学习 task1_3. THUCNews数据集下载和探索

数据集这里采用了清华NLP组提供的THUCNews新闻文本分类数据集的一个子集（原始的数据集大约74万篇文档，训练起来需要花较长的时间）。数据集请自行到THUCTC：一个高效的中文文本分类工具包下载，请遵循数据提供方的开源协议。本次训练使用了其中的10个分类，每个分类6500条，总共65000条新闻数据。类别如下：体育, 财经, 房产, 家居, 教育, 科技, 时尚, 时政, 游戏, 娱乐...

原创 NLP 学习 task1_2

1.IMDB数据集下载和探索下载 IMDB 数据集TensorFlow 中包含 IMDB 数据集。我们已对该数据集进行了预处理，将影评（字词序列）转换为整数序列，其中每个整数表示字典中的一个特定字词。以下代码会将 IMDB 数据集下载到您的计算机上（如果您已下载该数据集，则会使用缓存副本）:imdb = keras.datasets.imdb(train_data, train_lab...

原创 向量的数量积和向量的向量积

转载 真正率、假正率、真负率

True Positive （真正, TP）被模型预测为正的正样本；True Negative（真负 , TN）被模型预测为负的负样本 ；False Positive （假正, FP）被模型预测为正的负样本；False Negative（假负 , FN）被模型预测为负的正样本；True Positive Rate（真正率 , TPR）或灵敏度（sensitivi

转载 F:\storm\day01-kafka\kafka-0.8.2.0-src

执行gradle时[plain] view plain copy[root@bigdata01 kafka-0.10.0.0-src]# gradleStarting a Gradle Daemon (subsequent builds will be faster)  Building project 'core' with Sca

转载 关于线程池的“惊群效应”

什么是惊群        举一个很简单的例子，当你往一群鸽子中间扔一块食物，虽然最终只有一个鸽子抢到食物，但所有鸽子都会被惊动来争夺，没有抢到食物的鸽子只好回去继续睡觉， 等待下一块食物到来。这样，每扔一块食物，都会惊动所有的鸽子，即为惊群。对于操作系统来说，多个进程/线程在等待同一资源是，也会产生类似的效果，其结 果就是每当资源可用，所有的进程/线程都来竞争资源，造成的后果：1）系统对用

转载 开启Hive的本地模式

先讲一个hive使用的一个小技巧。对于使用惯了oracle数据库的人来说，hive中没有dual啊，想验证一些函数的执行结果很是麻烦。比如我们在oracle数据库里面可以写select (1+2) from dual可以返回3。为了保证使用习惯，我们类似的在hive中也建一张dual表:create table dual(dummy string)然后往这张表中导入一个只有

原创 SQL中ON和WHERE的区别

SQL中ON和WHERE的区别数据库在通过连接两张或多张表来返回记录时，都会生成一张中间的临时表，然后再将这张临时表返回给用户。在使用left join时，on和where条件的区别如下：1、 on条件是在生成临时表时使用的条件，它不管on中的条件是否为真，都会返回左边表中的记录。2、where条件是在临时表生成好后，再对临时表进行过滤的条件。这时已经没有left join

转载 Hadoop：hadoop fs、hadoop dfs与hdfs dfs命令的区别

'Hadoop DFS'和'Hadoop FS'的区别While exploring HDFS, I came across these two syntaxes for querying HDFS:> hadoop dfs> hadoop fswhy we have two different syntaxes for a common purpose为什么会对同一个