一休哥的专栏

原创 optim.lr_scheduler.StepLR学习

2.定义优化器： 创建一个优化器（如 SGD 或 Adam）并将模型的参数传递给它，近年来Adam使用较多。在训练循环中使用： 在每个训练迭代（或每个 epoch）结束时，调用学习率调度器的 step()方法。在 PyTorch 中，学习率调度器一般与优化器一起使用，实现在训练过程中动态调整学习率。3.定义学习率调度器StepLR： 创建一个学习率调度器，并将其与优化器关联。是 PyTorch 中的一个学习率调整器，按照一定的步长调整学习率。1.构建模型： 构建神经网络模型。

原创 torch.nn.Embedding学习

padding_idx (python:int, optional) – 填充id，比如，输入长度为100，但是每次的句子长度并不一样，后面就需要用统一的数字填充，而这里就是指定这个数字，这样，网络在遇到填充id时，就不会计算其与其它符号的相关性。3.产出计算结果，送入网络的维度是[seq_len， batch_size]，产出结果维度是[seq_len， batch_size,embedding_size]，最后一个维度为词向量。1.随机初始化词向量层，构建二维表，存储语料中每个词的词向量；

原创 SpanBert学习

根据集合分布，随机选择一段span的长度，之后根据均匀分布随机选择这一段的起始位置，然后按照长度进行遮盖。使用几何分布取p=0.2，最大长度为10，通过采样，平均遮盖长度为3.8个词的长度。2.SBO span boundary objective ，希望被遮盖span边界的词向量，能学习到span的内容。再训练时，取span前后边界的两个词，用这两个词向量加上span中被遮盖词的位置向量，预测原词。最后预测span中原值时计算新损失，即SBO目标的损失。将词向量和位置向量拼接起来，加两层全连接。

原创 GELU激活函数

假设输入为X, mask为m，则m服从一个伯努利分布(Φ ( x ) \Phi(x)Φ(x), Φ ( x ) = P ( X < = x ) , X 服 从 标 准 正 太 分 布 \Phi(x)=P(X

原创 常用的np操作

给定一组 (xi, yi)，其中 i = 1, 2, ..., n，而且 xi 是有序的，称为「标准点」。两个函数名称都是以 spl 开头，全称 spline (样条)，可以理解这两个函数都和样条有关。1）输入：x为特征，y为目标变量. 2）输出：r： 相关系数 [-1，1]之间，p-value: p值。注： p值越小，表示相关系数越显著，一般p值在500个样本以上时有较高的可靠性。rep：representation 的缩写，那么 splrep 其实生成的是一个「表示样条的对象」「风险平价」模型权重。

原创 Relu激活函数

激活函数，relu的整体效果较好

原创 机器学习实战-k近邻分类

k-近邻算法（KNN），工作原理

原创 机器学习实战-决策树

决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。

原创 时间序列预测负荷、客流量等

时间序列可以进行电力负荷预测、客流量预测等。时间序列使用双向网络的效果优于单项网络，LSTM、GRU网络等可以根据自己的数据进行测试，选择符合自己场景的网络模型。

原创 GPlink进行关系抽取流程梳理

1）读取输入的文本内容，对其进行tokenizer计算，产出计算特征；2）对语料进行shuffle3）计算label4）计算schema5）定义网络定义GlobalPointer，创建实体网络、关系头网络、关系尾网络；6）稀疏交叉熵计算损失值使用BertAdam进行优化。

原创 推荐系统-概述

推荐系统、系统过滤，旨在为用户提供个性化的信息服务和内容推荐，以满足用户的特定需求和喜好。

原创 大模型综述

模型是指人工智能预训练大模型，具有海量参数和复杂架构，用于深度学习任务的模型，拥有强大的处理能力和表征能力，以数据+算力为支撑，借助数据管理、模型训练、评估优化、服务平台、插件等辅助工具，开发基础大模型或行业大模型，再延伸至工业、金融、医疗、交通等下游场景应用。

原创 推荐系统学习总结

2.1用户行为数据 用户行为数据在网站上最简单的存在形式就是日志。网站运行中产生原始日志，并存在文件系统。1.用户行为在个性化推荐中分为两种：显示反馈和隐形反馈（浏览）。各网站例子：（1）视频网站：显性：用户对视频评分；隐性：用户观看视频日志/浏览视频页面的日志（2）电子商务网站：显性：用户对商品评分；隐形：购买日志，浏览日志

原创 JAVA json转xml

首先要去官方下载json-lib工具包https://mvnrepository.com/artifact/net.sf.json-lib/json-lib/2.4目前最新的是2.4的版本，json-lib还需要以下依赖包：通过mvn库可以直接去下载。jakartacommons-lang 2.5jakartacommons-beanutils 1.8.0jakartaco

原创 python yield含义

python下的yield含义

原创 java 写excel文件

java将抽取的结构化数据存入excel中

原创 Java Maven项目打jar包方法

java maven项目打jar包

原创 英文词性标注PTB标准

词性 名称 英文解释 中文解释 例子及注解 CC 并列连词 Coordinating conjunction 并列连接词 and,but CD 基数词 Cardinal number 基数 one,4000 DT 限定词 Determiner 限定词 the, a EX 副词 Existential"there" 存在型there there FW 外来词 .

转载 自然语言表示简史(BERT/ELMO/Word2vec/LDA/Bow/Ohehot，词向量、句向量、优缺点、应用与解决的问题)

本文链接：https://blog.csdn.net/rensihui/article/details/103284986收起一、自然语言表征与计算机表示自然语言是指一种人类社会中自然地随文化演化的语言，聪明的人类经过万年的积累，并通过后天良久的学习才能理解语言的魅力和含义，机械的计算机当然不能如此容易地表达出来。要了解自然语言的计算机表示，我们首先从发展、工业落地更加成熟的图像领域说起，图像使用非负数的矩阵表示像素点，是低层次的，连续的数据和特征。图像的任务，如分类...

原创 图片集合

原创 基于cnn和rnn的文本分类实践

本文主要介绍在文本分类中，使用CNN网络和RNN网络的实践，其中CNN又分为maxPool和k-maxpool。可以直接在juputer执行。代码已经上传githubhttps://github.com/yixiu00001/text-classify-cnn-rnn/blob/master/README.md1.CNN+maxPooltext-classification-cnn-maxpool...

原创 斯坦福 stanford coreNLP 中的PCFG parser-lexparser

PCFG模型训练Java -Xmx7g edu.stanford.nlp.parser.lexparser.LexicalizedParser -tLPP edu.stanford.nlp.parser.lexparser.ChineseTreebankParserParams -train data/source/dataCTBZh//bracketed -saveToSerializ...

原创 斯坦福大学Stanford coreNLP 宾州树库依存句法标注体系

斯坦福大学Stanford coreNLP 依存句法标注体系

原创 斯坦福stanford coreNLP 宾州树库汉语短语类别表23个

短语分类

原创 斯坦福Stanford coreNLP宾州树库的词性标注规范

宾州树库的词性标注规范

原创 stanford coreNLP CRFClassifier 模型加载和序列化

源代码位置：ie.crf.CRFClassifier模型加载loadClassifier(String loadPath, Properties props)/** * Loads a classifier from the file, classpath resource, or URL specified by loadPath. If loadPath ends in * .gz, us

原创 stanford CoreNLP 命名实体识别NER学习笔记

简介 识别文本的命名实体，如人名和机构名称等。每种语言识别出的实体是相互独立的，英文的识别集合比其他语言更为丰富。再NERClassifierCombiner中，会执行多个命名实体识别，然后将结果组合起来。识别类别       在英文中，命名实体识别能识别的名字包括：人名、地名、机构名、MISC；数字：钱、数字、序号、百分比；时间：日期，时间、持续序列、集合等实体。命名实体的识别使用组

原创 JAVA json转xml

https://mvnrepository.com/artifact/net.sf.json-lib/json-lib/2.4 目前最新的是2.4的版本，json-lib还需要以下依赖包： 通过mvn库可以直接去下载。 jakartacommons-lang 2.5 jakartacommons-beanutils 1.8.0 jakartacom

原创 推荐系统学习总结

推荐系统，用户行为数据，特征构建

原创 spark pipeline原理学习和记录

概念MLlib提供标准的机器学习算法API，能够方便的将不同的算法组合成一个独立的管道，或者叫工作流。 • DataFrame:ML API使用Sark SQL中的DataFrme作为机器学习数据集,可容纳各种类型的数据，如DataFrame可能是存储文本的不同列,特征向量,真正的标签或者预测。 　　 　　 • 转换器:Transformer是一种算法,可以将一个DataFrame转换成

转载 知识图谱研究进展

本文首先简要回顾知识图谱的历史，探讨知识图谱研究的意义。其次，介绍知识图谱构建的关键技术，包括实体关系识别技术、知识融合技术、实体链接技术和知识推理技术等。然后，给出现有开放的知识图谱数据集的介绍。最后，给出知识图谱在情报分析中的应用案例。— 漆桂林、高桓、吴天星 东南大学计算机科学与工程学院本文节选自《情报工程》2017 年第 1 期，知识图谱专题稿件。1 知识图谱构建技术本节首先给出知识图谱的

原创 Introducing the Knowledge Graph: things, not strings【阅读翻译】

ntroducing the Knowledge Graph: things, not strings【阅读翻译】

原创 网页数据构建知识图谱-数据和方法

1.网页数据解析 （1）可以参看webkit内核，构建一个网页解析工具，解析dom树/视觉树/分块树，根据需求解析目标数据； （2）构建xpath类规则，提取指定目标数据； （3）解析microdata数据，可以参考pps/babytree，里面的itemscope/itemprop系列标签2.数据来源 （1）百度百科/维基百科等知识词条类 （2）豆瓣类垂直站点 （3）其它类别的站点3.

原创 Cloudera数据科学平台Cloudera Data Science Workbench: Self-Service Data Science for the Enterprise

Cloudera Data Science Workbench: Self-Service Data Science for the Enterprise Cloudera数据科学工作台：企业自助数据科学开发环境March 14, 2017 R Python SCALA 使用

原创 SeetaFace中科院开源人脸项目Ubuntu下编译

SeetaFace 人脸引擎 ubuntu 14.04 编译执行

原创 python处理windows文本报错：UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4

python处理windows文本报错：UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4

原创 Win10下_findnext()调试时中断

系统重装升级到win10之后，在win7下面可以运行的文件夹遍历代码会中断。 ***** VIDEOINPUT LIBRARY - 0.1995 - TFW07 *****0x00007FFEC8614ECD (ntdll.dll) (demo.exe 中)处的第一机会异常: 0xC0000005: 写入位置 0x00000000036E0590 时发生访问冲突。0x00007FFEC8614

原创 R-CNN+SPP-NET+Fast-R-CNN+Faster-R-CNN+YOLO+SSD阅读笔记

RCNN系列+spp-net+yolo+ssd阅读笔记

原创 DeepID2+人脸识别算法学习

DeepID2+在DeepID2的基础上，继续对网络结构做了修改，同时增加了对卷积圣经网络的分析，发现了几个特征：（1）适度稀疏，及时将神经元二值化之后，认证效果依然很好；（2）选择性，高层神经元对认证对象具有高度敏感性，对于同一个人很多神经元会持续保持激活或者抑制状态；（3）和鲁棒性，对于水平遮挡或者随机块遮挡，具有较高的鲁棒性，及时只剩额头和头发，仍然可以达到88.2%的准确率。

原创 DeepID2人脸识别算法学习

DeepID2 验证信号 认证信号