Xidian185的专栏

原创 PageRank介绍与分布式实现

最近，研究了一下pagerank算法，收获颇丰，所以花一些时间整理一下相关知识。本文提到的代码都是可以执行的，如果有任何问题，欢迎留言交流。本文结构如下：pagerank算法介绍–算法背景和原理–算法局限性–算法改进分布式实现pagerank–计算转移矩阵–循环计算pagerank–规范化计算结果–关于代码的补充PageRank算法介绍算法背景和原理1、pa...

原创 .py打包成.so

将python文件打包成so文件，可以在python工程中引用。

原创 第一篇 交叉验证器

机器学习中的交叉验证

原创 Siamese Network简单复现

使用pytorch实现孪生模型

原创 导入apex出现ImportError: cannot import name ‘UnencryptedCookieSessionFactoryConfig’

问题描述：在conda环境导入apex时候，出现错误：ImportError: cannot import name ‘UnencryptedCookieSessionFactoryConfig’ from ‘pyramid.session’ (unknown location)，我们环境中的apex是使用pip install apex安装的。解决办法下载apex安装文件，手动安装！不再使用pypi管理的apex！1、git clone git://github.com/NVIDIA/apex2

原创 解决fatal: unable to access‘‘:GnuTLS recv error

问题描述使用git clone https://github.com/NVIDIA/apex 下载apex，结果出现：fatal: unable to access 'https://github.com/NVIDIA/apex/': GnuTLS recv error (-110): The TLS connection was non-properly terminated.解决方案将命令中https改成git，变成git clone git://github.com/NVIDIA/apex即可！

原创 PyTorch转换ONNX，再转换TensorRT，实现模型加速

测试环境介绍ubuntu20.04显卡：Tesla 3090Driver Version: 460.91.03CUDA Version: 11.2关键代码pytorch转换ONNX部分：device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model = BertForSequenceClassification.from_pretrained(out_dir) model.eval(

原创 基于脱敏数据，使用huggingface的Transformers预训练模型

背景：一些竞赛给的是脱敏数据，中文竞赛一般将汉字表示为一个整数，汉字间用空格分割，在这样的数据集上想要预训练一个自己的模型，可以参考这个文章。首先介绍本文参考的文章：1、别人做的该任务的总结2、官方tokenizer训练tokenizer注：这里我使用的是wordlevel的，和参考文档中wordpiece的不同，因为我认为脱敏得到的数字前缀没有意义。import pandas as pdfrom tokenizers import decoders, models, normalizers

原创 pyinstaller 打包程序出错 Failed to execute script pyi_rth_pkgres

Failed to execute script pyi_rth_pkgres 解决

原创 linux修改python版本后yum出错解决办法

解决：File "/usr/bin/yum", line 30 和 File "/usr/libexec/urlgrabber-ext-down", line 28

原创 Word2Vec构造词向量实战

使用gensim包的Word2Vec构造中文词向量，并且计算词的相似度。注：本文使用的语料是随便拷贝的几段中文语句，一段语料一行。1、处理中文语料，使用结巴分词，构造列表import jiebaimport codecsINPUT_RAW = r"F:\BaiduNetdiskDownload\kkb NLP\语料.txt"OUTPUT_FENCI = r"F:\BaiduNetdiskDownload\kkb NLP\语料-分词.txt"fin = codecs.open(INPUT_RA

原创 解决“Failed to get convolution algorithm“

Unknown: Failed to get convolution algorithm. This is probably because cuDNN failed to initialize, so try looking to see if a warning log message was printed above.本地环境：Tensorflow 2.1CuDNN 7.6.5cudatoolkit 10.1.243版本是匹配的！问题出在GPU使用的时候没有设置使用比例，导致GPU使

原创 解决Unable to find \PyQt5\Qt\translations\qtwebengine_locale和No module named 'PyQt5.QtWebEngineWidgets

场景：1、使用pyinstaller打包的时候出现Unable to find "E:\anaconda3\lib\site-packages\PyQt5\Qt\translations\qtwebengine_locales" when adding binary and data files.2、在程序中引用QtWebEngineWidgets的时候原因：pyqt5的v5.11及以上版...

原创 CenterOS部署docker

一般我们采用最简单的yum直接安装的方法，比如w3cshcool centeros docker安装，但是经常会遇到由于源的问题，网速过慢，导致安装报错[Errno 12] Timeout ，添加其他源后也不好使，此处介绍一个直接使用rpm离线安装的方法。1、查看自己的操作系统，确认需要安装的docker相应版本。我安装17.12.0.ce-1.el7.centos.x86_64。[root@...

原创 Transformer代码详解与项目实战之Masking

在此模型中Masking有两种，分别是Padding Masking和Look-ahead Masking。Padding Masking：遮挡一批序列中所有的填充标记（pad tokens）。这确保了模型不会将填充作为输入。此模型使用0作为填充数据，mask的值表明填充值 0 出现的位置：在这些位置 mask 输出 1，否则输出 0。Look-ahead Masking：前瞻遮挡（look-...

原创 Transformer代码详解与项目实战之Layer Normalization

在Transformer模型中，使用到了Layer Normalization思想，来源于论文#论文来源#为了方便介绍其原理，此处对Batch Normalization 和 Layer Normalization进行对比。两个算法都使用均值和标准方差对数据进行标准化处理！对矩阵中每一个元素减去均值，然后除以标准差。 差别在于：均值和标准差的计算方法不同！Batch Normalizati...

原创 Transformer代码详解与项目实战之Position Encoding

因为Transformer模型并不包括任何的循环（recurrence）或卷积，所以给模型添加位置编码，为模型提供一些关于单词在句子中相对位置的信息。位置信息实现方式有两种：1、在模型中训练得到；2、直接使用公式计算。论文中使用的第二种方式，此处对第二种方式进行解析。如图所示：pos代表单词在句子中的位置，i代表单词向量中每一个数值的位置。一般，句子长度使用seq_len表示，词向量长度使用...

原创 Numpy中的Broadcasting机制

1、设计背景不同矩阵做算数运算的时候，由于维度不同，需要进行维度扩展，但是维度扩展会造成计算效率降低，Numpy为了解决此问题，采用了虚拟维度扩展机制，既保证计算合理，又提升效率。例如：a = np.array([1.,2.,3.])b = np.array([1.,1.,1.])c = 1.d = a + be = a + cprint("d:", d)print("e:", ...

原创 TensorFlow2 模型建立与训练

首先，强力推荐大神关于Tensoflow2的介绍文档！文档链接模型的构建： tf.keras.Model 和 tf.keras.layers模型的损失函数： tf.keras.losses模型的优化器： tf.keras.optimizer模型的评估： tf.keras.metrics任务介绍：自定义模型完成 MNIST 手写体数字图片数据集的分类任务！代码如下：import ten...

原创 Jupyter Notebook中切换conda虚拟环境

1、打开Anaconda Prompt注：一般默认进入base环境，输入conda deactivate退出2、安装ipykernel输入：conda install ipykernel注：可能会出现在现有源中找不到可用插件的问题。登录http://pypi.doubanio.com/simple/ ，找到ipykernel，下载whl文件，然后输入命令“conda install 本地...

原创 李宏毅-机器学习&深度学习-第七讲-DNN训练技巧

视频地址：哔哩哔哩-李宏毅深度学习

原创 李宏毅-机器学习&深度学习-笔记-第二练习-二分类

题目：根据数据集训练二分类模型。#1、通过数据路径读取数据X_train、Y_train、X_testimport numpy as npnp.random.seed(0)X_train_fpath = 'E:/BaiduNetdiskDownload/course_LeeML20-datasets/course_LeeML20-datasets/hw2/data/X_train'Y_...

原创 李宏毅-机器学习&深度学习-第七讲-反向传播

本课介绍了深度学习模型中，使用梯度下降更新参数时候使用的反向传播，介绍其原理和推导方式。

原创 李宏毅-机器学习&深度学习-第六讲-深度学习介绍

哔哩哔哩视频地址：https://www.bilibili.com/video/av94411666?p=10李宏毅深度学习–第六讲–深度学习介绍

原创 李宏毅-机器学习&深度学习-第五讲-逻辑回归

原创 李宏毅-机器学习&深度学习-第四讲-分类

原创 李宏毅-机器学习&深度学习-第三讲-模型质量评估

原创 李宏毅-机器学习&深度学习-笔记-第一练习-线性回归

import numpy as npimport matplotlib.pyplot as pltfrom tqdm import tqdm_notebookx_data = [338.,333.,328.,207.,226.,25.,170.,60.,208.,606.]y_data = [640.,633.,619.,393.,428.,27.,193.,66.,226.,1591...

原创 李宏毅-机器学习&深度学习-第二讲-梯度下降

原创 李宏毅-机器学习&深度学习-第一讲-线性回归

原创 Anaconda下配置pyltp

经过查询资料，目前为止pyltp不能兼容python3.7，所以我在Anaconda下先新建安装了python3.6的环境，然后在这个环境安装pyltp.配置一个python3.6环境(base) C:\Users\1>conda create -n py36 python=3.6 //创建python3.6的虚拟环境在此环境安装pyltp(base) C:\Users...

原创 Hbase的HMaster无法启动

环境介绍：Hadoop： hadoop-2.6.0-cdh5.15.1Java: 1.8.0_201Hbase: hive-1.1.0-cdh5.15.1内容介绍hbase分布式安装，但是暂时使用hbase自带zookeeper。安装完成后启动hbase后：发现没有HMaster进程。查看启动过程有一个提示：原来是配置中的一个提醒，jdk8的环境需要除去上面两个设置。所以去h...

原创 CentOS下无法访问50070和8088端口

Hadoop部署到CentOS下以后，通过50070端口访问HDFS，8088端口访问yarn。但是，如果出现无法访问的问题，那么需要添加可访问端口到防火墙。此处不建议直接关闭防火墙。1、查看已经开放端口firewall-cmd --zone=public --list-ports发现并没有50070和8088。2、添加开放端口sudo firewall-cmd --zone=pub...

原创 Spark源码编译

环境介绍操作系统：CenterOS 7Spark：spark-2.3.3Maven：apache-maven-3.3.9目标Haoop：hadoop-2.6.0-cdh5.15.1编译步骤安装配置maven,下载Spark源码，不再赘余！使用./dev/make-distribution.sh编译Spark。从官网可以看到编译Spark的参数配置介绍。–name 2.6.0-c...

原创 Linux环境安装Python

背景介绍Linux经常已经安装了Python，但是并不一定是自己想使用的版本。去python官网下载Linux版本，发现并没有安装文件，故自己编译一个！Linux：CenterOS 7Python: 3.6.8安装步骤源程序下载在python官网找到相应版本，下载源程序。环境准备将源程序上传到服务器以后，安装编译python3需要的环境。yum -y install z...

原创 IntelliJ IDEA激活方式

首先，有条件的话，正版才是首选！下载安装文件官网下载即可!修改hosts打开C:\Windows\System32\drivers\etc\hosts文件,末尾加入两行内容：0.0.0.0 account.jetbrains.com0.0.0.0 www.jetbrains.com启动IDEA，输入注册码打开网址：http://idea.lanyus.com/ ，点击最...

原创 profile与bashrc

介绍的文件/etc/profile/etc/bashrc~/.bash_profile~/.bashrc场景介绍系统默认安装了jdk7，但是A用户需要jdk8，在系统保留jdk7的情况下，A用户执行程序使用jdk8。A用户安装jdk8，然后将PATH配在 ~/.bash_profile中，如下：文件介绍根据上面的场景。A用户执行程序时候，首先会从PATH中寻找jdk，而他已经...

原创 Hadoop分布式部署

环境介绍Linux版本：CenterOS 7.2Hadoop版本：hadoop-2.6.0-cdh5.15.1Java版本：jdk-8u201-linux-x64三台机器IP：10.1.2.151、10.1.2.152、10.1.2.153三台机器hostname：bigdata1、bigdata2、bigdata3三台机器节点安排：bigdata1：namenode、datanod...

原创 下载cloudera配套安装包

工作中我们经常需要下载cloudera的一些安装文件，比如hadoop、spark、flume、hbase等。这些版本经过了业内使用的考验，并且兼容性较好。1、我使用的下载地址为：http://archive.cloudera.com/cdh5/cdh/5/2、在里面找到自己写想要的软件，比如：找到这个版本的flume，点进去是这样子：并没有找到相应的下载地址！3、此时的浏览器地址栏...

原创 windows环境调试mapreduce代码出错记录

背景我的运行环境是：64位windows10+vm12+cdh5.15.1我在本地IDEA上写java代码，实现mapreduce功能，在本地环境添加了hadoop需要的jar包。运行时，连接本地虚拟机的hadoop环境，进行调试。可是，出现两个错误，分别是：Failed to detect a valid hadoop home directoryjava.io.IOException:...