- 博客(75)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 报错：Sklearn ValueError: This solver needs samples of at least 2 classes in the data, but the data
错误原因train_sizes, train_scores, test_scores = learning_curve(estimator, X, y, cv=cv, n_jobs=n_jobs, train_sizes=train_sizes, verbose=verbose) #请注意X,y解决方法：from sklearn.utils import shuffle X_shuffle, y_shuffle = shuffle(X, y)错误说明：这是因为在未shuffle（洗牌）之前
2020-10-01 17:57:39
1274
原创 墨尘的琐碎知识记录：报错 No module named ‘sklearn.learning_curve‘ 问题
报错信息：ImportError: cannot import name 'cross_validation'ModuleNotFoundError: No module named 'sklearn.learning_curve'ModuleNotFoundError: No module named 'sklearn.grid_search'主要原因是sklearn版本更新后，包函数变更位置导致在0.18以上的sklearn版本中，按照如下导入：代码如下：from sklearn.c
2020-09-26 23:39:54
770
原创 墨尘的琐碎记录：如何解决报错ValueError: Expected 2D array, got 1D array instead问题
ValueError: Expected 2D array, got 1D array instead问题解决办法：对于python3版本经常会出现该问题，scaler.fit(df['Age'])改为：scaler.fit(df['Age'].values.reshape(-1,1))
2020-09-26 23:32:54
640
原创 墨尘琐碎知识点记录--pandas报DataFrame object has no attribute ‘as_matrix‘解决办法
pandas报DataFrame object has no attribute 'as_matrix’解决办法在网上找一些关于python机器学习的相关代码时，运行时可能会遇到‘DataFrame’ object has no attribute ‘as_matrix’这是因为网上的文章可能比较老，使用的是老版本的pandas，而自己的pandas要更加新，所有这个方法就没有了，解决方法：将df.as_matrix()改写成 df.valuesRemoved DataFrame.as_matr
2020-09-26 23:21:32
577
原创 墨尘的琐碎知识点记录--10:Anaconda设置镜像源
清华镜像：命令行中直接使用以下命令conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forgeconda config --add channels https://mirrors.tuna.tsinghua.ed
2020-09-16 00:15:47
173
原创 指定目录打开jupyter notebook
一、git客户端方式–jupyter notebook /d/PycharmProject1.在git客户端中打开指定环境source activate tf10_py362.启动jupyter notebookjupyter notebook /d/PycharmProject二、vscode中使用git bashsource activate tf10_py362.启动jupyter notebookjupyter notebook /d/PycharmProject...
2020-08-09 17:07:41
474
原创 Pandas DataFrame的loc、iloc、ix和at/iat浅析
1、loc：通过标签选取数据，通过index和columns的值进行选取。loc方法有两个参数，按顺序控制行列选取。#示例数据集df=pd.DataFrame(np.arange(12).reshape(4,3),columns=list('abc'),index=list('defg'))dfOut[189]: a b cd 0 1 2e 3 4 5f 6 7 8g 9 10 11#直接索引行df.loc['d']Out[19
2020-07-13 13:52:53
1171
原创 Numpy使用小记录
1.numpy中array和asarray的区别array和asarray都可以将结构数据转化为ndarray，但是主要区别就是当数据源是ndarray时，array仍然会copy出一个副本，占用新的内存，但asarray不会。import numpy as np #example 2: arr1=np.ones((3,3)) arr2=np.array(arr1) arr3=np.asarray(arr1) arr1[1]=2 print 'arr1:\n',arr1
2020-07-13 11:25:55
119
原创 AI产品经理，要如何搭建AI数据中台？
AI中台是一个用来构建大规模智能服务的基础设施，对企业需要的算法模型提供了分步构建和全生命周期管理的服务，让企业可以将自己的业务不断下沉为一个个算法模型，以达到复用、组合创新、规模化构建智能服务的目的。什么是AI数据中台？在以往，企业数据管理都以传统的IT架构为基础。当技术部门为业务部门解决问题时，需要从业务需求的探查、技术壁垒的打通等从上到下各个方面来建设新系统。每个系统的建成都自成一体，也...
2020-05-07 16:32:44
865
原创 墨尘的模型部署3--nvidia-docker实现tensorflow serving单模型文件部署（三）
三、定制容器docker-tf-gpu镜像,并部署训练好模型文件3.1.手动定制本地已经训练模型的镜像（使用最简单镜像）1. 下载centos镜像,启动容器，进入容器# 下载镜像[root@aiserver ~]# docker pull tensorflow/serving:latest-gpu# 启动容器[root@aiserver ~]# docker run -it -d --...
2020-04-08 00:42:05
330
原创 墨尘的模型部署2--nvidia-docker部署Tensorflow Serving(CPU+GPU)环境准备（一）
ubuntu16.04下docker部署Tensorflow Serving CPU和GPU版本（一）ubuntu16.04下docker部署Tensorflow Serving CPU版本（二）ubuntu16.04下docker部署Tensorflow Serving GPU版本1.将runtime注册到docker [具体参照官网](https://github.com/nvidia/nvi...
2020-03-31 00:11:48
1359
1
原创 墨尘的l知识点记录10--Linux中yum和apt-get区别与联系梳理
rpm包主要应用在RedHat系列包括 centos Fedora等发行版的Linux系统上，deb包主要应用于Debian系列包括现在比较流行的Ubuntu等发行版上。1. 本地包离线安装安装rpm包的命令是“rpm -参数”安装deb包的命令是“dpkg -参数”。2. 远程包在线下载安装yum可以用于运作rpm包，例如在Fedora系统上对某个软件的管理：安装：yum in...
2020-03-29 22:38:32
128
原创 docker：Failed to add /run/systemd/ask-password to directory watch: No space left on device
ubuntu服务器安装docker成功后执行如下命令报错：systemctl start docker 方法1：命令行添加监控空间sudo -iecho 1048576 > /proc/sys/fs/inotify/max_user_watchesexit方法2：修改配置文件，使监控长期有效sudo vim /etc/sysctl.conf在文件末尾添加如下语句fs...
2020-03-29 20:51:40
717
原创 墨尘的模型部署1--docker部署tensorflow serving基础知识（二）
1.安装sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common遇到问题：解决方法：# 查看可安装的包apt-cache showpkg libcurl3-gnutls# 安装：sudo apt-get install libcurl3-...
2020-03-29 19:13:00
323
原创 墨尘的琐碎知识点记录--9: CUDA_ERROR_OUT_OF_MEMORY
报错信息：1.代码头部添加：import osos.environ["CUDA_VISIBLE_DEVICES"] = "1"2.限制当前脚本可用显存gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.333)sess = tf.Session(config=tf.ConfigProto(gpu_option...
2020-03-28 14:47:08
135
原创 ubuntu 中sudo 出现unable to resolve host 解决方法
增加你的ubuntu主机名到/etc/hosts中，此处以主机名aiserver为例，具体如下：sudo vi /etc/hosts如下图所示添加127.0.0.1 aiserver即可
2020-03-28 11:49:36
1466
原创 琐碎知识点记录7--jupyter notebook快捷操作记录
jupyter notebook--常用操作记录一、jupyter notebook中魔法操作二、jupyter中常用快捷键一、jupyter notebook中魔法操作1.将本地的.py文件load到jupyter的一个cell中%load test.py2.从网络load代码到jupyter%load http://.....，3.jupyter中运行python文件%run...
2020-03-22 22:06:44
122
原创 琐碎知识点记录4--vscode在window和ubuntu常用操作记录
vscode在window和ubuntu常用操作记录1.ubuntu下vscode安装2.常用快捷键3.比较好用的插件（1）C++模块（2）python模块4.常用设置1.ubuntu下vscode安装到官网下载最新版本：https://code.visualstudio.com切忌选择ubuntu版本deb，安装详情可以参考官网sudo dpkg -i code_1.38.1-1568...
2020-03-22 20:41:24
107
原创 琐碎知识点记录2--Linux常用小操作
Linux常用操作小记录1.修改apt-get镜像源加快下载速度2.安装并启动ssh以便Xshell5远程连接3.安装vim4.修改主机名字hostname5.为新用户dean赋予管理员权限6.修改文件（文件夹）所属用户和用户组及读写权限7.ubuntu16.04添加搜狗拼音输入法8.shell常用命令1.修改apt-get镜像源加快下载速度在软件和更新界面中修改镜像源为http:mirror...
2020-03-20 23:09:57
138
原创 安装ubuntu系统时硬盘分区方案
硬盘分区概述一块硬盘最多可以分4个主分区，主分区之外的成为扩展分区。硬盘可以没有扩展分区，但必须有主分区。在主分区中要有一个激活分区用来启动Windows系统，在扩展分区中可以建立若干个逻辑分区。主分区是权限最高的分区，可以用作系统启动引导程序。当然，这个引导程序可以引导自己分区的系统启动，也可以引导其他分区的系统启动，甚至是逻辑分区。跟主分区同级的是扩展分区，扩展分区被设计成用来存储数据，不...
2020-03-19 15:46:59
8299
1
原创 ubuntu16.04下安装teamview12版本
在Ubuntu16.04下安装teamview12版本比较复杂，主要是之前购买了12版本的。可能大家会有疑问，64位系统安装teamview的i386版本是否会存在问题，大胆尝试下，亲测没问题！12版本官网可下载，如果找不到可以给我留言。具体看下图所示：1.如果之前安装过teamview，则需要先卸载whereis teamviewercd <teamviewer's path&...
2020-03-19 14:34:35
219
原创 琐碎知识点记录5--制作ubuntu启动U盘并修复系统崩溃问题
1.设置root用户密码,并进入rootubuntu@ubuntu $ sudo passwd rootroot@ubuntu $ su2.查看磁盘挂在情况root@ubuntu $ mount3.管理员用户登录系统
2020-03-17 18:10:56
456
原创 墨尘的神经网络9--MobileNet V3模型代码复现及要点记录
什么是MobileNetV3最新的MobileNetV3的被写在了论文《Searching for MobileNetV3》中。它是mobilnet的最新版，据说效果还是很好的。作为一种轻量级网络，它的参数量还是一如既往的小。它综合了以下四个特点：1、MobileNetV1的深度可分离卷积（depthwise separable convolutions）。2、MobileNetV2的...
2020-03-15 14:31:32
451
原创 nbconvert failed: xelatex not found on PATH, if you have not installed xelatex you may need to do so
问题描述解决办法：1. 安装pandoc下载pandoc官方下载http://miktex.org/howto/install-miktex其他可用CSDN资源下载地址直接点击安装，默认安装即可，可选择安装位置。然后配置环境变量，把安装路径配置到系统path中。如我的是将E:\IDE\Pandoc放置path中。2. 安装miktex直接点击安装，默认安装即可，可选择安装位置。...
2020-03-15 14:29:53
17670
5
原创 墨尘的神经网络8--EfficientNet网络模型代码复现及要点记录
什么是EfficientNet模型2019年，谷歌新出EfficientNet，网络如其名，这个网络非常的有效率，怎么理解有效率这个词呢，我们从卷积神经网络的发展来看：从最初的VGG16发展到如今的Xception，人们慢慢发现，提高神经网络的性能不仅仅在于堆叠层数，更重要的几点是：1、网络要可以训练，可以收敛。2、参数量要比较小，方便训练，提高速度。3、创新神经网络的结构，学到更重要的...
2020-03-13 22:46:37
1217
原创 墨尘的神经网络7--LSTM 长短时记忆网络模型代码复现及要点记录
LSTM简介1、RNN的梯度消失问题在过去的时间里我们学习了RNN循环神经网络，其结构示意图是这样的：其存在的最大问题是，当w1、w2、w3这些值小于0时，如果一句话够长，那么其在神经网络进行反向传播与前向传播时，存在梯度消失的问题。0.925=0.07，如果一句话有20到30个字，那么第一个字的隐含层输出传递到最后，将会变为原来的0.07倍，相比于最后一个字的影响，大大降低。...
2020-03-13 19:31:50
299
原创 墨尘的神经网络10--facenet模型代码复现及要点记录
什么是facenet谷歌人脸检测算法，发表于 CVPR 2015，利用相同人脸在不同角度等姿态的照片下有高内聚性，不同人脸有低耦合性，提出使用 cnn + triplet mining 方法，在 LFW 数据集上准确度达到 99.63%。通过 CNN 将人脸映射到欧式空间的特征向量上，实质上：不同图片人脸特征的距离较大；通过相同个体的人脸的距离，总是小于不同个体的人脸这一先验知识训练网络。测...
2020-03-13 19:31:17
352
原创 墨尘的神经网络6--Alex Net模型代码复现及要点记录
什么是AlexNet模型AlexNet是2012年ImageNet竞赛冠军获得者Hinton和他的学生Alex Krizhevsky设计的。也是在那年之后，更多的更深的神经网络被提出，比如优秀的vgg,GoogLeNet。 这对于传统的机器学习分类算法而言，已经相当的出色。如下是其网络的结构，现在看来还是比较简单的。...
2020-03-10 17:24:32
324
原创 墨尘的神经网络5--MobileNet V2模型代码复现及要点记录
什么是MobileNetV2模型MobileNet模型是Google针对手机等嵌入式设备提出的一种轻量级的深层神经网络，其使用的核心思想便是depthwise separable convolution。MobileNetV2是MobileNet的升级版，它具有两个特征点：1、Inverted residuals，在ResNet50里我们认识到一个结构，bottleneck design结构...
2020-03-10 17:24:13
263
原创 墨尘的神经网络3--Xception 模型代码复现及要点记录
什么是Xception模型Xception是谷歌公司继Inception后，提出的InceptionV3的一种改进模型，其改进的主要内容为采用depthwise separable convolution来替换原来Inception v3中的多尺寸卷积核特征响应操作。在讲Xception模型之前，首先要讲一下什么是depthwise separable convolution。对于一个卷积点...
2020-03-09 14:41:11
716
原创 墨尘的神经网络2--inceptionV3 代码复现及要点记录
什么是InceptionV3模型InceptionV3模型是谷歌Inception系列里面的第三代模型，其模型结构与InceptionV2模型放在了同一篇论文里，其实二者模型结构差距不大，相比于其它神经网络模型，Inception网络最大的特点在于将神经网络层与层之间的卷积运算进行了拓展。如VGG，AlexNet网络，它就是一直卷积下来的，一层接着一层；ResNet则是创新性的引入了残差网络...
2020-03-09 14:40:48
287
原创 墨尘的神经网络4--MobileNet 模型代码复现及要点记录
什么是MobileNet模型MobileNet模型是Google针对手机等嵌入式设备提出的一种轻量级的深层神经网络，其使用的核心思想便是depthwise separable convolution。对于一个卷积点而言：假设有一个3×3大小的卷积层，其输入通道为16、输出通道为32。具体为，32个3×3大小的卷积核会遍历16个通道中的每个数据，最后可得到所需的32个输出通道，所需参数为16×...
2020-03-08 16:09:35
407
原创 墨尘的目标检测6--Mask-RCNN模型解析及训练自己的数据集
什么是Mask R-CNNMask R-CNN是He Kaiming大神2017年的力作，其在进行目标检测的同时进行实例分割，取得了出色的效果。其网络的设计也比较简单，在Faster R-CNN基础上，在原本的两个分支上（分类+坐标回归）增加了一个分支进行语义分割，...
2020-03-08 16:08:55
201
原创 墨尘的神经网络1--resnet50模型代码复现及要点记录
什么是残差网络Residual net(残差网络)：将靠前若干层的某一层数据输出直接跳过多层引入到后面数据层的输入部分。意味着后面的特征层的内容会有一部分由其前面的某一层线性贡献。其结构如下：ResNet50有两个基本的块，分别名为Conv Block和Identity Block，其中Conv Block输入和输出的维度是不一样的，所以不能连续串联，它的作用是改变网络的维度；Iden...
2020-03-07 23:39:00
769
原创 墨尘目标检测5--mtcnn+facenet搭建人脸识别模型及训练自己的数据集
什么是mtcnn和facenet1、mtcnnMTCNN，英文全称是Multi-task convolutional neural network，中文全称是多任务卷积神经网络，该神经网络将人脸区域检测与人脸关键点检测放在了一起。总体可分为P-Net、R-Net、和O-Net三层网络结构。...
2020-03-07 20:28:06
1475
1
原创 墨尘目标检测2--Retinanet模型解析及训练自己的数据集
什么是Retinanet目标检测算法Retinanet是在何凯明大神提出Focal loss同时提出的一种新的目标检测方案，来验证Focal Loss的有效性。One-Stage目标检测方法常常使用先验框提高预测性能，一张图像可能生成成千上万的候选框，但是其中只有很少一部分是包含目标的的，有目标的就是正样本，没有目标的就是负样本。这种情况造成了One-Stage目标检测方法的正负样本不平衡，也...
2020-03-06 09:55:08
377
原创 墨尘目标检测1--Faster-RCNN模型解析及训练自己的数据集
什么是FasterRCNN目标检测算法Faster-RCNN是一个非常有效的目标检测算法，虽然是一个比较早的论文， 但它至今仍是许多目标检测算法的基础。Faster-RCNN作为一种two-stage的算法，与one-stage的算法相比，two-stage的算法更加复杂且速度较慢，但是检测精度会更高。事实上也确实是这样，Faster-RCNN的检测效果非常不错，但是检测速度与训练速度有待提...
2020-03-06 09:54:05
224
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人