- 博客(42)
- 收藏
- 关注
RSS订阅
转载 深度学习 loss不下降的解决方法，最全
当我们训练一个神经网络模型的时候，我们经常会遇到这样的一个头疼的问题，那就是，神经网络模型的loss值不下降，以致我们无法训练，或者无法得到一个效果较好的模型。导致训练时loss不下降的原因有很多，而且，更普遍的来说，loss不下降一般分为三种，即：训练集上loss不下降，验证集上loss不下降，和测试集上loss不下降。这里，首先默认各位都能理解过拟合和欠拟合的概念。一、训练集loss不下降 训练集的loss在训练过程中迟迟不下降，一般是由这几个方面导致的。1.模型结构和特征工程存在问题
2020-09-08 10:45:29
23290
3
原创 python twilio发短信轻松监控服务器健康状况
最近在使用阿里云服务器做k8s集群服务。前几天因为服务器硬盘使用超过了k8s的阈值，导致对外服务宕掉了（狗头）。重启服务器后，决定做个硬盘监控提醒。 开始我想到了使用邮件。但是，阿里爸爸竟然关闭了邮件服务的25端口，如果使用还要申请，而且能不能申请到还是个问题。无奈，找到了twilio。 Twilio是一个做成开放插件的电话跟踪服务，Twilio公司致力于帮助开发者在其应用里融入电话、短信等功能。上干货。1、登录主页https://www.twilio.com/，注册账号2、注册完后，登录
2020-05-28 18:15:32
449
原创 轻松搞定tensorflow模型部署到TF serving生产环境，提供在线实时预测服务
TF Serving有Docker、APT（二进制安装）和源码编译三种方式，但考虑实际的生产环境项目部署和简单性，推荐使用Docker方式。我自己尝试过源码编译，但是linux下源码编译安装软件本来就容易出现各种错误，自己对tf serving使用还不太熟，就一直没有成功，最后放弃。不过，按照官方说法，源码编译安装的整体运行速度会优于其他方法。下面详细介绍使用docker方法安装tf serv...
2020-04-29 19:07:56
1848
原创 安装jupyter notebook nbextensions
1、关掉jupyter notebook2、在promote运行pip install jupyter_contrib_nbextensions3、打开或重启jupyter notebook，如果看到nbextensions，则成功。否则执行jupyter contrib nbextension install --user --skip-running-check，然后再重新启动jupyter。...
2021-05-21 16:45:01
1491
原创 centos yum安装mongoDB，简明清晰
简介步骤1、配置yum软件源。vim /etc/yum.repos.d/mongodb-org-4.2.repo 复制下面的配置信息[mongodb-org-4.2]name=MongoDB Repositorybaseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/4.2/x86_64/gpgcheck=1enabled=1gpgkey=https://www.mongodb.org/static/pgp
2020-06-20 17:08:46
281
原创 bash: ./game.sh: /bin/bash^M: 解释器错误: 没有那个文件或目录
通常这种错误是因为sh脚本文件在windows系统下打开或者修改过，导致一些符号与linux系统之间产生了错乱。推荐一个解决办法，使用dos2unix工具。需要先安装。sudo apt install dos2unix然后，执行。dos2unix xxx.sh ...
2020-06-04 11:18:55
220
原创 crontab 调用python定时任务不执行，原因彻底分析
一、问题 最近，在centoos中设置一个定时任务，调用python，最后发现不执行或者说没有任何输出。二、分析 我的定时任务最开始是这样，python脚本，写入txt。 查看/home/zeng目录生成了log.txt。可是，没有任何输出。去/var/log/查看cron日志，定时脚本按时执行了。 后来一想，python中使用了twilio包，这个安装在我的anaconda base环境下。于是，我加上一条语句 还是没有任何输出。查找资料，发现大家一致认为crontab执行时的
2020-05-30 11:08:11
4306
原创 pandas 轻松实现数据类型转化
首先，了解一下pandas的数据类型：Pandas dtypePython typeNumPy typeUsageobjectstr or mixedstring_, unicode_, mixed typesText or mixed numeric and non-numeric valuesint64intint_, int8, int16, int32, int64, uint8, uint16, uint32, uint64Integer numbe
2020-05-15 21:40:59
1820
原创 linux systemd 之 systemctl理解与使用
https://www.cnblogs.com/zwcry/p/9602756.html
2020-05-08 20:42:21
674
原创 keras h5模型转化tensorflow serving模型脚本和restful client访问脚本
h5_2_pd#!/usr/bin/env python# -*- coding: utf-8 -*-# @Date : 2019-07-26 17:19:07# @Author : # @Email : None# @Version : py3from keras.models import load_modelimport tensorflow as tfimp...
2020-04-29 19:04:59
989
原创 ubuntu | shell终端 最常用的快捷键
ctrl+a： 将光标跳到行首ctrl+e : 将光标跳到行尾ctrl+k : 删除从光标到行尾的部分（还有剪切功能）ctrl+u : 删除从光标到行首的部分（还有剪切功能）ctrl+d： 删除从光标到当前单词结尾的部分ctrl+w 删除从光标到当前单词开头的部分ctrl + l：清屏先单击 Esc 键，然后再按 b 键： 往回(左)移动一个单词，backward...
2020-04-23 10:57:42
675
原创 numpy 取出对角线元素、计算对角线元素和 np.diagonal
np.diagonal(a, offset=0, axis1=0, axis2=1)直接上例子：1、二维数组 二维数组，重点理解offset参数。offset默认0，即从位置为（0,0）的元素斜45°角指向的元素。当offset=1时，对角线向上移动1个位置，offset=2，移动两个位置，以此类推。当offset取负值时，向下移动相应的位置数量。见下：arr =np.arange(9...
2020-04-11 19:36:40
35393
6
原创 ubuntu 查看系统内核信息、发行版本
linux系统内核信息查询uname -[a,m,r]不同的发现版本可能使用同一个内核版本。linux系统发行版本信息查询
2020-04-10 13:06:00
831
原创 numpy np.select()
np.select(condlist, choicelist, default=0)condlist：条件列表，元素是bool数组choicelist：列表，数组元素default：当所有条件都不满足时，用default值填上。condlist, choicelist的长度必须一致，每一个条件都要进行一次元素选择或者操作。举例：arr = np.arange(9).reshape(3,...
2020-04-09 23:18:37
3047
原创 pandas 内置str函数，轻松拆分一列数据为多列
读入数据，name列可以由‘-’符号分割出两列。data = pd.read_csv('D:/test.csv', encoding='gbk')data执行series内置函数str.split，得到每一个单元格的分割列表。data['name'].str.split('-')添加一个参数expand=True，将列表分开，得到两列。data['name'].str.spli...
2020-04-08 23:31:33
12521
5
原创 anaconda jupyter notebook切换Python环境
前提是使用anaconda管理工具1、关闭jupyter notebook2、安装一个包nb_condaconda install nb_conda3、启动jupyter notebook，浏览器连接，点击服务选项，即可看到并切换到相应环境。...
2020-04-08 10:38:59
3079
原创 numpy np.nonzero()
np.nonzero(a)最简单的np函数。传入一个数组或者类数组元素。返回传入数组中非0元素的索引值。返回的是一个tuple，tuple的元素数量就是传入数组的维度。因为，要定位一个非0元素，必须要给出每一个维度上的索引值。举例：arr = np.array([[7,-3,9], [9,0,8]])ind = np.nonzero(arr)ind(ar...
2020-04-07 23:36:13
598
原创 ubuntu 一键查询CPU信息
lscpu这是精简信息CPU架构：x86_64支持32位和64位运行CPU是6核，编号0-5每个核心的线程是1线程，即6核6线程cpu型号 Intel® Core™ i5-8400 CPU @ 2.80GHzCPU基频：800MHzL1、L2、L3是CPU一二三级缓存cat /proc/cpuinfocat /proc/cpuinfo显示详细信息这里只截图了，核心...
2020-04-07 16:40:43
481
原创 ubuntu 一键挂载U盘到系统
mount命令简单介绍mount常用格式 mount [ -t ] [ -o ] device dirt：指定挂载盘系统的型态，通常不必指定。mount 会自动选择正确的型态。光盘或光盘镜像：iso9660DOS fat16文件系统：msdosWindows 9x fat32文件系统：vfatWindows NT ntfs文件系统：ntfsMount Windows文件网络...
2020-04-07 09:59:41
1485
1
原创 numpy 数组排序np.sort()、np.argsort()
np.sort(a, axis=-1, kind=‘quicksort’, order=None)将指定轴上的每一个元素都按照从小到大的顺序排列。Params：axis：默认是-1，即最大维度，二维数组就是轴1，三维数组就是轴2。kind：排序规则，有三个选项，如下，使用默认的就好kindspeedworst casework spacestable‘qui...
2020-04-06 16:08:15
6623
原创 numpy 数组元素去重与数组元素数量统计 np.unique()
np.unique(ar, return_index=False, return_inverse=False, return_counts=False, axis=None)Paramsreturn_index：默认False。设置成True时，返回去重后数组元素在传入数组中第一次出现的indexreturn_inverse：默认False。设置成True时，返回传入数组中的元素在去重数组...
2020-04-06 11:57:26
4406
原创 numpy 添加数组元素数据 np.append np.insert
**np.insert(arr, obj, values, axis=None)**在指定轴的指定index上插入数据。obj尽量使用中括号括起来的形式。当只有一个整数，[N]，将values整体插入在axis轴上N前。arr = np.arange(9).reshape(3,3)arr2 = np.arange(10,16).reshape(3,2)arrarray([[0,...
2020-04-05 23:47:01
6774
原创 numpy np.split、np.hsplit、np.vsplit分割数组
数组分割函数数组及操作np.split将一个数组分割为多个子数组np.hsplit将一个数组水平分割为多个子数组（按列）np.vsplit将一个数组垂直分割为多个子数组（按行）np.dsplit在第三个轴上进行深度切割np.split(ary, indices_or_sections, axis=0)Params:indices_or_s...
2020-04-04 18:23:45
1731
原创 numpy np.stack和np.concatenate连接数组
数组连接函数作用np.concatenate连接沿现有轴的数组序列np.stack沿着新的轴加入一系列数组np.hstack沿着水平方向连接数组，增加列数np.vstack沿着竖直方向链接数组，增加行数np.concatenate((arr1, arr2…), axis=0)函数用于沿指定轴连接两个或多个数组。axis默认是0，即横向连接。...
2020-04-04 17:27:20
715
原创 numpy 展平数组ndarray.flatten()
ndarray.flatten(order=‘C’)复制原数组，并将其展平成一维数组返回。Params：order : {‘C’, ‘F’, ‘A’, ‘K’}，可选任意一个，默认是‘C’。C：行为主要顺序，从左至右，从上至下F：列为主要顺序，从上至下，从左至右原始数组：arr = np.arange(9).reshape(3,3)arrarray([[0, 1, 2], ...
2020-04-04 15:20:57
9133
原创 python UnicodeDecodeError: 'utf-8' codec can't decode byte 0xbd in position 0: invalid start byte
UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xbd in position 0: invalid start byte我遇到该错误的地方有两处：使用open函数后read数据f = open('D:/test.csv','r',encoding='utf8')f.readlines()使用pandas read_csv...
2020-04-04 11:09:40
9298
原创 ubuntu 从一个终端获取另一个终端正在运行的程序的输出内容
两台主机连接着同一台服务器，其中A主机运行着某程序，但是A卡死了，需要从B主机看某程序的运行输出。reptyr查看某PID的输出的shell命令reptyr PID如果出现权限拒绝，如下：则，执行sudo reptyr 32685 -T注意:1、reptyr将该进程的控制终端接手过来，属于接管。改变了进程的控制终端，原连接终端将断开与主机的连接。...
2020-04-03 09:58:07
2524
原创 numpy 一文帮你迅速理解ndarray对象
numpy作为python科学计算的基础模块，支撑起了pandas、matplotlib等使用。其中，ndarray作为numpy的重要使用对象不得不研究理解一下。 ndarray，存储单一数据类型的多维数组结构，在内存中连续存在，以行索引和列索引的方式标记数组中的每一个元素。采用预编译好的C语言代码，性能上的表现十分不错。1、ndarray的数据结构2、ndarray的创建num...
2020-04-02 13:21:49
486
原创 numpy 按条件给元素赋值np.where、np.clip
np.where(condition, [x, y])condition：条件，是一个类array的bool数组。x，y：类array数组，根据条件返回的结果从x，y选择数据返回。x与必须同时给出或者同时不给出，不能只给出一个。当都不给出时，依据nonzero返回处理。...
2020-04-01 23:07:43
9046
原创 python keras CUDNN_STATUS_INTERNAL_ERROR
Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR运行keras加载模型进行预测时，报错细节如下：2020-04-01 16:06:28.485938: E tensorflow/stream_executor/cuda/cuda_dnn.cc:353] Could not create cudnn handle: CUDNN...
2020-04-01 16:40:53
406
原创 python *args和**kwargs魔法变量
标准参数与*args、**kwargs定义：*args：可变长参数列表,，列表、tuple、str**kwargs：可变长键值对参数，字典*可以捕获标准参数后所有位置参数**可以捕获所有关键字参数*按position unpack参数列表**按key word unpack 参数列表...
2020-03-19 22:04:30
592
原创 python 爬虫京东基金信息
打开http://fund.jd.com/，发现基金信息的加载是ajax类型，所需要的信息是再次加载进来，并不是在html中。于是，分析xhr，多次点击刷新发现规律，程序编写如下。# coding: utf-8import requestsimport jsonimport pandas as pdimport sysimport timeparams = {'User-Agen...
2020-03-16 08:39:48
361
原创 python 微博图片爬虫 不用cookie
Python 爬取微博图片，no cookie 想爬微博的某个用户的的图片，不使用cookie。代码如下。使用方法很简单，小白可用。整个代码需要修改的就是id，如何找到目标用户的id呢？两个方法：1、打开手机微博，进入用户主页，按下图操作：https://weibo.com/u/2117146340，u后面这一串数字就是id2、用户搜索博主名字，点击找人，切记不是其他方法# -...
2020-03-12 11:49:37
1536
原创 python open函数和with open
open(file, mode=‘r’, buffering=-1, encoding=None)1、mode----b：一般用于非文本文件，例如图片的读写----w和a都可以在文件不存在时创建一个文件----r+模式：读：指针在开头，写：指针在结尾----所有r模式下，文件必须存在。----只要有w，一打开就删除原文件内容2、buffering默认是-1，使用默认缓冲大小。两个概...
2020-03-10 22:43:48
967
原创 python pandas数据类型与占用内存--优化
一、疑难杂症 最近使用pandas计算时，总是感觉dataframe占用内存过大，内存不足，导致计算时间被拉长。于是，趁着周末一探究竟。二、探寻原因 首先，pandas底层数据存储与计算是基于numpy的。通过查找资料我们发现，pandas的主要类型主要是下表的第一列。这几类是pandas的数据大类，后面的 Numpy type是其包含的小雷。在我们利用pandas读取数据时，尤其是数值...
2020-03-01 23:24:29
2584
原创 python UnboundLocalError: local variable 'x' referenced before assignment
一、疑难杂症def test_scopt(): print (x) #x是test_scopt()的局部变量，但是在打印时并没有绑定内存对象。 x = 30 #因为这里，所以x就变为了局部变量test_scopt()x = 40def test_scopt(): print(x) x = 30test_scopt()上面这两种情况都会报错：Unbou...
2020-02-29 18:33:54
2945
原创 mysql增删改查
一、增增加一个数据库create database database_name;增加一张数据表CREATE TABLE 表的名字(列名a 数据类型(数据长度),列名b 数据类型(数据长度)，列名c 数据类型(数据长度));举例：create table book( id int primary key, name varchar(50) not null...
2020-02-27 22:57:51
178
原创 python for循环优化
一、疑难杂症 最近项目中遇到一个难题，优化一个项目的计算时间。最初，建立项目时用户少，中间使用了for循环，还是嵌套的，共两层，项目整体耗时1-2个小时。最近，随着用户量增长，项目耗时达到6-7个小时。显然是不能接受的。for t, w in user_tags: for it, w in tag_items[t]: ...some计算... 透...
2020-02-27 14:36:44
5264
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人