- 博客(49)
- 收藏
- 关注
RSS订阅原创 paddle记录
W0415 16:40:54.818552 17125 device_context.cc:362] Please NOTE: device: 0, GPU Compute Capability: 7OSError: (External) Cudnn error, CUDNN_STATUS_INTERNAL_ERROR (at /paddle/paddle/fluid/platform/devW0418 11:28:11.296656 1805 device_context.cc:362] Pl
2022-04-19 11:22:40
1134
原创 tensorflow-debug笔记
1、Python Tensorflow线性模型不支持将字符串转换为floattensorflow.python.framework.errors_impl.UnimplementedError: Cast string to float is not supported2、找不到对应的checkpointerrors_impl.NotFoundError: Key input_layer/distinct_id_embedding/embedding_weights not found in
2022-03-08 21:24:52
1897
原创 Centos无法连接NVIDIA驱动：NVIDIA-SMI has failed because it couldn’t communicate with the NVIDIA driver
Centos无法连接NVIDIA驱动：NVIDIA-SMI has failed because it couldn’t communicate with the NVIDIA driver重启服务器，GPU无法运行，nvidia-smi后输出NVIDIA-SMI has failed because it couldn’t communicate with the NVIDIA driver终端输入nvcc -V发现驱动存在终端输入lsb_release -a查看发行版本信息终端输入wherei
2022-02-22 10:30:04
1163
原创 keras保存加载模型报错AttributeError: ‘str‘ object has no attribute ‘decode‘
keras保存加载模型报错AttributeError: 'str' object has no attribute 'decode'欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入加载模型报
2022-02-21 17:49:27
3935
原创 crontab 每两周的周三执行一次脚本
在crontab中，单纯的使用1 1 * */14 3 /bin/bash /bin/bash /path/script.sh并不能多方便的实现需求。满足14天的时候，当前时间是周三。因此使用date获取当前的周数，并判断其单双。犹如车辆限行一般，单数放行，双数限行。1 1 * * 3 [ $(/bin/date +%W) % 2 -eq 1 ] && /bin/bash /path/script.sh...
2022-02-11 15:12:04
3005
1
原创 [python]图像处理
判断图片是否一样from PIL import Imageimport mathimport operatorfrom functools import reducedef image_contrast(img1, img2): image1 = Image.open(img1) image2 = Image.open(img2) h1 = image1.histogram() h2 = image2.histogram() result = ma
2021-12-10 15:45:50
2921
原创 [python] 时间戳
python 获取今天、昨天、明天的时间时间戳import datetime import time # 获取今天日期 print("获取今天日期") today = datetime.date.today() print(today) # 2019-09-05 print(type(today)) # <type 'datetime.date'> print("**" * 10) # 昨天日期 print("
2021-12-07 09:42:57
178
原创 dataframe-整理
按行按列遍历Dataframe的几种方式iterrows(): 按行遍历，将DataFrame的每一行迭代为(index, Series)对，可以通过row[name]对元素进行访问。itertuples(): 按行遍历，将DataFrame的每一行迭代为元祖，可以通过row[name]对元素进行访问，比iterrows()效率高。iteritems():按列遍历，将DataFrame的每一列迭代为(列名, Series)对，可以通过row[index]对元素进行访问。for index, row
2021-11-29 17:21:38
269
原创 【推荐】slope one
slope one 协同过滤：1.详细算法过程：顾客 项目 A 项目 B 项目 CJohn 5 3 2Mark 3 4 未评分Lucy 未评分 2 5dis(A-B)代表A的评分平均比B高出的值so:dis(A-B)=((5-3)+(3-4))/2=0.5dis(A-C)=(5-2)/1=3w(A,B)代表A的评分向量和B的评分向量的元素取与交集，有评分数据时元素值true，未评分时false。so:w(A,B)=2w(A,C)=1预测Lucy对A的评分ans。Lucy->
2021-11-23 10:24:50
118
原创 es-整理
基本概念一、索引文档（Document）1.1 白话文档Elasticsearch 是面向文档，文档是所有搜索数据的最小单元，文档（Document）是索引信息的基本单位。文档被序列化成为 JSON 格式，物理保存在一个索引中。文档字段名：JSON 格式由 name/value pairs 组成，对应的 name 就是文档字段名文档字段类型：每个字段都有对应的字段类型：String、integer、long 等，并支持数据&嵌套1.2 文档的 Unique ID每个文档都会有一个
2021-11-21 21:52:05
637
原创 sql-整理
一行拆多行1、使用explode或posexplode方法1.1 对单列实行列转行 explode 配合 lateral view 使用with temp as(select 1 as id ,'a,b,c' as name union select 2 as id ,'d,e,f' as name) select id,name,s_namefrom temp lateral view explode(spli
2021-11-21 21:50:30
470
原创 [python]excel中url转图片
遇到的一个问题图片url是webp格式，下载图片后，插入excel报错报错信息Traceback (most recent call last): File "excel_utils.py", line 86, in <module> obj.process_push_res("./uncheck_2021-10-12.xlsx", "./res1.xlsx") File "excel_utils.py", line 81, in process_push_res
2021-10-12 14:30:58
1014
1
原创 [python]dataframe实现row_number
def row_number(df, par_list, order_list, asc_list): df['r'] = 1 df.sort_values(by=par_list + order_list, ascending=[True]*len(par_list)+asc_list, inplace=True) df['r']=df.groupby(par_list)['r'].cumsum()
2021-10-12 11:37:55
1044
原创 【python】
这里写目录标题语法拷贝Python 直接赋值、浅拷贝和深度拷贝解析数据结构dictdict排序文件系统文件跳过第一行读取文件python下遍历文件夹中所有文件编码encode decode语法拷贝Python 直接赋值、浅拷贝和深度拷贝解析直接赋值：其实就是对象的引用（别名）。浅拷贝(copy)：拷贝父对象，不会拷贝对象的内部的子对象。深拷贝(deepcopy)： copy 模块的 deepcopy 方法，完全拷贝了父对象及其子对象。1、b = a: 赋值引用，a 和 b 都指向同一个对象。
2021-09-30 18:00:24
78
原创 [tensorflow]TensorFlow模型如何对外提供服务
模型导出save函数实现(关键代码)def raw_infer_fn(self): c_size = self.params["field_size"] features = { 'feat_ids': tf.placeholder(tf.int64, [None, c_size], name='feat_ids'), 'feat_vals': tf.placeholder(tf.float32, [None, c_size], name='feat_va
2021-09-30 17:32:43
118
原创 【python】给dataframe.apply加加速
1. pandas提速的方法回顾如果想要让pandas提速，有两个方法1. 向量化向量化是最优的方法，具体用法参考文章：还在抱怨pandas运行速度慢？这几个方法会颠覆你的看法。举个例子，我们将向量化定义为使用Numpy表示整个数组而不是元素的计算。下面有两个数组：array_1 = np.array([1,2,3,4,5])array_2 = np.array([6,7,8,9,10])我们希望创建一个新数组，该数组是两个数组的总和，结果应该是：result = [7,9,11,13,1
2021-09-30 17:05:04
1466
原创 分类模型评价指标
评估指标评估指标用于反映模型效果，评估指标定义为模型预测结果f(X)f(X)f(X) 和 真实标注YYY的函数。 score=metric(f(X),Y)\ score = metric(f(X),Y) score=metric(f(X),Y)分类指标1.精准率和召回率预测结果预测结果正（P）负（N）真实结果正（P）TPFN真实结果负（N）FPTNTP(true positive): 真正例FP(false posi
2021-09-27 08:40:12
1175
原创 python中生成器、迭代器
迭代器迭代的概念上一次输出的结果为下一次输入的初始值，重复的过程称为迭代,每次重复即一次迭代，并且每次迭代的结果是下一次迭代的初始值什么是迭代访问集合元素的一种方式可通过 for 循环遍历的对象 叫可迭代对象数字类型 不可迭代判断对象是否可迭代： isinstance( ) 判断是否为 Iterable(可迭代对象)from collections.abc import Iterable#print(isinstance(要判断的对象，数据类型))print(isinstance([1,
2021-09-26 23:49:53
57
原创 多任务学习MTL-基本介绍（一）
多任务模型单任务模型一个模型学习一个目标，不同模型享用独立的模型空间，不同模型之间没有连接，相互独立多任务模型一个模型学习多个目标，共享同一个模型空间优势：相比于单任务模型，同时学习多个相关任务，多任务模型具有相当的优势。例如：视频推荐中的例子把点击率、时长和完播率拆分出来，形成三个独立的训练目标，分别建立各自的Loss Function，作为对模型训练的监督和指导。相关任务（1）使用相同的特征做判断的任务如果两个任务是处理输入的相同函数，但是在任务信号中加入独立的噪声，很明显这两个
2021-09-07 09:50:00
1105
原创 Linux常用命令
文件传输从外部机器向计算平台上传或下载文件，可以使用 sftp 客户端，例如 Xmanager、SSH Secure Shell Client 等本身自带的文件传输功能，或者使用 FileZilla、WinScp、FlashFTP 等的 sftp 数据传输软件（免费软件，网络容易下载， 且该软件支持断点续传，推荐使用）。在有大量文件需要下载时，建议使用 tar 命令进行打包，以加快下载速度，...
2021-09-05 15:59:56
40
转载 今日头条推荐算法原理
今日头条的内容分发算法一直颇神秘低调。自12年开发运营起进四次改版，从未透露核心内容。2018年1月，今日头条资深算法架构师曹欢欢博士，终于首次公开今日头条的算法原理，以期推动整个行业问诊算法、建言算法，希望消除各界对算法的误解。据悉，今日头条的信息推荐算法目前服务全球亿万用户。以下为曹欢欢关于《今日头条算法原理》的分享内容本次分享将主要介绍今日头条推荐系统概览以及内容分析、用户标签、评估分析，内容安全等原理。01 系统概览推荐系统，如果用形式化的方式去描述实际上是...
2021-07-14 11:53:48
290
原创 使用Excel 对 JSON 数据单一属性值进行提取
使用Excel 对 JSON 数据单一属性值进行提取Excel表格A列数据为json格式如果要提取group_id的值，使用函数=MID(A2,FIND("group_id",A2,1)+10,1)##MID(text, start_num, num_chars)- text要提取字符的文本字符串-start_num文本中要提取的第一个字符的位置-num_chars希望 MID 从文本中返回字符的个数## FIND(find_text, w...
2021-06-10 18:25:07
2778
原创 FIX:记一次pandas版本带来的错误
报错：import pandas as pdr_data1 = pd.read_csv('interim_data_1.csv', index_col=0)
2021-06-08 14:38:20
271
1
转载 Time Series Prediction with LSTM Recurrent Neural Networks in Python with Keras
Time Series Prediction with LSTM Recurrent Neural Networks in Python with Keras
2019-03-11 09:42:24
375
原创 jsp相关笔记
c:if 判断条件中能否使用变量比如varplanId=xxArray[0];<datasetseriesName='test'><c:forEachvar='item'items='${planInfos}'><c:iftest='${item.planId==planId}'><setvalue='${item.cn...
2019-03-04 17:35:26
103
原创 Chrome浏览器uploadify的JS组件报错：Uncaught TypeError: Cannot read property 'queueData' of undefined
问题：使用 uploadify 作为上传组件，出现如下问题：上传组件选择文件之后，点击上传按钮没反应。打开Chrome浏览器的console，发现报JS错误。使用其他浏览器，比如360，能正常运行，不报错。解决Chrome浏览器报错的方法：1、可能是Chrome版本问题，打开下面地址自动更新版本chrome://settings/help2、配置Chrome浏览器关...
2019-01-19 20:13:31
2431
1
转载 XGBoost相关资料
史上最详细的XGBoost实战【干货】 xgboost如何自定义eval_metric ( feval ) ？XGBoost DocumentationXGboost数据比赛实战之调参篇(完整流程)
2019-01-04 19:09:05
177
原创 pandas中dataframe常用操作笔记
#数据概览df.info()df.describe()#数据查看df.head() #查看表头df.shape() #查看行列df.dtypes #查看数据类型df["user_age_level"].hist() #查看变量分布df.isnull().sum() #查看每一列缺失值情况df['n_null'] = df.isnull().sum(axis=1) #查看每...
2019-01-04 19:05:38
1123
原创 数据预处理之标准化(Standardization)、归一化(Normalization)、中心化/零均值化(Zero-centered)
一、数据标准化的意义：1、数据的量纲不同；数量级差别很大经过标准化处理后，原始数据转化为无量纲化指标测评值，各指标值处于同一数量级别，可进行综合测评分析。如果直接用原始指标值进行分析，就会突出数值较高的指标在综合分析中的作用，相对削弱数值水平较低指标的作用。2、避免数值问题：太大的数会引发数值问题。3、平衡各特征的贡献一些分类器需要计算样本之间的距离（如欧氏距离），例如KN...
2018-12-11 10:56:37
28771
1
转载 pip 解决 ImportError: cannot import name 'main'
当 pip 更新至最新版的时候，不管是执行 pip list 还说 pip install packageName 安装包，都会抛出一个异常Traceback (most recent call last): File "/usr/bin/pip3", line 9, in <module> from pip import mainImportError: cann...
2018-12-09 19:59:55
1144
1
转载 gitignore 不起作用的解决办法
问题：现在项目的根目录放了 .gitignore 文件，并且git远程仓库的项目根目录已经有了 logs文件夹。由于每次本地运行项目，都会生成新的log文件，但是我并不想提交logs文件夹里面的内容，所以要在.gitignore写logs的规则。我尝试过添加以下规则logs/*.loglogs//logs/但是运行git status的时候，始终能看到modified:log...
2018-10-26 13:42:11
134
原创 Tomcat不自动解压war包
将war包放到webapps目录下，启动tomcat，发现并不能自动解压检查一下两个位置一：进入tomcat/conf下server.xml将<Host name="localhost" debug="0" appBase="webapps" unpackWARs="true" autoDeploy="true">unpackWARs：自动解压autoDeploy
2018-10-26 13:39:47
24563
2
原创 无法启动MySQL服务报错1067的解决方法
还是之前的问题，服务器mysql启动不了，前面一篇博客（用ibd文件恢复mysql数据库数据）已经在不启动数据库的情况下恢复了数据。恢复之后，需要重装mysql，本来想借助mysql installer修复或者卸载，都失败了。问题如何解决？还是从err文件入手查看.err文件：[ERROR] Fatal error: Can't open and lock privilege ...
2018-10-21 15:36:52
7619
原创 java文件上传的两种方式的一些问题
接触到一个项目，一个java web项目，据说是十几年的写的代码，现在打算做新版本，先要我们项目组解决一下就版本代码里面的bug，以便现在的日常使用。主要的bug是文件上传失败打断点跟踪了一下，发现了问题：SpringMVC中servletFileUpload.parseRequest(request)解析为空获取不到数据问题代码中在控制器里面自己完成request的解析，又在Spri...
2018-10-20 15:13:43
720
原创 本地计算机上的MySQL服务启动后停止。某些服务在未由其他服务或程序使用时将自动停止
今天启动mysql突然报这个错，百度了一下，产生这个问题的原因很多种，解决办法也各不同。最靠谱的办法是查看.err文件，查具体原因一看就明白了，因为在数据文件里面的两个不同文件夹下都有对应这个数据库的.ibd（原因是人为造成的，前一篇文章中为了恢复数据，把新旧数据文件放到了一个文件夹下面）解决办法也很简单，只用将旧的数据文件移除当前文件...
2018-10-18 09:58:23
1671
转载 使用Git命令把本地项目上传到Github托管
1、执行命令：git init该命令是在你的项目目录下初始化一个repository，执行成功后，会在你的目录下生成一个.git的隐藏文件。2、执行命令：git add .注意该命令后面有一个“.”,小点。表示把该目录下的所有文件加入到本地暂存区中。执行成功后不会有任何提示3、执行命令：git status该命令会把你本地工作区和暂存区的版本进行比较，查看当前的状态。我下面的状...
2018-10-16 14:21:49
142
原创 用ibd文件恢复mysql数据库数据
问题：服务器上mysql数据库损坏报错：查看.err文件：[ERROR] Fatal error: Can't open and lock privilege tables: Table 'mysql.user' doesn't exist发现mysql.user文件的确丢失了，，，，现在的首要任务是恢复数据，尝试在无法启动服务的情况下恢复数据 现状：本地保存有很久之前的备...
2018-10-16 10:55:02
2252
原创 JZGB项目导入（idea导入eclipse项目）
大佬拍坑：JZGB项目导入手册https://blog.csdn.net/qq_26769591/article/details/80105262补充一点一直访问不到数据库，因为web.xml路径和web resource directory配置不正确下图为正确示范...
2018-10-15 11:22:10
227
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人