- 博客(39)
- 收藏
- 关注
RSS订阅原创 matplotlib画图
相关文章matplotlib画图常用操作Python绘图问题：Matplotlib中指定图片大小和像素Python–matplotlib绘图可视化知识点整理源数据加载相关依赖包import matplotlib.pyplot as pltimport pandas as pdimport matplotlib.ticker as ticker取数据df = pd.read_csv('C:/users/20005818/股价历史数据.csv')date = df.loc[:
2021-12-04 14:36:33
1360
原创 Pandas相关数据处理
Dataframe的使用源数据最终输出源数据读取数据df = pd.read_csv('C:/Users/items/WorkRelated/items.csv')取某列等于某个值的数据df_app = df[df['channel']=='app'] #取渠道为app的数据取某列为NULL的数据注意这里，在python中是没有NULL的，python读取csv中的null为NaN# pd.isna()返回的是bool值，为空的返回True，否则为False, df_ap
2021-11-17 11:39:54
593
原创 Anaconda安装tensorflow相关库
Anaconda安装库pip install pandas出现以下错误pip._vendor.urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool(host=‘pypi.tuna.tsinghua.edu.cn’, port=443): Read timed out.则更换pip --default-timeout=100 install pandas -i http://pypi.douban.com/simple/ --truste
2021-07-06 15:04:13
294
原创 python2 ‘ascii‘ codec can‘t encode / decode 错误
参考：Python 2.x 中的 ‘ascii’ codec can’t encode / decode 错误用Python 2.x会经常碰到一个错误:UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-3: ordinal not in range(128)原因：在Python中把一个Unicode类转化为 0 和 1 的过程叫做Encoding。 把 0 和 1 反转为Unicode类的过程叫做Deco
2020-07-13 16:53:17
752
原创 使用spark-submit部署应用
Spark运行时架构在分布式环境下，Spark集群采用的是主/从结构。在一个Spark集群中，有一个驱动器（driver）节点和一个执行器（executor）节点。Spark应用通过一个叫做集群管理器（Cluster Manager）的外部服务在集群中的机器上启动。Spark自带的集群管理器被称为独立集群管理器。Spark也能运行在Hadoop Yarn和Apache Mesos这两大开元集群管理器上。集群管理器Spark依赖于集群管理器来启动执行器节点，而在某些特殊情况下，也依赖集群管理器来启动驱动
2020-06-16 16:53:58
458
原创 自定义变量并赋值
自定义变量app_ids = ['12','13','26']for app_id in app_ids: exec('clkmap{} = {}'.format(abs(int(app_id)), {})) # 自定义变量 exec('impmap{} = {}'.format(abs(int(app_id)), {}))赋值自定义变量for app_id in app_ids: with open('{}/{}/click_fm/{}/click_{}.log'.f
2020-06-10 15:15:27
1441
原创 python 对各app用多进程方式自动化建模并推送线上
multiprocessing模块，同时提供本地和远程并发，使用子进程代替线程，有效避免Global Interpreter Lock 带来的影响。因此， multiprocessing 模块允许程序员充分利用机器上的多个核心。Linux 和 Windows 上都可以运行。HDFSAppid.py# -*- coding: utf-8 -*-import osimport datetimeimport sysimport sys, getopt"""今天"""date = (dateti
2020-06-09 18:38:00
227
转载 argparse模块
argparse模块argparse是一个Python模块：命令行选项、参数和子命令解析器。argparse模块可以让人轻松编写用户友好的命令行接口。程序定义它需要的参数，然后argparse将从syas.argv解析输入的参数。使用流程创建解析器parser = argparse.ArgumentParser(description='Process some integers.')使用argparse的第一步是创建一个ArgumentParser对象。ArgumentParser对象
2020-06-08 15:50:09
202
原创 将模型文件及schema推至redis
将模型文件及schema推至redis发版：# -*- coding: utf-8 -*-import pandas as pdimport osfrom datetime import datetimeimport redisimport hashlibimport sysdef getTextFile(path): data = '' with open(path) as f: data = f.read() f.closed retur
2020-06-04 11:53:19
418
原创 linux连接mysql，并发送dataframe至邮件
首先确保该机器上安装了mysql假设mysql安装在进入mysql cd /data/app/mysql-8.0.13-linux-glibc2.12-x86_64连接mysql bin/mysql -h数据库的ip地址 -u用户名 -p用户密码查看数据库 show schemas;进入其中某个数据库 use 数据库或者明确要进入某个数据库直接可以 bin/mysql -h数据库的ip地址 -u用户名 -p用户密码 数据库查看该数据库下的表名 show tables;下面直接对该数据库下的
2020-06-02 11:53:02
429
原创 git操作手册
Git SSH 配置Git安装完之后，需要做最后一步配置，如果你没有做这项配置，是没有git公钥和私钥的，而上传代码到远程仓库的时候需要秘钥进行验证是否本人上传的，想要创建可以使用下面的方法：打开git bash，分别执行以下两句命令git config --global user.name “用户名”git config --global user.email “邮箱”如果代码是要上传到公司的远程仓库，那么这里填公司邮箱密码SSH打开git bash使用 cd ~/.ssh 可以查看是
2020-05-22 15:35:10
171
原创 权限操作
hadoop 集群上：新建文件 sudo -u hdfs hadoop fs -mkdir /ctrp/test修改权限修改文件拥有者 sudo -u hdfs hadoop fs -chown hdfs:supergroup /ctrp/test服务器本地上：新建文件：mkdir 文件（在响应路径下）修改权限：chomd 777 文件修改文件拥有者：chmod...
2019-08-30 16:53:05
641
转载 NLP学习资料汇总
自然语言处理的一些读书笔记和自己的思考一文搞懂HMM（隐马尔可夫模型）隐马尔科夫模型HMM（一）HMM模型HMM超详细讲解+代码模式识别、计算机视觉、机器学习领域的顶级期刊和会议（整理）自然语言处理领域国内外著名会议和期刊...
2019-04-04 17:43:39
379
转载 pycharm最新注册码【激活码】、在线激活 pycharm 完整方法（亲测有效）
pycharm最新注册码【激活码】、在线激活 pycharm 完整方法（亲测有效）
2019-03-12 16:41:21
14937
转载 利用tensorflow时gpu显存、利用率等的查看且预估
深度学习中 GPU 和显存分析浅谈深度学习:如何计算模型以及中间变量的显存占用大小使用Tensorflow或Keras时对GPU内存限制tensorflow 多GPU编程 完全指南tensorflow显存不够使用如何解决（windows系统）...
2019-03-05 17:38:47
4897
原创 Linux安装Anaconda+Tensorflow
Linux安装Tensorflow:先安装anaconda：参照https://my.oschina.net/bysu/blog/1476276中的windows版本从国内清华大学开源软件镜像站进行下载并配置镜像，选择linux版的，然后上传到Xftp上，在Xshell的终端，写入：bash + 空格 +我们刚下载的文件名；然后一直按 enter键，最后输入yes表示同意协议；然后再e...
2019-01-29 19:04:15
1847
转载 NLP序列标注&命名实体识别相关算法
结构学习：序列标注维特比算法（一）维特比算法（二）CRF算法简介入门TensorFlow教程——Bi-LSTM+CRF进行序列标注（代码浅析）自然语言处理PPT笔记-NLP数学基础Tensorflow进行POS词性标注NER实体识别 - 构建LSTM网络进行序列化标注自然语言处理3 – 词性标注命名实体识别(NER)...
2019-01-22 14:45:05
1839
转载 改善神经网络
【改善神经网络】Lesson 1–深度学习的实用层面【改善神经网络】Lesson 2–优化算法【改善神经网络】Lesson 3–超参数调试、batch正则化与程序框架 深度学习GPU...
2019-01-22 14:33:16
342
转载 词向量的相关博文
理解GloVe模型（Global vectors for word representation）【序列模型】第二课–自然语言处理与词嵌入word2vec（基于负采样的skip-Gram模型）—— python3 实现方案word2vec 中的数学原理详解（五）基于 Negative Sampling 的模型【番外】负采样原理词向量简介word2vec 中的数学原理详解（四）基于 Hi...
2018-12-25 14:55:23
217
转载 理解GloVe模型（Global vectors for word representation）
转载自https://blog.csdn.net/coderTC/article/details/73864097理解GloVe模型概述模型目标：进行词的向量化表示，使得向量之间尽可能多地蕴含语义和语法的信息。输入：语料库输出：词向量方法概述：首先基于语料库构建词的共现矩阵，然后基于共现矩阵和GloVe模型学习词向量。开始统计共现矩阵训练词向量结束统计共现矩阵设共现矩阵为...
2018-12-25 14:23:31
598
转载 文本分类的卡方检验
https://www.cnblogs.com/dacc123/p/8746247.html（洪秀全的中国近代史的关系）H0:二者无关系，计算期望值时，也是基于H0做的https://blog.csdn.net/zfcjhdq/article/details/83512680...
2018-12-19 16:11:41
1360
转载 CNN做NLP
https://blog.csdn.net/malefactor/article/details/51078135（自然语言处理中CNN模型几种常见的Max Pooling操作）https://www.jianshu.com/p/594d1984fbd9（用CNN做句子分类：CNN Sentence Classification (with Theano code)）https://blog....
2018-12-03 17:43:10
590
转载 Tensorflow加载预训练模型和保存模型
https://blog.csdn.net/huachao1001/article/details/78501928（加载预训练模型包括中间变量）https://blog.csdn.net/lenbow/article/details/52181159（Tensorflow一些常用基本概念与函数）https://blog.csdn.net/liuxiao214/article/details/...
2018-11-29 18:30:59
323
转载 梯度爆炸和梯度裁剪（tensorflow）
https://blog.csdn.net/guolindonggld/article/details/79547284（TensorFlow教程——梯度爆炸与梯度裁剪）https://blog.csdn.net/mmc2015/article/details/79419365（梯度截断的tensorflow实现）https://www.imooc.com/article/42541（tens...
2018-11-29 15:01:10
1079
转载 Tensorboard使用方法文章
Tensorboard使用方法文章https://blog.csdn.net/sinat_33761963/article/details/62433234https://blog.csdn.net/aliceyangxi1987/article/details/71716596https://blog.csdn.net/aliceyangxi1987/article/details/...
2018-11-28 15:24:17
146
转载 tensorflow-LSTM
lstm预测的有用文章https://blog.csdn.net/junjun150013652/article/details/81331448（tf.nn.dynamic_rnn详解，包含多重lstm的隐藏层）https://blog.csdn.net/zSean/article/details/75057806（Tensorflow中tf.get_variable和tf.variab...
2018-11-28 15:23:50
165
转载 csdn的收藏和关注地址
my.csdn.net/my/favoritehttp://my.csdn.net/my/follow转载自https://blog.csdn.net/pengcheng_liu/article/details/46593559
2018-09-02 10:30:43
129
转载 python中if ____name____ == '____main____'
转载自https://www.cnblogs.com/rossoneri/p/4446440.html python中if _name_ == ‘_main_’ python 中_name_ = ‘_main_’ 的作用，到底干嘛的？有句话经典的概括了这段代码的意义：“Make a script both importable and executable”意思就是说让你写的脚本模...
2018-06-05 19:01:40
257
转载 浙大数据结构最大子列和问题（分而治之、在线处理算法）
转载自https://blog.csdn.net/jimtrump/article/details/72782852问题描述： 问题分析：对于一般的问题，原始解 都能通过一种 蛮力算法，即穷举法的思想得到。这题也不例外。 如果我们，把输入的数组，所有的子列都历遍，并从中找出最大，即可得出我们的算法。也就是版本一。学习要点：1、如何寻找代码中的可改进点 2、通过改进代码，得到更有效的算法 3、了解 ...
2018-05-30 10:38:36
1645
2
转载 详解Mysql中的JSON系列操作函数
转载自：http://www.jb51.net/article/89219.htm前言JSON是一种轻量级的数据交换格式，采用了独立于语言的文本格式，类似XML，但是比XML简单，易读并且易编写。对机器来说易于解析和生成，并且会减少网络带宽的传输。JSON的格式非常简单：名称/键值。之前MySQL版本里面要实现这样的存储，要么用VARCHAR要么用TEXT大文本。 MySQL5.7发布后，专门设计...
2018-05-14 11:22:56
3768
转载 机器学习中特征降维和特征选择的区别
转载自：http://blog.csdn.net/computerme/article/details/39157073在machine learning中，特征降维和特征选择是两个常见的概念，在应用machine learning来解决问题的论文中经常会出现。 对于这两个概念，很多初学者可能不是很清楚他们的区别。很多人都以为特征降维和特征选择的目的都是使数据的维数降低，所以以为它们是...
2018-05-11 14:12:27
1298
1
转载 基于Keras/Python的深度学习模型Dropout正则项
原文：Dropout Regularization in Deep Learning Models With Keras 转载于http://geek.csdn.net/news/detail/86382作者：Jason Brownlee 翻译：赵屹华 责编：周建丁（投稿请联系[email protected]）dropout技术是神经网络和深度学习模型的一种简单而有效的正则化方式。本文将向你介绍dr...
2018-04-16 20:41:12
583
原创 python numpy.random生成随机数组
转自http://blog.csdn.net/healthy_coder/article/details/50502643研究排序问题的时候常常需要生成随机数组来验证自己排序算法的正确性和性能，今天把python生成随机数组的方法稍作总结，以备以后查看使用。一、使用random模块生成随机数组python的random模块中有一些生成随机数字的方法，例如random.randint
2018-01-26 16:07:50
30509
原创 pickle.dumps序列化-量化
前言：pickle的功能就是把你上次计算得到的数据保存起来，当你需要使用这些数据时，直接通过reload把数据恢复了就行，这样的好处有：被pickle的数据，在被多次reload时，不需要重新去计算得到这些数据，这样节省计算机资源，如果你不pickle，你每调用一次数据，就要计算一次。通过pickle的数据，被reload时，可以更好的被内存调用，不需要经过数据格式的转换。（即
2018-01-18 14:27:45
1082
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人