- 博客(69)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 matplotlib画图- 时间序列折线图
今天做了一下毕设的图（关于结果比较的 时间序列图）首先我说明 找了半天的博客 没有找到好的方法做x轴为datetime，很麻烦 所以我打算做int32类型的，但发现没法转换 结果采用特殊方法解决的1.数据集查看int64有个问题：就是在x轴的时候会出现0.52.将year转换为indexa = data.set_index(['YEAR'])a.indexInt64Inde...
2019-03-17 16:23:24
9910
1
转载 pd.DataFrame(basis)
>>> import pandas as pd>>> d = {'col1': [1, 2], 'col2': [3, 4]}>>> d{'col1': [1, 2
2019-03-12 21:39:32
352
转载 python -- map / lambda usage
参考代码的时候遇到 map() & lambda 的结合 感觉有点困惑 特此记录下来问题 testPredict = y_test_predicted.reshape(4, ) #If x>1.0 --> x=1.0; If x<0.0 --> x=0.0 testPredict = map...
2019-03-12 20:24:43
236
原创 dataprocessing series2
1.将时间序列转换为监督数据关键函数df.shift()建议参考blog实际上df.shift()函数可以将当前列的值拷贝并按照输入的参数(表示step)来填充NaNfrom pandas import DataFramedf = DataFrame()df['t'] = [x for x in range(10)]print(df)from pandas import ...
2019-03-11 16:38:16
236
转载 使用Keras进行LSTM模型 practice
如何将原始数据转换为合适处理时序预测问题的数据格式如何准备数据并搭建LSTM来处理时序预测问题如何利用模型预测1.使用数据来源该数据集来自kaggle竞赛的空气质量数据集 数据集来源数据集包括日期、PM2.5浓度、露点、温度、风向、风速、累积小时雪量和累积小时雨量。原始数据中完整的特征如下：noenglishchinese1.No行数2.year年...
2019-03-11 12:41:23
6138
转载 tensorboard详解
1.填写普通的cnn网络 制作普通的网络# coding=UTF-8import warningswarnings.filterwarnings('ignore') # 不打印 warningimport tensorflow as tf# 设置GPU按需增长config = tf.ConfigProto()config.gpu_options.allow_growth = ...
2019-03-11 10:34:50
3447
原创 pandas_ load_data 处理环节
1. astypeastype参考 进行强制转换2. df.__delitem__df.__delitem__是删除列名称3.df.columns 修改列label>>> df2.columnsIndex(['name', 'max_speed', 'rank'], dtype='object')>>&am
2019-03-10 16:19:04
1657
原创 pandas 基础设置(pd.values) data_preprocessing(缺失值)
本文是在做毕业设计 预处理部分的实践 参考pandas官方文档df.values#例子1>>> df2 = pd.DataFrame([('parrot', 24.0, 'second'),... ('lion', 80.5, 1),... ('monkey', np.na
2019-03-10 15:13:13
9783
原创 LSTM& RNN模型学习（principle & practice）
这个月忙着毕设 ， 做的是森林覆盖率的预测 使用的深度学习模型LSTM 之前是小白（虽说现在也是） 趁着有时间 就把今天学习的内容 巩固回顾一下好了1.RNN(Recurrent Neural Network)首先想说，LSTM其实是RNN的一个变种，由于其解决了rnn网络模型的某些问题，更加广泛应用，因此大范围情况下主要使用的是LSTM.先从RNN介绍RNN:拿说话举例子：如果需要预测下...
2019-03-09 21:49:14
349
转载 数据分析与挖掘建模实战-单因子探索分析与可视化
理论铺垫:集中趋势(数据聚拢的衡量)均值：连续值的 中位数：异样值 衡量集中趋势 分位数：和其他几个值综合使用 众数：离散值Q1 = (n+1) * 0.25Q2 = (n+1) * 0.5Q3 = (n + 1) * 0.75离中趋势σ=1N∑i=1N(xi−μ)2\sigma = \sqrt{\frac{1}{N}\sum_{i=1}^{N}(x_{i} ...
2019-01-05 23:03:27
339
转载 数据分析与建模挖掘- 数据获取
数据获取手段数据仓库检测与抓取填写 日志 埋点计算数据仓库分析仅靠运行的数据库无法完成 数据更改 减少冗余需要把用户的操作过程如实记录 并长期保留将所有业务数据经汇总处理 构成数据仓库(DW)全部事实记录(全面 完备的 尽可能详细的)部分维度与数据的整理(数据集市 DM)（方便以不同维度抽取和整理）不可能全部抽取DB VS DWD...
2019-01-05 21:47:27
733
转载 jupyter notebook自动补齐功能安装重建
1.进入想要安装的环境2.安装nbextensionspip install jupyter_contrib_nbextensions -i https://pypi.mirrors.ustc.edu.cn/simplejupyter contrib nbextension install --user3.安装nbextension_configuratorpip install -...
2019-01-05 20:35:54
778
1
转载 使用conda配置管理 安装tensorflow scrapy
管理指令常用指令:# 检查当前环境conda info -e# 创建新的环境并指定python版本conda create -n env_name python=2.7# 切换环境activate env_name# 退出环境deacticate env_name# 移除环境conda remove -n env_name --all管理安装包# 安装包cond...
2019-01-05 20:32:17
212
转载 lintcode - Array算法题
1.合并数组题目要求:合并两个排序的整数数组A和B变成一个新的数组。给出A=[1,2,3,4]，B=[2,4,5,6]，返回 [1,2,2,3,4,4,5,6]你能否优化你的算法，如果其中一个数组很大而另一个数组很小？思路:思路:只需要从后往前比较就可以了 public static void mergeSortedArray(int[] A, int[] B) { //...
2018-12-11 09:59:47
394
转载 jupyter notebook 安装下载处理conda环境
1.进入需要选择的环境source activate 环境名称2.下载环境modelconda install ipykernel3. 将环境写入notebook的kernel中python -m ipykernel install --user --name 环境名称 --display-name "Python (环境名称)"4.open jupyter notebookj...
2018-12-10 10:26:50
755
原创 论文--图片(上传)
森林覆盖率预测比较LSTM和SE模型图表Figure 4. Forest cover projection performance produced from LSTM and SE from 2011 to 2014 at both national and state scales.
2018-12-09 13:34:54
526
转载 tensorflow.python.framework.errors_impl.InvalidArgumentError: You must feed a value for placeholder报
上图这个其实和placeholder没有多大的关系在使用TensorBoard进行可视化的时候，出现了上面描述的错误。这个错误和dtype没有关系。目前个人理解为是当前路径下不能存在一个以上的events文件。解决方案有以下几个：到存储的路径下把之前生成的文件给删了；引用自别人的评论：if you’re using IPython or Jupyter, it’ll cause t...
2018-12-08 19:07:51
9274
转载 Markdown中输入数学公式及LaTex常用数学符号整理
1 Markdown 中使用LaTex基础语法2 常用数学表达命令2.1 指数和下标2.2 平方根和n次方根2.3 上下水平线2.4 上下大括号2.5 向量2.6 其他3 矩阵编辑3.1 带括号的矩阵 \left \right3.2 带括号的矩阵 \bmatrix \Bmatrix3.3 带括号的矩阵 \vmatrix \Vmatrix3.4 带省略号的矩阵3....
2018-12-03 10:35:02
746
转载 JupyterNotebook导出pdf解决中文问题
1.将ipynd编译成tex建议将其放在桌面处理ipython nbconvert —to latex pdf.ipynb2.修改tex双击打开转换的文件在\documentclass{article}后面插入\usepackage{fontspec, xunicode, xltxtra}\setmainfont{Microsoft YaHei}\usepackage{cte...
2018-12-02 19:06:57
4781
2
转载 利用python进行数据分析-numpy入门
4.1Numpy的ndarray4.2通用函数：快速的元素级数组函数4.3利用数组进行数据处理4.4用于数组的文件输入输出4.5线性代数4.6伪随机数生成4.7示例 随机漫步对于数据分析而言，最关注的功能主要集中在:用于数据整理和清理、子集构造和过滤、转换等快速的矢量化数组运算。常用的数组算法，如排序、唯一化、集合运算等。高效的描述统计和数据聚合/摘要运算。...
2018-11-28 19:21:32
1971
原创 GEE first step(安装Anaconda版本 windows7下)
由于毕设要做GEE(google earth engine)的项目，在此先记录一波自己的学习历程，从0开始这篇主要是讲解搭建环境的 请各位大神不要喷我使用python2.7版本这个是必须的 由于google官方网站上面google-api github链接github 的下载截图1.下载完后 解压缩 到anaconda的文件目录中2.开启cmd并且安装文件3.开启goog...
2018-11-15 19:19:17
900
2
原创 APS for Projects
1.Project of Computer Organizationpurpose:use the hardware description language Verilog to design & implement a one-cycle CPU that can support common instruction types .(e.g.) add rd ...
2018-11-09 10:56:35
530
原创 APS For Internet of Things Engineering(CS speciality) - Junior year
1.computer architecture1.1working principle of scalar & the time/space diagramNormally,the instruction is divided into 5 parts,namely IF ID EXE MEM WB,in the pipelines,these parts are often used...
2018-11-06 11:19:59
4816
原创 MySQL时间函数-运算篇
1.DATE_FORMAT格式date_format用法格式描述%a缩写星期名%b缩写月名%c月，数值%D带有英文前缀的月中的天%d月的天，数值（00-31）%e月的天，数值（0-31）%f微秒%H小时（00-23）%h小时（01-12）%I小时（01-12）%i分钟，数值（00-59）%.
2018-09-25 16:18:15
759
原创 B+树索引的使用
1.B+树索引1.1不同应用中B+树索引的使用OLTP:查询操作只从数据库中取得一小部分的数据，一般可能都在10条记录以下，或者1条记录是建立B+树索引最有意义的，否则即使建立了，优化器可能选择不使用索引。OLAP:需要访问表中大量的数据 根据这些数据来产生查询结果，这些查询多是面向分析查询，并提供给决策者。对于OLAP复杂查询，要涉及多张表之间的连接，索引添加依然有意义。 但是Hash ...
2018-09-19 08:31:21
1822
原创 coursera无法播放问题win7
1.在目录中查找文件C:\Windows\System32\drivers\etc2.将以下内容附加给host文件中52.84.246.90 d3c33hcgiwev3.cloudfront.net 52.84.246.252 d3c33hcgiwev3.cloudfront.net 52.84.246.144 d3c33hcgiwev3.cloudfront.net 52.84....
2018-09-18 09:28:35
513
原创 B+树 && B+树索引&&Cardinality值 ----- InnoDB存储引擎内幕
1.二叉查找树&平衡二叉树B+树由二叉查找树+平衡二叉树演化而来1.1下面来简单介绍一下二叉查找树例子:上图中:数字代表每个节点的键值特点:1.左子树的键值总是<右子树的键值2.右子树的键值总是>左子树的键值若对该树进行查找，如查键值为5的记录，先找到根6 因为6>5 往左子树找 得到3 &am
2018-09-17 21:49:45
269
原创 sql经典题50例（学生表篇）（上）
这周开始徒手练习sql语句 对着上篇的sql学习路径跟上一遍 现在上建表sql语句SHOW CREATE TABLE COURSE– 1.学生表Student(SNO,Sname,Sage,Ssex) – SNO 学生编号,Sname 学生姓名,Sage 出生年月,Ssex 学生性别– 2.课程表 Course(CNO,Cname,TNO)...
2018-09-15 11:31:07
11709
1
转载 SQL语句学习过程
一、基础理论篇目的： 1.了解建立数据库的意义，为什么不能用excel而需要用数据库？以及有哪些方面的应用？ 2.数据库系统在整个网站中处于一个什么位置？在数据后台如何调用数据库的数据？ 3.数据库的应用范围？什么时候才不得不使用数据库？什么时候数据库也不灵了？（大概10万条就可以使用了，千万级的就到极限了，这玩意谁知道了） 4.表与表之间存在着怎样的逻辑？理解实体、关系、主键、外键。...
2018-09-12 13:30:25
1094
转载 [小结]InnoDB体系结构及工作原理
参阅：《innodb存储引擎内幕》 原创文章，会不定时更新，转发请标明出处：http://www.cnblogs.com/janehoo/p/7717041.html 一、概述： innodb的整个体系架构就是由多个内存块组成的缓冲池及多个后台线程构成。缓冲池缓存磁盘数据（解决cpu速度和磁盘速度的严重不匹配问题），后台进程保证缓存池和磁盘数据的一致性（读取、刷新），并保证数据异常宕机时...
2018-09-10 15:00:14
476
原创 python scrapy框架爬取豆瓣top250电影篇一代理编写
爬虫伪装:UA中间件编写 settings设置 from scrapy import signalsimport base64import randomclass my_useragent(object): def process_request(self,request,spider): USER_AGENT_LIST = [ ...
2018-09-09 16:21:00
517
原创 python scrapy框架爬取豆瓣top250电影篇一存储数据到mongogdb | mysql中
存到mongodb中环境windows7mongodb4.0mongodb安装教程 设置具体参数 在管道里面写具体参数 打开settings 设置参数 测试开始–结果 代码import pymongofrom douban.settings import mongo_host,mongo_port,mongo_db_name,mongo...
2018-09-09 16:12:10
764
原创 python scrapy框架爬取豆瓣top250电影篇一明确目标&&爬虫编写
1.明确目标1.1在url上找到要爬取的信息 1.2.确定了信息,编写items文件class DoubanItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() serial_number = s...
2018-09-09 15:25:21
893
原创 markdown黑色背景代码生成（良心版）
1. 获得代码的html5格式<p class=MsoNormal align=left style='text-align:left;mso-pagination:widoworphan;tab-stops:45.8pt 91.6pt 137.4pt 183.2pt 229.0pt 274.8pt 320.6pt 366.4pt 412.2pt 458.0pt 503.8pt 54...
2018-09-09 14:48:11
5558
原创 python scrapy框架爬取豆瓣top250电影篇一Windows下建立Scrapy项目，pycharm编辑
1、打开cmd，进入到项目准备所放在的文件夹，执行命令：scrapy startproject douban然后就可以使用pycharm打开项目了 2、建立spider文件 cmd命令行进入到项目的spiders文件夹，执行： scrapy genspider douban_spider urlscrapy genspider douban_spider movie.do...
2018-09-09 14:19:44
714
原创 python scrapy框架爬取豆瓣top250电影篇一scrapy原理介绍
ScrapyScrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。...
2018-09-09 13:47:09
846
原创 scrapy crawl spider执行报错(windows)
1.SyntaxError: invalid syntax调用的addoutput里面的也要将async参数更改为shark，因为下面的if判断，源码里面都是用的shark，又不是async，识别不了async def write(self, data, shark=False): self.handler.addOutput(data, shark) ...
2018-09-08 14:57:50
475
转载 判断二叉树是否平衡问题
题目描述实现一个函数，检查二叉树是否平衡，平衡的定义如下，对于树中的任意一个结点，其两颗子树的高度差不超过1。 给定指向树根结点的指针TreeNode* root，请返回一个bool，代表这棵树是否平衡。给出数据结构:public class TreeNode { int val = 0; TreeNode left = null; TreeNode ri...
2018-09-08 11:35:49
371
原创 python爬取douban读书
通过两天的速成学习，自己写了py的代码来爬豆瓣。 要注意的还是很多的cookie User-Agent 还有字符串编辑问题- （使用的是pycharm 记得设置字符格式为UTF8）# -*- coding: UTF-8 -*-import threadingimport pymongoimport requestsimport reimport randomimport tim...
2018-09-07 13:54:46
241
转载 正则表达式-py爬虫篇
re.match re.match试着从字符串的起始位置匹配一个模式， 若不能从起始位置匹配成功，match()就返回none.常见匹配import recontent = 'Hello 123 4567 World_This Demo'res = re.match('^Hello\s\d\d\d\s\d{4}\s\w{10}\sDemo$', cont...
2018-09-06 14:45:53
193
数据分析|scipy_np|推荐系统实践|机器学习与挖掘经典
2019-03-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人