自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(66)
  • 资源 (33)
  • 收藏
  • 关注

原创 oracle分组排序筛选

oracle分组排序筛选是不是遇到过这样的场景,我们要按某条件进行分组,分组后对每个组中再按一定条件排序,然后我们再选出每组符合条件的数据,比如我们有一张表,这张表里记录了全班所有人的所有学科的成绩,每条记录中只有一科的成绩,现在要查出每个学科的最高分。思考既然要分组,自然会想到 group by, 通过group by 按学科分组,然后再排序,再筛选最高分:然而group by 是统计函数 ,经过group by ;在创作中心设置你喜爱的代码高亮样式,Markdown 将代码片显示选择的高亮样

2020-09-29 16:23:06 715

原创 flask学习

flask项目在本地可以运行,但是部署到服务器上就无法访问了,首先确保了相关端口已打开。本地运行app.run()查询后得知需要设置host参数服务器运行app.run(host = ‘0.0.0.0’)程序报错(run() got an unexpected keyword argument‘host’)。查询问题原因,manager管理就好了manager = Manager(app)manager.run(host = ‘0.0.0.0’)依然报错(run()

2020-07-14 14:28:07 280

原创 oracle 导入文件

在oracle中导入dmp文件的数据效率是非常快的,但是遇到了以下问题:一情况下这样时对的imp cups1/cups1@tmp file=/home/devtest/11175_GCS+CUPS/yw_cups_ylfile_coma.dmp ignore=y full =y但是当用户不同时,即导出数据的用户和现在导入的用户不一致时需要加上 fromuser=test1 touser=test2但是直接加在上面的命令后面就错了,当去掉full=y就成功了,full 参数表示的是什么:全

2020-07-13 10:10:01 524

原创 oracle 大数据量查询

之前一直看到一些关于oracle优化的方法,但是数据量比较小时都不太关注这些,但是真正遇到这些问题,大数据量时如果sql写的不合适,效率将非常低,浪费我们大量的时间。统计总数差不多从学sql开始就知道count(*)可以用来统计总数,但是同一记录统计总数的sql不同差别也很大,我们在700多万的一个表里执行count(*)耗时70多秒,count(1)耗时50多秒,count(索隐列)耗时7秒,可以看出差别还是很大的。统计不在某范围的数据not...

2020-07-01 16:12:23 1986

原创 oracle锁表

查询oracle锁表select object_name as 对象名称,s.sid,s.serial#,p.spid as 系统进程号 from v$locked_object l , dba_objects o , v$session s , v$process p where l.object_id=o.object_id and l.session_id=s.sid and s.paddr=p.addr;杀掉相关的进程alter system kill session '1217,1821'

2020-06-30 14:54:00 194

原创 Oracle中分页查询问题

最近在使用oracle分页时遇到了一个问题,查询第一页的数据会在第二页中出现,好奇怪,如果不分页,查询全部是没有重复数据的,之前测试的数据分页也没有问题,突然就发现重复数据,是数据的问题?程序的问题???,后来查询发现是程序的问题,程序中在分页查询中时使用默认排序,这样每次查询的顺序就可能不一样,后来查询后明白要用唯一主键进行排序,这样的顺序就是唯一的,就不会出现重复。所以在以后分页时必须...

2020-05-23 18:11:12 673

原创 oracle重复数据处理

oracle查询重复数据select * from test where id in (select id from test gruop by id having count(id)>1)select * from test where id,name in (select id name from test gruop by id ,name having count(*)>1)oracle 重复数据删除,保留id最小的记录delete f.

2020-05-19 11:27:13 298

原创 oracle 主键、唯一键值、唯一索引关系

一般都认为一条数据在表中通过主键字段来唯一确定,但是有时候表中并不存在主键,但是重复数据插入也会报错,查看表结构发现,通过建立唯一键值也可以达到之一目的,但是最近有遇到数据库中没有唯一键、主键,重复数据插入也会报错,查询后发现存在唯一索引,也达到了数据唯一的目的(1)主键约束和唯一键约束均会隐式创建同名的唯一索引,当主键约束或者唯一键约束失效时,隐式创建的唯一索引会被删除;(2)主键约束要求列...

2020-01-14 17:14:21 1498

原创 crontab定时任务

crontab-e编辑定时任务*/1 * * * * bash /root/test/test.sh 每分钟执行一次test.sh 脚本在test.sh 中 我们可以如下编辑:echo ‘hello’>>1.txt 输出hello到1.txt文件crontab-l 展示当前的定时任务crontab-r 删除定时任务find ./ -name ‘*erty’ -d ...

2020-01-14 16:25:06 153

原创 github搜索技巧

昨天无意间在b站看到一个将GitHub搜索技巧的视频,之前自己也搜过,不过就和在百度里搜索一样,输入关键字然后搜索,然后找前面星比较多的看看,但是这样搜索不精确,有时候很难搜到想要的结果,由于GitHub是英文的网站。很多国内的项目都是英文命名的,用中文去搜素效果并不好,但是这些项目可能会在readme或者description里面用中文解释一些项目相关的东西,这样如果我们可以直接搜readme或...

2020-01-01 15:50:03 249

原创 Java日期中yyyy和YYYY

关于日期格式yyyy-MM-dd和YYYY-MM-dd最近听同事说手机银行查询交易明细时查不到数据,也就是最近几天的事,之前一直能查出来,我第一反应是不是数据量太大或者数据有问题,最后听说是Java中日期格式化时“yyyy”和"YYYY"造成的,其实一般情况下这两种格式的结果是一样的,也没有去深究过,但是这次就是因为遇到特殊情况了,在某一周中如果出现跨年(从周日开始到下周周六),年份就是下一年的...

2020-01-01 14:05:58 1702

原创 nginx使用记录

nginx使用记录使用过程背景使用过程nginx是一款轻量级的http和反向代理服务器,常被用作代理服务器(包括正向代理和反向代理)和负载均衡。背景现在需要把http的请求转发为https的请求(利用其反向代理的特性):首先保证我们的后台是https的服务,我们需要申请域名(阿里云可以申请,费用30多一年,需要进行备案,即上传个人身份证照片),租公网服务器,和之前的域名进行绑定;ht...

2019-12-21 17:32:49 97

原创 python2 到python3

python2 是目前市面上大部分python系列教程使用的python版本, 基本满足了我们日常的开发学习需求,第一次觉得要升级到python3是在装tensorflow时,当时python2并不支持,只能在python3下装,但是人总是不喜欢改变,因为改变需要我们花时间去学习、适应新的事物,要经历一段煎熬的过程,python官方也宣布2020年起,python2将不再进行更新维护,所以升级...

2019-09-07 12:22:06 245

原创 python中的%

print ‘%‘ 正常的%输出不受限制,输出为 %print ‘%%‘输出 %%print (’%d %%’% 7)输出为 7% 其中%d 标识数值类型的占位符,引号外的%是和占位符的%配对的,引号中的%%表示一个百分号。就如同java中转义字符‘\’,‘\’表示一个反斜杠。接受别人发过来的信息,我们需要decode处理,发出去时需要encode处理,...

2019-08-24 17:10:32 2493

原创 shell 编程

#!/bin/bash #表示shell解释器的位置 可用 which bash 或者whereis bash 查找set -e #该行如果出错,程序就中断,如果不加该行,程序中途出错就会继续执行,风险比较高。a=$(ls $1*|wc -l) #ls 列出文件夹下文件,删选$1参数开头的文件,wc -l统计行数if [ "${a}" == "3" ]; then #判断变量...

2019-01-31 21:25:04 204

原创 oracle学习

orecal学习orecal学习笔记知识点orecal学习笔记知识点orecal数据库的端口是1521,mysql是3306,redis是6379在orecal中没有自增字段,可以通过sequence来代替,可以设置最小值、最大值、初始值来产生自增序列;nvl(sum(a.FEE_CREDIT),0)如果字段内容为空,把0赋给它;dual是orecal内部的一个虚表,表里只有一条记录...

2018-10-12 16:17:20 459

原创 序列化

序列化 在程序运行的过程中,所有的变量都是在内存中,但是一旦程序结束,变量所占用的内存就被操作系统全部回收。我们把变量从内存中变成可存储或传输的过程称之为序列化,在Python中叫pickling 序列化之后,就可以把序列化后的内容写入磁盘,或者通过网络传输到别的机器上。 反过来,把变量内容从序列化的对象重新读到内存里称之为反序列化,即unpickling python 中...

2018-08-07 10:47:42 215

原创 消息队列

消息队列(参考自知乎)消息队列的通俗解释: 小红希望小明多读书,常寻找好书给小明看,之前的方式是这样:小红问小明什么时候有空,把书给小明送去,并亲眼监督小明读完书才走。久而久之,两人都觉得麻烦。 后来的方式改成了:小红对小明说「我放到书架上的书你都要看」,然后小红每次发现不错的书都放到书架上,小明则看到书架上有书就拿下来看。这样做的好处是: ...

2018-08-07 10:03:56 318

原创 集合

java中容器类类库用来保存对象,长度可变。包括collection和map。 collection:独立元素的序列。包括:List有序列表。set无序无重复的序列。 List: ArrayList、LinkedList 继承于collection接口List Integer> list = new ArrayListInteger>Arraylist是基于动态数组实现的,随机访

2018-01-24 11:24:16 164

原创 Java 接口和抽象类

Interface接口是一个特殊类,其目的就是制定一个通用的行为规范,子类来继承与它,并实现其抽象方法。接口中包含静态常量和抽象方法,不能包含非抽象方法。 设计接口就是希望它被继承,所以接口默认的访问修饰符为public。Interface A{ public static final String a = "hello"; public abstract void test();}

2018-01-24 10:24:19 279

原创 Java异常处理

Java中的异常处理 : java 中的异常j基类为throwable,Error 和 Exception都继承了该类,其中error类就是不希望被程序捕获或者程序无法处理的异常。如:线程死锁,虚拟机错误。Java 中的另一个类为Exception类,该类表示程序可以处理的异常,或者用户可以捕获的异常,主要分类两大类:运行时异常(非检查异常):这些异常是可以通过编译的,在运行时会抛出异常

2018-01-23 16:59:03 200

原创 java数据类型

Java中的基本数据类型 : 整形:byte(1字节) short(2字节) int(4字节) long(8字节) Java中默认的整形为int byte short char 参与数值运算时自动转化为int boolean: false true 不能是 0 1; False True 均不正确 浮点型: double(8字节) float(4 字节

2018-01-20 16:46:09 233 1

原创 python yield

python中的生成器 生成器是用普通的函数语法定义的迭代器 包含yield 使用生成器可以提高程序运行效率。 sing.pyimport randomdef ran(): while(1): a = random.randint(0,10) yield a当我们调用ran方法时,就会一直产生0-10的随机整数 ,每次返回一个值 return可能返回多个值

2018-01-18 18:20:42 380

原创 pyinstaller python 打包成exe可执行文件

安装 pyinstaller pip install pyinstaller pyinstaller -F img.py -i qust.ico 打包img.py 文件 qust.ico 为生成exe文件的图标。 ico 图标可以在网上生成,上传我们自己的照片就可以生成。 打包后生成dist 文件夹 在dist中 有img.exe 双击即可运行。img.py 打开一

2018-01-18 16:30:38 336

原创 可视化手写字符

import matplotlib.pyplot as pltimport cv2from sklearn import svm, datasetsclf = svm.SVC(gamma=0.001, C=100.0)digits = datasets.load_digits()clf.fit(digits.data[:-1], digits.target[:-1])print clf

2018-01-17 15:17:54 289

原创 redis

redis中的数据类型:string、hash、list、zset、set; string : key ,value hash key, field1 value1 field2 value2 field3 value3….. list key value1 value2 value3 …………. set key value1 value2 value

2018-01-16 14:40:48 207

原创 && || & |

&& 与 &都表示与逻辑运算 && 短路与 即,如果前半部分是false 则后半部分就不会再计算了。 || 短路 或 即,如果前半部分是true 则后半部分就不会在运算。 & 表示逻辑与 两部分都会计算。 | 表示逻辑或 两部分都会计算。switch 中 可以是int char short string case 中为常量数组定义in

2018-01-15 17:11:02 172

原创 byte 相关

byte short char 相关byte 在Java中占一个字节 用来存储 -128~127的整数 ,超出范围就会报错。 byte b1 = 1; byte b2 = 2; byte b3 = b1+b2; 编译出错,做加法运算时会自动转换为int类型,结果 3 为int类型,无法直接装换为byte类型,因为 int 占四个字节,int 转为 byte 会造成数据丢失,

2018-01-15 11:24:15 291

原创 微信截图

微信截图识别本文主要介绍利用开源的googel ocr工具进行图片文字识别大体思路: 1对图片灰度化 2.根据灰度变化情况找到各个边界。 3.根据边界裁剪,然后识别昵称、地区、签名#encoding=utf_8import pytesseractimport jsonimport cv2import numpy as npfrom PIL import Image

2018-01-10 16:12:32 708

原创 array 相关

数组相关利用numpy 创建数组:numpy.array([[2,3],[4,5]]) 创建两行两列的数组numpy.arange(10) 创建数组为0-9 numpy.arange(16).reshape(4,4) 创建4*4数组 内容为 0-15numpy.ones([3,3]) 全是一的数组 numpy.zeros([3,3]) 全是零的数组 numpy.

2018-01-06 20:16:20 175

原创 numpy.random

numpy.randomnumpy.random是一个随机数相关的库:numpy.random.random() 产生0-1之间的随机数numpy.random.random(10) 产生1*10的数组, 元素为 0-1之间的随机数numpy.random.random((3,4)) 产生3*4的数组numpy.random.randint(1,10,10) 产生10

2018-01-06 17:20:55 277

原创 k means

k means本文主要介绍k means 的原理:k - means 是无监督学习的一种,主要用于分类 1,首先确定K值,就是类别数,我们想把数据分为几类。 2.根据k值随机选取K个点,作为中心点,分别计算其余各个点到这K个点的距离。对于每一个非中心点,找到离它最近的那个中心点,把这个非中心点和对应的中心点归为一类。 3,计算每个类别中所有点的均值,作为新的中心点,然后重复以上动作,

2018-01-04 21:18:51 914

原创 matplotlib.pyplot 画图相关

matplotlib.pyplot 画图相关本文主要介绍使用matplotlib.pyplot进行简单图像绘制: matplotlib.pyplot是python中的绘图模块from sklearn import datasetsimport matplotlib.pyplot as pltimport pandas as pdimport sysreload(s

2018-01-04 20:40:25 636

原创 DataFrame相关

dataframe是python中pandas中的一种数据结构。类似于表的一种结构。构建dataframe数据。 import pandas import numpy as np from pandas import DataFrame ?#df=DataFrame([[1,2,3],[4,5,6]]) df = DataFrame(data=np.arange(16).reshape(4

2018-01-04 16:28:19 5394

原创 微信自动回复机器人

利用itchat 以及图灵机器人 在图灵机器人网站上注册即可,利用itchat登录网页版微信,当收到消息时,利用图灵机器人去回复,可以查询天气预报,讲笑话,查快递单号,百科等一些信息,比较好玩。实现代码如下:#coding=utf8import requestsimport itchatfrom itchat.content import *KEY = 'd3

2017-12-30 17:04:34 2760

原创 Python tushare 股票数据

tushare 是一个开源的股票数据获取接口,通过它我们可以获取很多股票的详细的数据。 本文主要实现一个简单的历史明细数据获取。 主要涉及,对一个列表内的股票进行遍历,然后查询每支股票过去30天的明细数据,判断当天是不是交易日。然后把这些数据存入数据库。\# --coding:utf-8 --import tushare as tsimport timeimport datetime

2017-12-27 20:45:58 3447

原创 Python 对图片做垂直投影

Python 对图片做垂直投影本文利用opencv对图片进行垂直投影,做出垂直投影图,大体思路:打开图片,灰度化,二值化,按列进行统计,新建一个大小和原图一样的图片,按列进行填充:cv2.cv.Get2D(cv2.cv.fromarray(img), y, x) 获取物理坐标为(y,x)处的灰度值cv2.cv.Set2D(cv2.cv.fromarray(img), y, x,(255, 255

2017-12-27 20:19:37 4820

原创 Java面试相关

1.stasic static 变量属于 全局变量 被static修饰的方法是属于类的方法,可以通过类名直接调用,被static修饰的成员变量也是属于类的,可以通过类名直接调用,不需要实例化。静态成员变量不能用this.调用 static 修饰的方法中使用的成员变量必须是静态的,因为static方法不需要实例化就能访问,而非static方法是属于对象的,只有实例化以后才有,所以当使用类名调用

2017-10-29 21:01:39 207

原创 java 遍历文件

import java.io.File;public class TestFile { public static void main(String[] args){ File myfile = new File("E:/"); print(myfile); } public static void print(File f){

2017-08-31 15:13:16 218

原创 python 微信 itchat

itchat是支持登录微信的库,很实用。 登录时会弹出二维码,手机扫码确认即可登录。 pip install itchat注解:不能直接给某一个好友发消息,但是可以通过itchat.search_friends 搜索出某个好友对应的一个字符串(@asdfghjkledrftyuil134156dh856gvdhgd)类似 然后发给这个字符串。好友就可以收到消息。import it...

2017-08-26 21:32:16 2374 2

windows 下python3.7 geopandas.zip

windows7 python3.7 亲测可用

2021-04-14

(shang硅gu)Spring Boot核心技术-笔记-pdf版.pdf

sprintboot 课程笔记,87页和课程同步 sprintboot 课程笔记,87页和课程同步 sprintboot 课程笔记,87页和课程同步

2020-08-18

巨杉分布式数据库特训营培训文档.rar

D1 分布式技术基础 第1讲 SequoiaDB 技术简介 第2讲 SequoiaDB 安装部署 第3讲 SequoiaDB 数据库实例 D201-核心交易业务 D202-数据中台 第4讲 SequoiaDB 高可用与缩扩容 D203-内容管理 D204-实时数据服务 第5讲 SequoiaDB 数据迁移与备份恢复 第6讲 SequoiaDB 集群监控管理

2020-04-14

pro-git(中文第二版)

pro-git(中文第二版)高清,一共496页。

2019-05-05

100个微信小程序

github上的开源微信小程序合集,初学者的福音。免去自己一个一个下载。

2019-02-15

韩顺平oracle课程 word版笔记,ppt

原课程笔记,100多页,ppt200多页,很详细,配合视频学习很方便

2019-01-04

20套工作总结汇报ppt模板

20套工作总结汇报ppt模板,没有太花哨,适合正式场合的工作报告

2018-12-25

pos机返回码数据字典

pos机返回码数据字典 excle版本

2018-12-25

control-m客户端

control-m客户端

2018-12-08

control-m使用手册

介绍control的架构说明,EM,AGENT.SEVER.各个部分的功能作用。从作业的管理,包括登录、修改、查询、权限设置。包括普通作业的定制和特殊作业的定制详细过程。最后是作业的监控管理。一共53页,公司内部培训资料。

2018-12-08

xshell5.0000

亲测好用,之前的需要升级,升级后不能用了,这个重新找的,亲测好用,不要升级

2018-08-21

SQL必知必会 第四版

下载的10分的资源,高清非扫描,2分即可下载

2018-08-21

Everything 最新版

非常快,比windows自带的文件查找工具快很多,软件非常小,只有1.4M,给人相见恨晚的感觉。

2018-07-09

计算机是怎样跑起来的

计算机是怎样跑起来的 计算机是怎样跑起来的 1.1 计算机的三个根本性基础 3 ● 1.2 输入、运算、输出是硬件的基础 4 ● 1.3 软件是指令和数据的集合 6 ● 1.4 对计算机来说什么都是数字 8 ● 1.5 只要理解了三大原则,即使遇到难懂的最新技术,也能 轻松应对 9 ● 1.6 为了贴近人类,计算机在不断地进化 10 ● 1.7 稍微预习一下第2 章 13 试着制造一台计算机吧 15 ● 2.1 制作微型计算机所必需的元件 17 ● 2.2 电路图的读法 21 ● 2.3 连接电源、数据和地址总线 23 ● 2.4 连接I/O 26 ● 2.5 连接时钟信号 27 ● 2.6 连接用于区分读写对象是内存还是I/O 的引脚 28 ● 2.7 连接剩余的控制引脚 29 ● 2.8 连接外部设备,通过DMA 输入程序 34 ● 2.9 连接用于输入输出的外部设备 35 ● 2.10 输入测试程序并进行调试 36 体验一次手工汇编 39 ● 3.1 从程序员的角度看硬件 41 ● 3.2 机器语言和汇编语言 44 2 COLUMN ● 3.3 Z80 CPU 的寄存器结构 49 ● 3.4 追踪程序的运行过程 52 ● 3.5 尝试手工汇编 54 ● 3.6 尝试估算程序的执行时间 57 程序像河水一样流动着 59 ● 4.1 程序的流程分为三种 61 ● 4.2 用流程图表示程序的流程 65 ● 4.3 表示循环程序块的“帽子”和“短裤” 68 ● 4.4 结构化程序设计 72 ● 4.5 画流程图来思考算法 75 ● 4.6 特殊的程序流程——中断处理 77 ● 4.7 特殊的程序流程——事件驱动 78 来自企业培训现场 电阻颜色代码的谐音助记口诀 82 与算法成为好朋友的七个要点 85 ● 5.1 算法是程序设计的“熟语” 87 ● 5.2 要点1 :算法中解决问题的步骤是明确且有限的 88 ● 5.3 要点2 :计算机不靠直觉而是机械地解决问题 89 ● 5.4 要点3 :了解并应用典型算法 91 ● 5.5 要点4 :利用计算机的处理速度 92 ● 5.6 要点5 :使用编程技巧提升程序执行速度 95 ● 5.7 要点6 :找出数字间的规律 99 ● 5.8 要点7 :先在纸上考虑算法 101 第 章4 第 章5 3 与数据结构成为好朋友的七个要点 103 ● 6.1 要点1 :了解内存和变量的关系 105 ● 6.2 要点2 :了解作为数据结构基础的数组 108 ● 6.3  要点3 :了解数组的应用——作为典型算法的数据结构 109 ● 6.4 要点4 :了解并掌握典型数据结构的类型和概念 111 ● 6.5 要点5 :了解栈和队列的实现方法 114 ● 6.6 要点6 :了解结构体的组成 118 ● 6.7 要点7 :了解链表和二叉树的实现方法 120 成为会使用面向对象编程的程序员吧 125 ● 7.1 面向对象编程 127 ● 7.2 对OOP 的多种理解方法 128 ● 7.3  观点1 :面向对象编程通过把组件拼装到一起构建程序 130 ● 7.4  观点2 :面向对象编程能够提升程序的开发效率和可维护性 132 ● 7.5  观点3 :面向对象编程是适用于大型程序的开发方法 134 ● 7.6 观点4 :面向对象编程就是在为现实世界建模 134 ● 7.7 观点5 :面向对象编程可以借助UML 设计程序 135 ● 7.8  观点6 :面向对象编程通过在对象间传递消息驱动程序 137 ● 7.9  观点7 :在面向对象编程中使用继承、封装和多态 140 ● 7.10 类和对象的区别 141 ● 7.11 类有三种使用方法 143 ● 7.12 在Java和.NET 中有关OOP 的知识不能少 145 一用就会的数据库 147 ● 8.1 数据库是数据的基地 149 ● 8.2 数据文件、DBMS 和数据库应用程序 151 ● 8.3 设计数据库 154 ● 8.4 通过拆表和整理数据实现规范化 157 第 章6 第 章7 第 章8 4 COLUMN ● 8.5 用主键和外键在表间建立关系 159 ● 8.6 索引能够提升数据的检索速度 162 ● 8.7 设计用户界面 164 ● 8.8 向DBMS发送CRUD操作的SQL 语句 165 ● 8.9 使用数据对象向DBMS发送SQL 语句 167 ● 8.10 事务控制也可以交给DBMS 处理 170 来自企业培训现场 培训新人编程时推荐使用什么编程语言? 172 通过七个简单的实验理解TCP/IP 网络 175 ● 9.1 实验环境 177 ● 9.2 实验1 :查看网卡的MAC 地址 179 ● 9.3 实验2 :查看计算机的IP 地址 182 ● 9.4 实验3 :了解DHCP 服务器的作用 184 ● 9.5 实验4 :路由器是数据传输过程中的指路人 186 ● 9.6 实验5 :查看路由器的路由过程 188 ● 9.7 实验6 :DNS服务器可以把主机名解析成IP地址 190 ● 9.8 实验7 :查看IP 地址和MAC 地址的对应关系 192 ● 9.9 TCP 的作用及TCP/IP 网络的层级模型 193 试着加密数据吧 197 ● 10.1 先来明确一下什么是加密 199 ● 10.2 错开字符编码的加密方式 201 ● 10.3 密钥越长,解密越困难 205 ● 10.4 适用于互联网的公开密钥加密技术 208 ● 10.5 数字签名可以证明数据的发送者是谁 XML 究竟是什么 215 ● 11.1 XML 是标记语言 217 ● 11.2 XML 是可扩展的语言 219 ● 11.3 XML 是元语言 220 ● 11.4 XML 可以为信息赋予意义 224 ● 11.5 XML 是通用的数据交换格式 227 ● 11.6 可以为XML 标签设定命名空间 230 ● 11.7 可以严格地定义XML 的文档结构 232 ● 11.8 用于解析XML 的组件 233 ● 11.9 XML 可用于各种各样的领域 235 SE 负责监管计算机系统的构建 239 ● 12.1 SE 是自始至终参与系统开发过程的工程师 241 ● 12.2 SE 未必担任过程序员 243 ● 12.3 系统开发过程的规范 243 ● 12.4 各个阶段的工作内容及文档 245 ● 12.5 所谓设计,就是拆解 247 ● 12.6 面向对象法简化了系统维护工作 249 ● 12.7 技术能力和沟通能力 250 ● 12.8 IT 不等于引进计算机 252 ● 12.9 计算机系统的成功与失败 253 ● 12.10 大幅提升设备利用率的多机备份 255

2018-04-11

Python网络数据采集

pdf版,文字可复制,不是扫描版,222页。 译者序 ix 前言 xi 第一部分 创建爬虫 第1章 初见网络爬虫 2 1.1 网络连接 2 1.2 BeautifulSoup简介 4 1.2.1 安装BeautifulSoup 5 1.2.2 运行BeautifulSoup 7 1.2.3 可靠的网络连接 8 第2章 复杂HTML解析 11 2.1 不是一直都要用锤子 11 2.2 再端一碗BeautifulSoup 12 2.2.1 BeautifulSoup的find()和findAll() 13 2.2.2 其他BeautifulSoup对象 15 2.2.3 导航树 16 2.3 正则表达式 19 2.4 正则表达式和BeautifulSoup 23 2.5 获取属性 24 2.6 Lambda表达式 24 2.7 超越BeautifulSoup 25 第3 章 开始采集 26 3.1 遍历单个域名 26 3.2 采集整个网站 30 3.3 通过互联网采集 34 3.4 用Scrapy 采集 38 第4 章 使用API 42 4.1 API 概述 43 4.2 API 通用规则 43 4.2.1 方法 44 4.2.2 验证 44 4.3 服务 器响应 45 4.4 Echo Nest 46 4.5 Twitter API 48 4.5.1 开始 48 4.5.2 几个示例 50 4.6 Google API 52 4.6.1 开始 52 4.6.2 几个示例 53 4.7 解析JSON 数据 55 4.8 回到主题 56 4.9 再说一点API 60 第5 章 存储数据 61 5.1 媒体文件 61 5.2 把数据存储到CSV 64 5.3 MySQL 65 5.3.1 安装MySQL 66 5.3.2 基本命令 68 5.3.3 与Python 整合 71 5.3.4 数据库技术与最佳实践 74 5.3.5 MySQL 里的“六度空间游戏” 75 5.4 Email 77 第6 章 读取文档 80 6.1 文档编码 80 6.2 纯文本 81 6.3 CSV 85 6.4 PDF 87 6.5 微软Word 和.docx 88 第二部分 高级数据采集 第7 章 数据清洗 94 7.1 编写代码清洗数据 94 7.2 数据存储后再清洗 98 第8 章 自然语言处理 103 8.1 概括数据 104 8.2 马尔可夫模型 106 8.3 自然语言工具包 112 8.3.1 安装与设置 112 8.3.2 用NLTK 做统计分析 113 8.3.3 用NLTK 做词性分析 115 8.4 其他资源 119 第9 章 穿越网页表单与登录窗口进行采集 120 9.1 Python Requests 库 120 9.2 提交一个基本表单 121 9.3 单选按钮、复选框和其他输入 123 9.4 提交文件和图像 124 9.5 处理登录和cookie 125 9.6 其他表单问题 127 第10 章 采集JavaScript 128 10.1 JavaScript 简介 128 10.2 Ajax 和动态HTML 131 10.3 处理重定向 137 第11 章 图像识别与文字处理 139 11.1 OCR 库概述 140 11.1.1 Pillow 140 11.1.2 Tesseract 140 11.1.3 NumPy 141 11.2 处理格式规范的文字 142 11.3 读取验证码与训练Tesseract 146 11.4 获取验证码提交答案 151 第12 章 避开采集陷阱 154 12.1 道德规范 154 12.2 让网络机器人看起来像人类用户 155 12.2.1 修改请求头 155 12.2.2 处理cookie 157 12.2.3 时间就是一切 159 12.3 常见表单安全措施 159 12.3.1 隐含输入字段值 159 12.3.2 避免蜜罐 160 12.4 问题检查表 162 第13 章 用爬虫测试网站 164 13.1 测试简介 164 13.2 Python 单元测试 165 13.3 Selenium 单元测试 168 13.4 Python 单元测试与Selenium 单元测试的选择 172 第14 章 远程采集 174 14.1 为什么要用远程服务器 174 14.1.1 避免IP 地址被封杀 174 14.1.2 移植性与扩展性 175 14.2 Tor 代理服务器 176 14.3 远程主机 177 14.3.1 从网站主机运行 178 14.3.2 从云主机运行 178 14.4 其他资源 179 14.5 勇往直前 180 附录A Python 简介 181 附录B 互联网简介 184 附录C 网络数据采集的法律与道德约束 188 作者简介 200

2018-03-17

中国区块链技术和应用发展白皮书(2016)

中国区块链技术和应用发展白皮书(2016)

2018-03-07

腾讯传(高清含书签)

讲述腾讯从1998-2016的发展历程。同时也讲述中国互联网行业的发展。

2018-01-31

利用Python进行数据分析 pdf

利用Python进行数据分析 pdf 利用Python进行数据分析 pdf 利用Python进行数据分析 pdf

2018-01-19

数字图像处理与机器视觉——Visual C++与Matlab实现.zip

数字图像处理与机器视觉——Visual C++与Matlab实现 分章节

2018-01-19

简历自荐书模板

很好的简历模板,简约大方,希望帮助到找工作的同学。

2018-01-19

推荐系统实践.

推荐系统实践.推荐系统实践.推荐系统实践.

2018-01-16

《Java核心技术 卷1 基础知识(原书第9版)》(完整中文版)

《Java核心技术 卷1 基础知识(原书第9版)》(完整中文版)

2018-01-16

图片验证码9000多张

图片验证码9000多张 图片验证码9000多张 图片验证码9000多张

2018-01-16

phantomjs-2.1.1-windows

phantomjs-2.1.1-windows phantomjs-2.1.1-windows phantomjs-2.1.1-windows

2018-01-16

chromedriver.exe

chromedriver.exe chromedriver.exe chromedriver.exe chromedriver.exe

2018-01-16

docker 从入门到实践

docker 从入门到实践 docker 从入门到实践 docker 从入门到实践

2018-01-16

网络是怎么连接的—pdf 高清含书签

计算机网络基础 计算机网络基础 计算机网络基础 计算机网络基础

2018-01-16

Java面试宝典

Java面试宝典pdf Java面试宝典pdf Java面试宝典pdf Java面试宝典pdf Java面试宝典pdf Java面试宝典pdf Java面试宝典pdf Java面试宝典pdf Java面试宝典pdf Java面试宝典pdf 含书签

2018-01-16

司守奎《数学建模算法与应用》随书光盘

司守奎《数学建模算法与应用》随书光盘

2016-11-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除