- 博客(16)
- 收藏
- 关注
RSS订阅原创 postgres分区range例子
psql分区表本地psql10.10 ，因为目前使用的阿里云psql的rds是10.10 ，所以目前就是用10.10的版本。分区表的意义就是相当于把一个大表分成了很多个子表psql有几种分区的方式：create table main_partition (id int, update_date timestamp without time zone) partition by range(update_date); # 把这个日期列作为分区依据sub tablecreate table sub
2021-03-12 13:59:55
444
原创 git 常用命令及解释
git常用命令及解释全局的配置git config --globle user.name ‘your name’git config --globle user.email ‘your email’单个项目下的配置git config user.name ‘xxx’git config user.email ‘xxx’同样，如果本地同时需要存在多个ssh key，那也是需要先这样建立一个对应一个项目的配置，然后ssh-genkey -t rsa -C "邮箱"然后在提示导出路径的时候，选择
2021-02-02 16:44:30
166
1
原创 [记录]服务器centos7安装python3.8并且配置好虚拟环境（virtualenv）
centos7安装python3.8当时弄了挺久，遇到几个坑，不想再浪费相同的时间，于是记录以下在这儿。文章顺序首先安装python3.8到系统中然后安装virtualenv使用virtualenv创建虚拟环境期间的坑.5.参考1、源码安装python3.8我这边是centos7，但是低于centos7.7，这儿需要注意，如果是centos7.7以上，那可以直接通过yum install python3版本，更高版本的centos自带python3，版本。以下的版本就只能通过源码安装p
2021-01-06 18:06:48
750
原创 centos7 docker 安装mysql5.7记录
docker 安装mysql5.7步骤步骤安装docker搜索安装mysql5.7镜像docker pull mysql:5.7运行容器docker run -itd --name mysql-test -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 mysql进入容器，设置其他主机也可以连接（这一步看需要进行可以不设置）doc...
2020-04-15 16:42:00
128
原创 反爬手段字体加密处理思路
反爬手段字体加密以美团民宿中提取的价格为例思路unicode方式读取html源码，获得相应数字的unicode码找到css中指定标签使用的字体的字体文件和字体的下载地址补充字体文件知识，css字体知识找到字体文件和字体之间的对应关系如果是每次刷新页面随机使用字体文件还是可能解决的，如果字形是不变的，变的只是字体的unicode编码和文件名。如果字体文件内的字形...
2020-04-09 09:50:14
604
原创 爬虫一般的思路
爬虫逐级思路爬虫一般的思路，首先爬虫的目的是获得数据，而途径多种多样，不要自己给自己限制死了。????一般的思考突破的思路是这样的，多思考网页版本动态电脑网页网页不行那就手机端网页手机端网页不行就收集app抓包还可以js解密等，selenium很多不能用了，等，不要限制死自己...
2020-03-12 18:27:05
157
原创 什么是方差检验，卡方检验，F检验的区别
卡方检验F检验F检验（F-test），最常用的别名叫做联合假设检验（英语：joint hypotheses test），此外也称方差比率检验、方差齐性检验。它是一种在零假设（null hypothesis, H0）之下，统计值服从F-分布的检验。其通常是用来分析用了超过一个参数的统计模型，以判断该模型中的全部或一部分参数是否适合用来估计母体。...
2020-02-21 17:43:41
27782
1
原创 如何区分三种t检验
如何区分三种t检验t检验的类型单样本t检验（一般样本含量小于30选用）双个样本的t检验独立样本t检验配对样本t检验然后单个样本和总体的均值，这种情况只能用单样本t检验所以现在需要进行区分的就是独立t检验 和配对t检验了如何继续区分独立和配对t检验????在做独立双样本 T 检验之前需要对方差齐性进行检验，此时，我们就需要用到 F 检验（方差分析）F检验（F-test）...
2020-02-20 23:13:09
3356
原创 为什么p>α（p大于显著性水平）时候就是维持原假设是真是正确的
为什么p>α（p大于显著性水平）时候就是维持原假设是真是正确的都说推断统计学就是个P????，嗯，是个p。1.α是什么？大白话说α是人为设定的一个范围，显著性水平，第一类错误的概率，主要作用是用来划分接受域和拒绝域，如α=0.05，那么接受域就等于1-0.05=0.952.那p-value是什么？3.综合起来 然后理解完α，...
2020-02-19 22:01:28
8334
1
原创 Django+Scrapy DjangoItem无法处理manytomany多对多的解决方案
联立这两个库来作为开发目的直接进入正题第一，使用scrapy_djangoItem库第二，直接Django导入models处理结语目的主要目的就是使用scrapy进行数据抓取工作，然后使用django 作为网站的来进行显示数据，可以使用django的admin对数据进行直接查看和处理。这里面的难点就是scrapy如何利用django好用的的models来让写入数据库方便一点，其实知道了后就发现...
2019-12-18 09:08:56
412
原创 爬虫使用免费代理池
爬虫使用免费代理池 最近研究使用代理ip结合进爬虫，以防止爬虫受到封ip的反爬虫措施而无法继续进行爬取，然后找了一阵，原本想着自己写个爬虫爬取免费的一些代理ip的网页，但是后面想了想，我们不用重复造轮子！
2019-08-10 10:55:44
9890
3
原创 爬虫使用打码平台进行处理
打码平台处理验证码 众所周知，爬虫很多时候在处理模拟登陆的时候，有时候会遇到需要处理验证码的情况，这个时候就会有点麻烦，如果想要他们可以继续的自动的处理好并且登陆的话，那就需要对验证码进行识别并且带上验证码数据进行处理。
2019-08-09 19:24:41
1809
原创 python爬虫使用cookie跳过登陆验证（一）
python爬虫使用cookie跳过登陆验证（一）此文使用cookie + requests 编写简单的脚本用来跳过验证码等的处理，爬取需要登陆页面
2019-07-26 21:05:20
14662
3
原创 优达学城_数据清洗_项目三wrangle_act
下面是我优达学城项目三的记录报告#导入可能需要的包import osimport numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport jsonimport osimport requests from pprint import pprintimport re1. 收集# 通过编程方...
2019-03-28 11:58:15
3949
原创 Series中修改value的值方法
Series中修改value的值：修改一列;修改单独的值。Series是DataFrame中的一列的定义的对象
2019-03-01 17:13:33
14716
原创 python+统计学对心理学现象进行假设验证，个人记录（双样本的配对T检验）
用python运用统计学对心理学现象进行分析（双样本的配对T检验）在下方单元格中回答问题并执行相关代码，你可以 参考项目指导 并在正式提交前查看 项目要求。提交时请将 Jupyter notebook 导出成 HTML 或者 PDF 进行提交（File -> Download As）。背景信息在一个Stroop （斯特鲁普）任务中，参与者得到了一列文字，每个文字都用一种油墨颜色展示。参...
2019-02-27 15:43:10
1473
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人