weixin_40718824的博客

原创 如何永久edge浏览器账号

彻底解决edge浏览器个人账号无需密码就登录的问题

原创 关于安装anacoda后spyder闪退的解决方法

anaconda中spyder闪退问题的一种解决办法

原创 python 数据分析计算中对于axis的使用

在使用pandas或nump1）在计算时：axis=0指的是逐行（对列才能逐行）沿着垂直方向 也即对列计算； axis=1指的是逐列（对行才能逐列），沿着水平方向也即对行计算。如 mean(axis=0)计算的是每一列平均值，mean(axis=1)计算的是每一行平均值。2）在操作时，如drop ,swaplevel,axis =0 是操作行，axis = 1是操作列。...

原创 Tableau调用python脚本（安装tabpy）

注意： tabpy中的tornado的版本是5.1.1，当前tornado的版本是6.x，所以需要手动卸载tornado后，安装5.1.1版本的tornado，才能正常使用tabpy 问题详情参见 Win10 Tableau 连接python - deepwindlee的个人空间 - OSCHINA - 中文开源技术交流社区...

原创 Tableau 详细级别与Lod表达式

1、学习文件：【Tableau】详细级别表达式LOD_详尽入门(1) – 喜乐君-唯知唯识理解1：视图级别是在选择特定维度显示的数据聚合的结果，视图级别的显示结果依赖于操作者拖拽到视图的维度的个数理解2：特定情况下，根据视图所选的维度个数，聚合表达式的结果和lod表达式的结果可能是相同的，如下图倒数第二列和倒数第一列。根据视图级别的字段（year Area Product)做的聚合（min)操作和倒数第二列的fixed的维度刚好相同，所以数据展示的结果是相同的。理解3：关于数据筛选和聚合..

原创 信用卡交易欺诈识别模型

项目介绍：原始数据中共有284807条数据，30个特征，其中正常交易数据为284315条，欺诈交易数据为492条，为典型的不平衡数据集。案例中采用xgboost算法，分别在原始样本和经过smote算法采样后的样本进行预测。其中xgboost使用gridsearchcv进行参数调优，鉴于调优时间过长，只对参数max_depth（树的深度）进行调优，并将调优后的最佳参数的模型对样本进行预测，对两种情况下的accuracy、f1-score、recall、precision和roc_auc_score进行比较。发

原创 决策树模型预测宽带用户流失率

原创 2021年常规赛NBA球员数据分析

项目介绍：1、数据来源：1）数据来源腾讯体育NBA数据，爬虫解析三个JS网页解析获得数据，共有150个球员和22个指标，整理后数据最终如下图格式2）球队队徽来自网络3）球队地理位置的经纬度来源于谷歌地图，由于存在两个球队所在城市相同（湖人队和快船队）的情况，为了方便展示，将地理位置进行了一定程度的偏移。2、实现效果：1）在地图上选择球队图表，可以展示球队名称，所在城市和数据源中属于选定球队的球员名称2）对球员的进攻能力和防守能力分别分析，囿于数据限制，自定义综合防守能力字段为

原创 索赔数据可视化分析

项目介绍：1、数据源格式如下2、分别对各省市的索赔方式、响应状态、索赔和支付金额、分性别和年龄层的赔付比例在地理区域可视化展示。可通过筛选器选择想要查看到的省份和年龄阶段。具体展示如下图...

原创 茅指数成分股投资收益可视化

项目简介：对茅指数成分股的投资收益进行可视化展示1、数据来源：根据雪球获得入选各行业茅指数的成分股，剔除在2014年1月1日后上市的公司，总计24家公司，从东方财富choice数据下载20140101-20210325的股价数据和前复权因子。2、数据处理：考虑除权除息对股价的影响，为保证股价的可比较性，根据20210325的前复权因子计算得到20140101的为基点的后复权的股价。3、计算依据：投资方法根据总投资数目均分到每只股票，并按照2014年1月1日收盘价买入并一直持有，通过选择日期计算收

原创 第十六章 主成分分析

原创 第十五章 奇异值分解

>>>几何解释>>>矩阵近似矩阵在佛罗贝尼乌斯范数下的最有近似的证明>>>使用外积展开式求解矩阵近似

原创 第十四章 聚类方法

>>>参考三个博客：https://blog.csdn.net/abc200941410128/article/details/78541273https://blog.csdn.net/Katherine_hsr/article/details/79382249https://www.zhihu.com/question/34554321>>>层次聚类>>>均值聚类...

原创 第十二章 监督学习方法总结

原创 第十一章 条件随机场

>>>条件随机场的参数化形式>>>条件随机场的矩阵形式>>>计算概率问题>>>学习算法>>>预测算法（维特比算法）

原创 第十章 隐马尔可夫模型

>>>隐马模型的基本问题>>>概率计算问题前向算法后向算法一些固定表述>>>学习算法，求解参数下图只列出了Πi的推导过程，aij和bj(k）推导同理>>>预测算法维特比算法...

原创 第九章 EM算法及其推广

>>>EM算法推导下图的主要步骤是通过构造詹森不等式，将对期望的函数转化为函数的期望，也即将求期望的权值也即下图中的P(Z|X）移到log函数外面。log函数为凹函数，所以刚好期望的函数 要大于函数的期望，也即确定了下界。>>>EM算法的步骤>>>三硬币问题...

原创 第八章 提升算法

>>>adaboost算法过程>>>误差分析>>>证明前向分布算法的损失函数为指数损失函数时等价于Adaboost算法>>>梯度提升树的理解 参考:https://blog.csdn.net/anshuai_aw1/article/details/82888222个人理解：1）本质上梯度提升是让每次拟合时的损失函数减小，也即希望每次拟合后的真实值和预测值的残差减..

原创 第七章 支持向量机

>>>推导过程可参考：https://www.bilibili.com/video/BV1mE411p7HEhttps://www.bilibili.com/video/BV12E411T7ZNhttps://www.bilibili.com/video/BV1uE411V7h4https://www.bilibili.com/video/BV1xE411w7Go>>>定理证明...

原创 附录 优化算法小结

>>>牛顿法 ：https://blog.csdn.net/qq_28743951/article/details/82221515>>>拟牛顿法： 在牛顿法的基础上对海森矩阵或者海森矩阵的逆矩阵做近似https://blog.csdn.net/itplus/article/details/21896619>>>DFP拟牛顿法：对海森矩阵的逆矩阵做近似。 https://blog.csdn.net/itplus/article/detai...

原创 第六章 逻辑回归和最大熵模型

>>>逻辑回归推导及其向量化：https://blog.csdn.net/qq_38923076/article/details/82925183>>>最大熵模型>>>关于拉格朗日对偶性>>>原问题最优解和对偶问题最优解的关系1）定理12）定理2：3）定理3：`>>>证明最大熵模型的对偶函数等价于条件概率分布为最大熵模型的极大似然估计...

原创 第五章 决策树

>>>决策树构建>>>决策树剪枝（后剪枝）>>>后剪枝过程

原创 第四章 朴素贝叶斯

原创 第三章 k近邻

>>>构造kd树对样本按照特征1从小到大排列，取特征1的中位数作为分界点，该点作为kd树的根节点，小于特征1中位数的划分到左子节点，大于特征1中位数的划分到右子节点。在两个子节点的所有样本中，按照特征2的值从小到大排列，分别划分节点。遍历特征个数创建树。如果所有特征数均用完，则从特征1开始继续构建。>>>根据kd数查找与目标点距离最近的点...

原创 第二章 感知机

>>>定理2.1证明1）证明：2）证明>>>对偶形式

原创 第一章 概论

>>>课后题1.1>>>课后题1.2>>>课后题

原创 groupby去重

Groupby 分组后，如果没有对分组后的数据进行操作，如对每组求和 取平均 取最小等操作，分组后直接显示，则默认显示该分组的第一条数据。第一幅图是没有进行groupby操作后的数据，数据共有48条下图是在第一幅的基础上按照s_id进行groupby的操作，可以看出只显示按照s_id分组后每组的第一条数据下图是在第一幅的基础上对s_id,c_id进行分组的每组的第一条数据，在第一副中，前三条为第一组，4-6条为第二组，每组中s_id，c_id都是相同的。...

原创 Mysql 总结

>>变量定义和变量赋值： https://www.cnblogs.com/EasonJim/p/7966918.html>>change和modify 的区别： https://www.cnblogs.com/liuurick/p/11627109.html>>通过设置 limit 1 ，根据排序order 可以得到某一个 column_name 最大或最小的数据，即先按照升序或降序排列，然后去limit1>>in 和 not inin操作符，

原创 Excel VBA总结

>>Sheet页代码、ThisWorkBook页代码、模块页代码① 只在某Sheet中【专用的】工作表事件和相关过程代码和函数，就放在这个Sheet代码页里。② 在所有Sheet中【通用的】工作表事件和相关代码代码和函数，就放在ThisWorkBook代码页里。③ 操作WorkBook事件和相关过程代码和函数，放在ThisWorkBook代码页里。④ 在任何地方都可以用的过程代码和函数，放在模块里。⑤ 需要在工作表中直接引用的自定义函数过程代码，必须放在模块里。二、关于模

原创 python数据分析总结

索引相关>>frame.reindex([]，method = ，fill_value = ) 参数是一个列表，列表的顺序决定frame的显示顺序。 当reindex的参数列表多于frame原有的index的数目，可以使用method进行填充缺失值，method的取值为ffill（或者pad）、bfill（或者backfill） ，分别表示向前填充、向后填充. Fill_value 是对于缺失值的赋值。 reindex不会改变原有frame的排列方式，如果要改变，需要重新赋值给原frame

原创 python可视化

>>pyecharts: 详细参见官方中文文档： https://pyecharts.org/#/zh-cn/intro>>dataframe绘图：【python】详解pandas.DataFrame.plot( )画图函数pandas.DataFrame.plot( )参数详解>>matplotlib绘图： Plt.plot( *args, **kw)参数： plot是折线图 1） x轴和y轴，如果给出两个参数，则默认第一组数据为x轴，第二组参

原创 python基础总结（三）

>>属性拦截的四种方法1）使用property类属性的方式。如下图square可以读写，而cube只能读不能写。2)使用描述符3）使用 __getattr__和__setattr__方法4）使用 __getattribute__和__setattr__方法>>python类的属性继承机制：如果一个类有超类，则属性继承搜索的顺序是从左至右。>>实例调用属性的两种方法的异同：instance.shuxingming 和 ins.

原创 python基础总结（二）

python的or关键字如果连接0或者1，则0代表False，1代表True。如len(somestr) == 0 or 1的写法是错误的。 区分集合的add和update方法 1）add将参数作为一个整体添加如集合中。注意add的参数必须是不可变对象（如列表和字典不能作为add的参数）2）update将参数分为子元素，遍历添加入集合中。update的参数没有要求。 元组是不可变对象，是基于元组整体而言是不可变的，即元组中的每个元素所引用的数据的地址是不变的。如果元组的子元素是可变元素比如列表，该子元素

原创 python基础总结（一）

>>如果python的or关键字连接的是0 or 1 则 0 代表false,1代表TRUE，>>区分集合的add和update方法：当参数为可遍历元素：1）add将参数作为一个整体添加如集合中。注意add的参数必须是不可变对象（如列表和字典不能作为add的参数）2）update将参数分为子元素，遍历添加入集合中。update的参数没有要求。>>元组是不可变对象，是基于元组整体而言是不可变的，即元组中的每个元素所引用的数据的地址是不变的。如果元

原创 归并排序的迭代方法代码

def compare_iter(left,right= []): res = [] while left and right: min_value = left.pop(0) if left[0] < right[0] else right.pop[0] res.append(min_value) res.extend(left if left else right) return resdef Merge_Iter(array):...

原创 关于腾讯两道sql问题的解法

题目详见：https://zhuanlan.zhihu.com/p/117498021?utm_source=wechat_session&utm_medium=social&utm_oi=576132412245938176模拟的实际数据：第一题的解法：SELECT user_id,date,attend,IF(@temp_id = user_id AND DATEDIFF(date,@temp_date) = 1 AND attend = 1,@num := @num

原创 mysql 50题全面解法

花了断断续续两周左右的时间将50题做完了，自己添加了很多不同的解法。个人强烈推荐第19题和22题的解法；题目和题目顺序参见：https://mp.weixin.qq.com/s/79l09EPtZpLk5XZSLnQNLw我自己的解法：有些题目和链接中的做法不相同，个人觉得自己的方法要直观一些。第一题：SELECT st.*,s1.s_score as 01_score ,s2.s_score as 02_score FROM student as st,score as s1,score a

原创 git学习笔记

直接在 建立的仓库下打开git bash 进入相应文件，然后 鼠标右键 选择git bash 即可  创建仓库方法： cd进入相应的文件夹， git init 代码即可 总结：   1）修改文件是在git的工作区进行修改，不会被git记录2） git add操作会将工作区的修改上传至缓存区，3）git commit 会将缓存区上传至版本区。添加文件  git add ...

原创 关于python3编码问题的个人理解

参考知乎 https://zhuanlan.zhihu.com/p/40834093总结：1） 在写程序、读取和保存数据的过程中，一共涉及三个编码：一是python的头文件编码，作用是将python文件中的代码按照什么程序来编码展示，即print的显示的格式 ，如果不特殊执行，python3按照utf-8进行解码 二是 系统默认编码，是 python3为utf-8...

原创 函数解决页面懒加载问题（即selenium拖动滚动条到懒加载网页的最底部）

all_window_height =  []  # 创建一个列表，用于记录每一次拖动滚动条后页面的最大高度all_window_height.append(driver.execute_script("return document.body.scrollHeight;")) #当前页面的最大高度加入列表while True:    driver.execute_script("scro...