chizi15的博客

原创 个性化FOF，公募基金排序筛选，构建类似于股票指数的基金指数，并按流程交易买卖

基金排序方法，流程化操作，个性化FOF，基金指数

原创 用低息借款或自有资金提前还清信用卡分期或其他高息分期是否划算？或者说当低息借款的利率低于多少，或者自有资金的收益率低于多少时，提前还清较高利率的贷款或分期才划算？

import pandas as pdprint('用较低利率的借款去提前还清较高利率的信用卡分期是否划算？考虑提前还款违约金，以及可能的已还部分所享受的优惠金额')print('假定新的低息借款在原信用卡分期的最后一个月末一次性还本付息')print('考虑分期本金及手续费的时间价值，即按低息借款利率将分期本金及手续费也折算到分期的最后一个月末，以保持和新借款的时间价值同步，即都折算到最后一个月末')print('因为假定不管是提前还款还是分期还款，资金都出自新的低息借款，所以需按低息借款利率去折

原创 对于单峰函数（有唯一极值的函数），黄金分割法比二分法能用更少的搜索次数找到最优解（最值），这对于目标函数不可导时的最优解搜索很有效。

华罗庚在《优选法》中阐述了在一定条件下使用golden ratio黄金分割法搜索单峰函数的最值，比二分法搜索更快，可用更少的步数找到最值。当目标函数可导时，可使用梯度下降类的方法搜索极值点，但当目标函数不可导时，只能使用这些非梯度类的搜索方法。由下图中推导可知，使用黄金分割向下（即向自变量的减小方向）搜索时，该自变量×(1-φ)；使用黄金分割向上（即向自变量的增大方向）搜索时，该自变量×2。使用二分法向下（即向自变量的减小方向）搜索时，该自变量×1/2；使用二分法向上（即向自变量的增大方向）搜索时，该自变量

原创 概率密度直方图（可看作PDF的在步长较大时的近似）与累积分布直方图（可看作CDF的在步长较大时的近似）

- 在概率密度直方图中，取到任一bin中的一个样本的平均概率，等于该箱的高度(纵坐标y值) × 宽度(横坐标间距δx) ÷ 该箱中样本个数(n_samples)，而不是等于纵坐标y值；即此时面积表示概率之和，而不是纵坐标y值表示单一样本概率；如图1、图2所示。 - 在累积分布直方图中，取到任一bin中的一个样本的平均概率，等于（该箱的高度(纵坐标y值) －左侧箱的高度）/ 该箱中样本个数；即此时纵坐标y值表示概率，但为累计概率；如图3、图4所示。 - 当箱的个数等于样本总数，即每个箱中只有一个样本时

原创 多项式拟合(polyfit)及局部加权回归(Lowess)对二维数据基础规律和离群特征学习的分析对比

from math import ceilimport numpy as npfrom scipy import linalgimport statsmodels.api as smimport matplotlib.pyplot as pltimport copyplt.style.use('seaborn-white')"""特别重要：当多项式拟合次数过高时，新的应变量会在除了原自变量点之外的区间发生振荡，所以在应用拟合得到的该多项式时，新的自变量不能落在这些区间，但若落在任意原自

原创 一些常用的判断预测、拟合、回归的精度评价函数和相关性评价函数

import pandas as pdimport matplotlib.pyplot as pltimport numpy as npimport randomimport seaborn as snsfrom sklearn import metricsfrom statsmodels.tools import eval_measuresfrom scipy import statsimport pandas as pdfrom warnings import filterwarni.

原创 所有能找到反函数的目标函数，一定能够将原目标函数的自变量显式地表达出来，重新构造目标函数；当新目标函数比原目标函数关于各自的自变量更简单时，则可减小做梯度下降的计算量。

1.概述虽然绝大多数机器学习的最终目标函数很复杂，特别是神经网络的最终目标函数，无比复杂；但是单独考察有些神经元或者神经元中某部分等最终目标函数中一些小单元的目标函数，可能是通用经典函数，如sigmoid、tanh等。如果能找到这些经典函数的反函数，就一定能将它们的自变量提取出来，重新构造这些小单元的目标函数，减少做梯度下降时的计算量。这是因为对因变量做梯度下降的计算量一定比对其自变量做梯度下降时的计算量大，因变量相当于对自变量再做一次复合函数，除了y=k·x这种因变量y和自变量x属于同一计算复杂度的函.

原创 几何平均详解，及其与算术平均、调和平均、均方根的关系

2. 几何平均与算术平均的转换关系（附）：例：假定某地储蓄年利率（按复利计算）：5%持续1.5年，3%持续2.5年，2.2%持续1年。求此5年内该地平均储蓄年利率。打印结果：用几何级数计算平均年利率的误差： -2.220446049250313e-16用算术级数计算平均年利率的误差： 3.9880648729242933当yi=0时，上式为各点的四种平均数；当yi≠0时，上式为各残差点的四种平均数。打印结果：[1.86470298 1.61571436 1.54136216]调和平均:1.66

原创 拟合函数未知数个数与用于拟合的序列点数的关系

以二元一次函数为例（a、b为未知数），当序列点数为1个点或2个点，即序列点数小于拟合函数未知数个数或大于等于拟合函数未知数个数时，用最小二乘法构造目标函数，求其驻点，得到最优的拟合函数系数：从上图中可以看到，当拟合函数有两个系数，而只有一个点可用于拟合时，虽然在求解最优系数时，仍有两个偏导数方程，但这两个方程线性相关，其实只有一个方程是有效的，因为只有一个点进行拟合，所以这时系数a、b无解或有无穷多解。当有两个点用于拟合时，这两个方程线性无关，系数矩阵行满秩，这时a、b有唯一解。下面以pyth.

原创 对多条序列做加权得到一条新序列，使其逼近某一特定序列。目标函数采用SSE，并给出目标函数的jacobian向量和hessian矩阵，可提升梯度下降的速度和精度。

原创 当待拟合函数为二元一次函数，即其最小二乘的损失函数为二元二次函数时，在python中采用全量梯度下降、随机梯度下降、批量梯度下降求解损失函数。

import tensorflow as tfimport numpy as npfrom mpl_toolkits.mplot3d import Axes3Dfrom matplotlib import pyplot as pltfrom datetime import datetimeimport randomt0 = datetime.now()x_data = np.ran...

原创 用借款方实际付出的手续费（或利息）计算真实的手续费率（或利率），或快速估算年利率

真实的手续费率（或利率）需要用借款方实际付出的手续费（或利息）来计算；如果有需要额外计算资金时间价值的还款方式（如在借款时一次性付清利息）或借款方式（如每期定时借款），还需将所有资金折算到同一时间价值模型中，才可比较和计算资金的真实价值。

原创 回归问题：采用SSE作目标函数去拟合一元一次、二元一次、n 元一次、n 元 n 次函数来构造损失函数，并可做梯度下降得到局部最优解（即普通最小二乘法 OLS）

回归问题：采用最小二乘法拟合多元多次函数来构造损失函数第一张图是当模型为一元一次函数时的情况，以及其loss函数（二元二次函数）的图像是如何由函数的子项形成的，以及二元二次函数梯度的不同对学习率的影响。一般来说采用全量梯度下降时函数图像最陡，批量梯度下降次之，随机梯度下降或者说逐样本梯度下降最缓。第二张图是采用逐样本梯度下降的情况。第三张图是模型为二元一次函数时的情况，这时其loss函数...

原创 微软新Bing AI，带chat聊天写作等功能的搜索引擎简介

然而，在实际应用中，需求分布往往是未知或难以估计的，导致订货决策的不准确和效率的降低。为了解决这一问题，近年来出现了一些基于data-driven的newsvendor模型，即利用历史数据来直接构造损失函数或者优化目标，而不依赖于需求分布的假设。然而，这些方法也存在一些挑战，如如何选择合适的分位数水平、如何处理数据中的噪声和异常值等。综上所述，基于data-driven的newsvendor模型是一种有前景的库存管理方法，可以有效地适应需求不确定性和数据复杂性。将梯子美国通道的全局模式，仍然提示错误。

原创 关于OpenAI的DALL的一点使用心得

3. 也可以直接上传单张图片，这种方式最简单。可以裁剪也可以不裁剪。结果：如果上传的图片中有人脸，生成的人脸都是抽象风格的看不清楚。结果：只有左上角的白云一片日悠悠了。只能生成类似这个小框的图片。

原创 辅助编程coding的两种工具：Github Copilot、Cursor

目前有个人版、商业版和教育版三种，教育版里面学生账户比教师账户的免费功能更多，只需要一个学校邮箱和一卡通就可以认证学生账户或者教师账户，还是很方便。用工具自动写代码的时候，最好要用实际例子或实际数据检查一下，就算没有报错，对于数值计算最好也要debug跑一遍看它生成的代码是否符合你的描述或者数学原理。具体原因见上文的注意。

原创 Chat GPT-4 + midnshow.fun 自动写PPT

模板是对整个PPT而言去选择，布局是对单张slide而言去选择，选择好之后就可以下载了。“XXX描述”，注意：使用markdown格式，并将回答放到代码框中。将你后面回复的所有内容都放到markdown代码框中。出现markdown代码框即可。copy markdown代码。

转载 ERROR: Cannot uninstall ‘xxx‘. It is a distutils installed project and thus we cannot accurately det

ERROR: Cannot uninstall ‘TBB’. It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall.解决办法。

原创 知识图谱初步调研

知识图谱 python

原创 State space, 状态空间方法简介

状态空间方法简介

原创 Model selection, 模型评价之AIC, AIC(c), BIC

所以当训练模型所用的数据个数相同时，三种准则对不同模型的优选结果相同，只是相对数值会有不同；当不需要使用结果数值来加权，只是对模型排序优选时，用任一种准则都是与其他准则等价的。更好些，因为考虑数据个数的准则优选出的模型更可能避免过拟合，更适合于比较那些需要更多数据的多参数模型，例如基于树的集成类模型和神经网络等。，即log(T)=2时的特殊情况，即BIC是在AIC的基础上考虑了数据个数的广义表达式；当训练数据个数不等，例如比较周序列和日序列的同一种模型时，用BIC和AIC。也是考虑了数据个数的广义表达式。

原创 两类时间序列的预测方法在原理和适用情况上的简要对比

另一类特征是某种形态的趋势，如线性、sigmoid、指数、对数趋势等。只是在预测期无法获取的feature的维度越多，预测准确度就越受到能获取的features的影响，以及不能获取的features的在训练集和预测期上特征变化程度大小的影响等。多变量的时间序列分析方法，如Prophet,VARMAX,DynamicFactor等，相对于单变量的时序方法，除自身时变规律外，target还受会到不太多的几个重要feature的影响，会使自身序列的特征在某些情况下产生不与时间相关、而与feature相关的变化。

原创 在python中用seaborn.boxplot画图，以及带子分组的并排箱线图

在中，介绍了如何使用Excel自带图表插入带分组的并排箱形图，可以快速地使用鼠标实现。但有些地方要求更严格，或者对细节要求更丰富，就可以使用seaborn的boxplot，它和boxenplot都是matplotlib.pyplot.boxplot的优化版，出图更方便更美观，下面就以seaborn.boxplot为例进行说明。

原创 清除pycharm控制台console中所有变量

【代码】清除pycharm控制台console中所有变量。

原创 用Excel自带图表插入带分类变量的箱形图（单坐标轴并列箱）

箱型图主要用来观察一个或多个类别下，数值型变量的分位数及离群值的特征和分布，以及在一定程度上观察到偏度和峰度的状态。网上有一些自己计算分位数来绘制箱型图的方法，但一方面是没有直接使用excel自带的箱型图好看和功能全面，二方面是绘制起来更复杂、效率更低。所以还是推荐优先使用自带图表框中的箱形图，下面就以Excel 2021为例进行介绍。

原创 计算机软考高项（信息系统项目管理师）、中项（系统集成项目管理工程师），统计师中级的一些备考经验

对于因各种原因需要拿工程系列职称的朋友，计算机软考高项和中项可能是性价比最高的副高级职称和中级职称，没有学历和工作经验的要求，是水平考试，即可以跳过初级、中级，直接考高级，也可以考过高级后，再回去补充考中级或初级的职称。证书目前是全国通用，终生有效。，相关的网上报名、准考证打印、成绩查询、电子证书查询都可以在操作，电子证书的查询或下载，以及纸质证书办理进度的查询可以在操作。需要说明的是，纸质证书的邮寄或者领取不是在这两个网站申请，而是在当地的人事考试中心官网去操作，比如在成都市考试的考生，就去。

原创 压缩文件7-Zip与WinRAR个人免费版在不同压缩等级下的对比

下面以某个原始大小为3GB的文件为例进行对比，其中的14个文件都是结构化的数据表。因为其中含有较多空元素，所以压缩率会比较高，压缩后的大小较小。参数说明：设置如下参数：压缩之后变为277M：采用默认设置，为如下参数：压缩之后变为242M，但压缩时间大大增加：采用默认设置，为如下参数：压缩之后变为328M，但压缩时间减少很多：压缩文件大小为318M：压缩文件大小为314M，与标准压缩相比，只减小了4M，而且速度特别慢：压缩文件大小为346M：RAR无法对同一个文件发起两个及以上的压缩进程，7-Zip则没有这个

原创 1. 一些截图方法和另存格式的比较（QQ，微信，企业微信，飞书，word，PPT，edge，PrintScreen；svg等）；2. 将截图直接转换为PDF并拼接，与插入Word后再转换为PDF的对比

1.1. 有时候当某个软件没有导出功能，或者导出功能受限，比如 tableau public，但又需要获取展示出的可视化信息时，就需要用到截图。如果这些截图还要用在正式文档中，就需要是高清的，至少在展示设备上能看得清楚，或者符合正式文档的要求。常用的有使用通讯软件中的截图功能，或者浏览器的网页截图功能，或者office例如word/PPT中的截图功能，或者直接使用键盘快捷键PrintScreen等。1.2. 首先给出我的观察：在使用了多种截图方式（1. QQ，2. 微信，3. 企业微信，4. 飞书，5.wo

原创 Tableau长期免费使用的方法总结（包括Tableau Public，Tableau Desktop，Tableau Pre，Tableau eLearning）

Tableau作为全球顶尖的数据探索、分析、可视化和分享工具，成立于2003 年，是斯坦福大学一个计算机科学项目的成果， 并在 2019 年被 Salesforce 收购。它可以通过直观的界面将拖放操作转化为数据查询，从而对数据进行可视化呈现；包括提供更实用的机器学习、统计、自然语言和智能数据准备功能，从而增强人类在分析中的创造力。虽然功能很强大、速度快、效率高，但只有14天的试用期，订阅许可证对于个人来说又太贵，如果能长期免费使用tableau就好了，本文就总结了三种方法供大家参考。Tableau Pu

原创 关于conda、虚拟环境envs、镜像通道mirrors channels、pip、pycharm解释器配置interpreter config的一些总结

当选择用pycharm新建虚拟环境时，location一般是到某个项目的文件夹下，base interpreter可以选择conda的python主解释器，也可以选择conda某个虚拟环境下的python解释器，也可以选择将要从python官网下载的不同大版本的解释器，也可以选择从官网下载已安装的python解释器。下图是anaconda的默认解释器及其环境，虚拟环境中的python.exe一般在anaconda3\envs\your_env_name下，官网安装的python就在对应的安装路径下。

原创 使用插值方法（scipy.interpolate）和三维数据构造二元函数

自变量保持顺序的方式传入插值函数，所得函数就可以保持原始数据应有的顺序和规律性；如果乱序传入，因为插值函数是按逐个数据点的顺序进行插值，所得函数就可能被切分为很多零散的曲面或超曲面。平滑因子s和样条灵活性kx和ky是插值函数最重要的超参数：s越大，函数越平滑，对数据点的拟合程度就越不是完全拟合；kx,ky越大，函数越灵活，（如kx=ky=1时则为平面插值），但也越可能出现振荡。......

原创 用python来做数据预处理data preprocessing和特征工程Feature Engineering的一些常用方法

some usual metheds of data preprocessing and feature engineering with python

原创 对倒数第二层级及较高层级求样本的统计量时，应直接从最低层级取数计算，而不应逐层计算统计量。

说明：直接从最低层级取样本计算统计量，例如取效应系数、精确度、销量等计算各层级的算术平均数时，各样本的权重是相等的，均为1/n；若逐层级求均值的均值，则会改变各样本的权重，使样本量越少的类别中，各样本所占权重越大，样本量越大的类别中，各样本所占权重越小；但这可能不符合实际情况，至少是没有逻辑的，或者说为什么小类别中样本要占大权重，大类别中样本要占小权重，如果是，应占怎样的权重？具体来说，当只有三个层级时，若中间层级只有两类，则是倍数关系，例如A类有8个样本，B类有2个样本，则A类中各样本权重为1/16，B

原创 使用插值方法（scipy.interpolate）和二维数据构造一元函数

通常情况下，当拥有较多数据点时，可构造具有某些特性的带未知参数的函数，采用拟合方法来近似出表达这些数据规律的函数。但当数据点在待求空间中分布较稀疏时，或对待求函数的形态特征、连续性光滑性等已知时，可采用插值（或分段插值）构造出表达该规律的函数。scipy.interpolate中最常用和全面的一维插值方法是interp1d，但本文采用了CubicSpline，因其可以自定义插值函数起止点处的一阶导数或二阶导数（bc_type），使函数形态特征在某些局部更可控。import numpy as npfro

原创 对于对数变换（log transform）的一些理解

1. ln(1/x) + lnx = ln(x^(-1)) + lnx = -lnx + lnx = 0即对一个数（如x）取对数，与其倒数（1/x）取对数，互为相反数。2. 若要比较两个函数在某区间内变化的相对快慢，可对两个函数做减法，构造一个目标函数，利用求导，根据目标函数的因变量随自变量的变化情况，来判断作为被减数的函数和作为减数的函数的变化的相对快慢。

原创 平均绝对误差（MAE）、对数平均绝对误差（LMAE）、指数平均绝对误差（EMAE）用法的不同与相似之处

import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom scipy.stats import pearsonrfreq = 'D't0 = '2020-01-01'data_length = 7*10num_ts = 3period = 7fit_series, origin_series = [], []time_ticks = np.array(range(data_length))ind

原创 numpy.random.seed()用法详解

numpy.random.seed()中每一个数字代表一种随机数生成规则，当种子数确定后，每次调用numpy.random下的随机函数时，都会根据该种子数对应的规则，依次生成随机数或随机数组；当第二次指定相同的种子数时，每次调用numpy.random下的随机函数，会依次生成跟上一次指定种子数再调用随机函数时，相同的随机数或随机数组，即依次一一对应；当不指定种子数时，每次调用numpy.random下的随机函数，numpy会随机指定一个种子数，即随机地采用该种子数所对应的规则，生成随机数或随机数组。下面给

翻译 多元函数驻点性质的判断方法，牛顿法进行梯度下降的公式，多元函数凸性的判断方法。

首先介绍矩阵的迹（trace）的概念：如果一个矩阵是方阵，那它的迹tr(A)等于对角线的元素之和。多元函数判断驻点性质的方法：找到多元函数jacobian向量（即目标函数对自变量的一阶偏导数向量）为0的那些点，即驻点；将各驻点带入Hessian矩阵（即目标函数对各自变量的二阶偏导数组成的对称方阵，若有n个自变量，则Hessian矩阵为n×n），计算其行列式det(Hf)：若det(Hf)<0，则该驻点是鞍点；若det(Hf)=0，则无法判断该驻点是极小值点、极大值点、还是鞍点；若..

原创 原函数与导函数的关系，以及驻点处二阶导函数大于、小于、等于零时，原函数取极小值、极大值或鞍点的情况。

由图①可知，当一阶导函数在某点（即驻点）处为0，二阶导函数在该点处小于0时，原函数在该驻点处取极大值；由图②可知，当一阶导函数在某点（即驻点）处为0，二阶导函数在该点处大于0时，原函数在该驻点处取极小值；由图③④可知，当一阶导函数在某点（即驻点）处为0，二阶导函数在该点处也为0，且以该点加减一个非常小的δx得到两点，二阶导函数在这两点处的值异号时，该驻点为原函数的鞍点；由图⑤可知，当一阶导函数在某点（即驻点）处为0，二阶导函数在该点处也为0，且以该点加减一个非常小的δx得到两点，二阶导函数在这两...

转载 将不同量级的序列转化为同一量级，及常用的数据缩放的方法

联合多重时间序列本身是一件挑战性十足的事，数据样本的不均衡导致了不同时间序列对于模型的影响程度是不同的。拿商品销售为例，销售数量多一个数量级，商品数量就少一个数量级，每个月卖10个的商品如果有100,000种，每个月卖100个的商品就只有10,000种，每个月卖1000个的商品就只有1000种。（满足幂律分布：y = 1,000,000 / x）这种不均衡样本导致输入值的量级差异，商品A每天销售数百个，商品B每天销售数万个，两个商品共同训练时商品A的信息会被忽略掉，因为相对于B而言，A对神经网络参数的影响太