Carolinedy-CSDN博客

原创 JASPIC 概述

Java™ 认证服务提供者接口对于容器 (JASPIC)JASPIC 规范定义了一个服务提供者接口 (SPI)，通过它实现消息认证机制的认证提供者，可能是集成在客户端、或服务器消息处理容器、或运行时中。通过此接口集成的身份验证提供程序，对由其调用容器提供给它们的网络消息进行操作它们转换传出的消息，使得消息的来源可以由接收容器进行身份验证，并且消息的接收者可以由消息发送者进行身份验证他们对传入的消息进行身份验证，并将作为消息身份验证结果建立的身份返回到其调用容器在一个完整的JavaEE

2021-11-30 16:46:32 821

原创 JS 三元表达式和箭头函数

三元表达式vue.js中三元运算符的表达式： (expression1) ? (expression2) : (expression3)　　　　　　在 expression1 求值为 true 时的值为 expression2 ，在expression1 求值是 false 时的值为 expression3 。例如：使用 if else if(a=1) { b=a;} else { c=a; }...

2021-05-10 16:41:58 676

原创将数组中的数据以键值对方式添加到对象中

将表格tableData中的属性名称和属性值，作为对象formData的键值对加入到formData中prepareProperty() { _.forEach(tableData, item => { formData[item.propertyName] = item.propertyValue; }); }

2021-02-03 14:11:21 1065

原创删除对象中值为空或null或undefined的所有属性

首先写一个方法判断当前值为空isEmpty(obj) { if (typeof obj === 'undefined' || obj === null || obj === '') { return true; } else { return false; } }删除对象中值为空的所有属性preProcessData() { /* 删除空值 */ Object.keys(formData).f

2021-02-03 14:04:10 7027

原创解决克隆的虚拟机centos7 找不到ip的问题

如下图所示 ifconfig查看ip后，发现只有本地lo，没有eno33如下图所视，执行dhclient，即可。亲测有效

2021-01-27 15:32:42 364

原创正则表达式限制数值取值范围，以及邮箱地址，IP地址

首先，需要熟悉以下语法正则表达式语法意义 \d 数字 \w 字母、数字或下划线字符 {x} (x为正整数，作用于前面的字符) 字符的位数 {1, 20} 表示数字字符串长度的合法值为1到20 [0, 9] 数字应在0-9之间（[ ]中是可选字符集） [a-zA-Z] 表示要求为字母 ^ 打头的字符要匹配紧跟^后面的规则。例如：^[0,9] 表明打头的字符应是0-9之间的数字; ^The 表明所有以The打.

2020-11-18 16:27:59 6772 1

原创 javascript 判断当前类型是数组？还是对象？

判断是否是数组？const isArray = function (params){ return Object.prototype.toString.apply(params) === '[object Array]';}if(isArray(params)){ return true; }判断是否是对象？ const isObject = function (params){ return _.isObject(params);}if(isObje

2020-07-15 11:05:32 280

原创 YYYY-mm-dd日期范围比较之 date补0

在写程序时候发现，starttime = 2020.7.6，endtime = 2020.7.10校验starttime < endtime 时报错，起始日期大于结束日期如果是starttime = 2020.07.06，endtime = 2020.7.10 则不报错因此需要对个位数补0示例：let date = '';const now = new Date();const time = new Date(now.getTime() - 96*60*60*1000);.

2020-07-10 16:38:26 807

原创学习笔记之产品埋点

昨天和做经营分析的师妹聊天，说到产品埋点，不太清楚具体含义，于是今天来学习了。和数据挖掘建模时选择的“指标”。数据埋点属于数据采集的阶段，是互联网分析业务闭环中的起点，为之后的许多日常及专题的分析提供数据源常规埋点属性：who 用户：通过该属性将产品不同的付费用户区分开，达到识别并区分用户的目的 when 时间：用户于何时发生该付费动作 where 场景：用户在何处发生了该付费动作 how 方式：用户是通过何种方式发生的该付费动作...

2020-05-28 15:19:35 280

转载百万级数据量，千万级数据量是多少，海量数据的优化方案

百万级数据量，千万级数据量是多少？这里的百万级，千万级，针对数据库，指的是表的数据条数。有时也指并发事务量。海量数据的优化方案Note：具体优化要结合自身的业务特性百万级：这个数据量基本上大家都经历过，也能感知一些性能问题显露出来了，这个阶段的优化几乎是最重要的，因为到后期千万级，甚至亿级别的阶段，数据库几乎无法动弹，可调整性很低。下面主要以字段，索引，sql 编写三方面优化：字段选择优化索引设计优化：空间换时间的优化策略，基本上根据业务需求设计...

2020-05-28 10:52:02 5122

原创 antd组件DatePicker, RangePicker日期选择器的格式化方法 moment.js

在使用antd的日期选择器时，发现返回的日期格式是moment的默认格式，但是需求是需要前端给后端传送格式为：startDate = ‘YYYY-MM-DD’endDate = 'YYYY-MM-DD'转化前，前端使用 RangePicker 传送的是一个moment格式的 dateRange 值，所以在这里的需要做到两件事：将 dateRange 拆分为startDate 和...

2019-12-27 15:47:49 10123 2

原创 Error: git pull 同步远程代码后文件夹大小写未同步的问题

这个问题发生在本地项目文件夹由 “usergroup”变更为“userGroup”后，提交代码后，未识别文件夹大小写发生变化，文件夹恢复为了更改前的“usergroup”查找问题： git默认是不区分大小写的解决问题： git config --get core.ignorecase //查看默认配置如果...

2019-12-02 10:49:58 962

原创数据预处理之数据相关性分析

相关性分析：分析连续变量之间线性相关程度的强弱，并用适当的统计指标表示出来的过程成为相关分析计算相关系数： 1.Person 相关系数: 要求连续变量的取值服从正态分布，一般用于分析连续性变量之间的关系 2.Spearman 秩相关系数：一般用于分析不服从正态分布的变量、分类或等级变量之间的关联性 3.判定系数：用来...

2019-10-15 11:08:43 3402

原创 Python 函数 lambda( ), map( ), reduce( ), filter( ) 举例详解

Python 支持用 lambda 对简单的功能定义 “行内函数”1.例如：f= lambda x: x+2 #定义函数 f(x)=x+2g= lambda x,y: x+y #定义函数 g(x,y)=x+y2.map( )函数用于逐一遍历a= [1,2,3]b=map(lambda x,y: x*y,a,b) #将a,b两个列表的元素对应相乘...

2019-09-25 14:17:00 249

转载数据结构基础之二叉树的深度优先遍历、广度优先遍历

什么是二叉树？树的每个节点最多有2个孩子节点。注意，最多有2个，也可能1个或0个。什么是满二叉树？所有非叶子节点都存在左右孩子，并且所有叶子节点都在同一层级（这里的叶子节点不曾作为某一个子树的根，即该树的最后一层）。满二叉树的每一个分支都是满的。什么是完全二叉树？在最后一个叶子节点前的所有节点是满的。树是非线性数据结构，二叉树可以用链表和数组来表达...

2019-08-28 17:14:54 335 1

转载数据结构基础之数组、链表、栈、队列、哈希表的学习笔记

目录时间复杂度空间复杂度数组 array链表 linked list栈 stack队列 stack哈希表 hash tableNote：本篇内容总结自《漫画算法》时间复杂度把程序的相对执行时间函数 T(n) 简化为一个数量级，用大写的O表示，T(n)=O(f(n))。时间复杂度的推导原则：如果运行时间是常数量级，则用常数...

2019-08-28 14:20:00 521

原创 GeneDataBase 基因数据库调研资料

DNA序列DNA序列或基因序列是使用一串字母表示的真实的或者假设的携带基因信息的DNA分子的一级结构。可能的字母只有A，C，G和T，分别代表组成DNA的四种核苷酸——腺嘌呤，胞嘧啶，鸟嘌呤，胸腺嘧啶。每个字母代表一种碱基，两个碱基形成一个碱基对，碱基对的配对规律是固定的，即是：A-T,C-G。典型的他们无间隔的排列在一起，例如序列AAAGTCTGAC。任意长度大于4的一串核苷酸被称作一个序...

2019-08-27 13:54:09 993

原创 informix实例初始化时报错 init:Fatal error in shared memory initialization

初始化硬盘空间：执行 oninit -ivy若出现shared memory相关错误，说明在配置完成之前执行过初始化命令，这时，应该将 onconfig 文件中的FULL_DISK_INIT 设置为 -1，再重新执行初始化命令。执行后，可以将FULL_DISK_INIT 改回为 0,以防止错误的初始化使得数据库格式化，丢失数据。...

2019-03-29 16:32:29 1807

原创 Informix REHL6.4在 linux 平台的安装配置流程

安装step1 准备下载 IIF.11.70.UC8.LINUX.X86.32.ML.tar 压缩包; 解压：tar -xvfIIF.11.70.UC8.LINUX.X86.32.ML.tarstep2 创建 informix 用户组和用户groupadd informix useradd -g informix -m informix passwd informixstep3...

2019-03-29 16:27:43 412

原创 MySQL

ENGINE 存储引擎：MySQL中的数据用各种不同的技术存储在文件(或者内存)中。这些技术中的每一种技术都使用不同的存储机制、索引技巧、锁定水平并且最终提供广泛的不同的功能和能力。通过选择不同的技术，你能够获得额外的速度或者功能，从而改善你的应用的整体功能常用以下两种：ENGINE=MyISAM 或 ENGINE=InnoDBMyISAM：管理非事务表。它提供高速存储和检索，以及...

2019-02-21 15:03:29 169

原创如何查找python模块放在计算机的什么位置

如何查找python模块放在计算机的什么位置在IDLE中运行以下命令：import sys;sys.path如何获取当前工作目录：导入 OS 模块，并运行以下命令：import osos.getcwd()如何切换目录：import osos.chdir('要切换的目录，相对于当前目录的相对路径')怎样在python代码中加入注释？使用三组双引号：""...

2018-11-08 15:51:56 1836

原创 PyMySQL 的依赖库

在 Python 中，Pandas 库本身可以利用 read_sql( ) 函数来读取数据库，但是它依赖于 SQLAlchemy, 而SQLAlchemy 又依赖于 PyMySQL。因此，安装 SQLAlchemy 前，需要安装 PyMySQL安装 PyMySQL 前，需要先安装依赖库：cryptography安装 cryptography 前，需要先安装以下依赖库： cffi. ...

2018-10-16 10:54:34 1540

原创数据挖掘建模实例

一、数据抽取日均增长数据 10G，取宽度为 2年的时间段作为观测窗口，项目数据为 6 T（若日均增长数据 14 G，则项目数据 10 T）。TB 量级以上的海量数据，要考虑存储和计算的效率问题。基于分布式存储以后，数据被分布式存储在不同的服务器上，那么可以采用分布式计算框架（Mapreduce，Spark）来进行并行计算，大幅度提高工作效率。l方法一，使用 Hive 导入数据...

2018-09-17 09:52:58 4932

原创 Python 访问数据库（Pandas）

若要使用 pandas 读取数据库文件 read_sql，需要知道以下依赖：依赖SQLAlchemy库，而SQLAlchemy库依赖于 PyMySQL。Pandas在读取数据（csv、xls、sql），都是将全部数据读入内存中，因此在数据量较大时难以实现。所以pandas提供了 chunksize参数，以分块读取大数据文件。import pandas as pdfrom sqlalch...

2018-09-04 15:28:36 1123

原创数据预处理：使用Hive，Scipy 和 data.describe( )处理缺失值的方法

在数据预处理过程中，空值的处理主要有以下三种处理方式：删除记录：当原始数据量大，空值数据所占比例较小，对结果影响不大时，可以对其进行丢弃处理。插值：当原始数量较少，直接删除空值会造成样本量不足，可能会改变变量的原有分布。此时，可以利用现有变量的信息，对空值进行填补。不处理Note：有时对于异常值，也会先将其置为空值，然后根据情况使用以下方法处理。可以使用多种处理方法： da...

2018-08-31 16:30:10 6518

原创数据挖掘流程总结及挖掘算法比较

一、数据前期探索数据质量分析：是数据预处理的前提主要任务：检查原始数据中是否存在脏数据脏数据：不符合要求，以及不能直接进行相应分析的数据。包括：缺失值，异常值，不一致的值，重复数据，含有特殊符号的数据。1、缺失值处理方式：删除存在缺失值的记录; 对可能值进行插补; 不处理。2、异常值（离群点）处理方式：简单统计量分析（判断变量取值是否超出范围）; ...

2018-08-07 15:43:52 8497 2

原创数据分析笔试错题要点及解析

1、为数据的总体分布建模，把多维空间划分成组等问题，属于数据挖掘中的哪一类任务：建模描述2、假设12个销售价格记录组已经排序如下：5, 10, 11, 13, 15,35, 50, 55, 72, 92, 204, 215 使用如下每种方法将它们划分成四个箱。等频（等深）划分时，15在第几个箱子内？：第二个解析：连续属性离散化有三种常用方法： ...

2018-08-01 14:27:39 13466 2

原创数据库错题要点

1.mysql 日志：二进制日志即 binlog日志记录数据定义语言(DDL)和数据控制语言(DML) 但不包括数据查询语言。中继日志即 relaylog，也是二进制日志，用来给slave 库恢复。备库将主库的日志复制到自己的中继日志里。（中继日志不在主数据库中） errorlog 记录错误信息，告警信息，帮助优化。 slowlog 慢日志，记录了查询超过限定时间的sql，帮助SQL...

2018-07-27 11:46:16 377

原创终于解决 ERROR 1044(42000): Access denied for user ''@'localhost' to database，亲测有效

在 create database mytestsql 时出现错误：ERROR 1044(42000): Access denied for user ''@'localhost' to database ‘mytestsql’错误根本原因：使用了 administrator 用户登陆，但该用户只有 usage 权限，没有 create 的权限。解决方法（亲测解决）：应该使用m...

2018-07-23 21:45:50 101416 4

原创 MySQL 安装教程

Download：https://dev.mysql.com/downloads/file/?id=476517Note：注意版本和系统的选择本文选用：mysql-5.6.40-winx64.zip 1.将 .zip文件解压。2.配置环境变量。控制面板->系统属性->高级->环境变量->系统变量将mysql安装目录的bin文件目...

2018-07-23 21:45:02 301

原创基于 Python 的时序模型——AMIRA模型

时间序列分析的目的：给定一个已被观测了的时间序列，预测该序列的未来值ARIMA 模型：如果一个时间序列经差分运算后具有平稳性，则该序列为差分平稳序列，可以使用 ARIMA 模型进行分析。时间序列的预处理：平稳性检验：时序图检验：平稳序列的时序图显示该序列值始终在一个常数附近随机波动，而且波动范围有界; ...

2018-07-17 11:26:05 5682 2

原创关联规则——基于 Python 的 Apriori 算法实现

Apriori 核心思想：通过连接产生候选项与其支持度，然后通过剪枝生成频繁项集。关键概念：项集：项的集合。包含 k 个项的项集称为 k 项集，如{a,s,d}是一个3项集。支持度：项集A、B同时发生的概率。最小支持度：项集在统计意义上的最低重要性。置信度：项集A发生，则项集B发生的概率。最小置信度：关联规则的最低可靠性。同时满足最小支持度阈值和最小置信度阈值的规则称作...

2018-07-12 16:59:25 3421 2

原创 Hadoop 权威指南—读书笔记（基本理论、术语、MapReduce）

Hadoop 提供一个可靠的共享存储和分析系统：其中 HDFS（Hadoop Distributed FileSystem）实现存储，MapReduce 实现分析处理。MapReduce是一种线性可伸缩的编程模型。编写两个函数：map 函数和 reduce 函数——每个函数定义一个键/值对集合的映射。函数不需要关注数据集及其所用集群的大小。如果输入的数据量是原来的两倍，那么运行的时间也需要两倍;但...

2018-07-05 15:10:44 356

原创 K-Means 聚类算法分析客户群价值

K-Means 算法是典型的基于距离的非层次聚类算法，在最小化误差函数的基础上将数据划分为预订的类树 K，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度越大。度量样本之间的相似性最常用的是欧几里得距离、曼哈顿距离和闵可夫斯基距离;（Scikit-Learn 中的 KMeans 算法仅仅支持欧氏距离，因为采用其他的距离并不一定能够保证算法的收敛性。）度量聚类质量的目标函数...

2018-06-22 17:30:18 5575

原创利用决策树 ID3 算法进行预测

决策树：决策树方法在分类、预测、规则提取等领域被广泛应用决策树是树状结构，它的每一个节点对应着一个分类，非叶节点对应着在某个属性上的划分，根据样本在该属性上的不同取值将其划分城若干个子集。构造决策树的核心问题是在每一步如何选择适当的属性对样本做拆分。对一个分类问题，从一直分类标价的训练样本中学习并构造出决策树是一个自上而下，分而治之的过程。ID3算法：基于信息熵来选择最佳测...

2018-06-20 15:22:16 3998

原创使用随机逻辑回归进行特征筛选，并利用筛选后的特征建立逻辑回归模型

from sklearn.linear_model import LogisticRegression as LRfrom sklearn.linear_model import RandomizedLogisticRegression as RLRrlr=RLR() #建立随机逻辑回归模型，筛选变量rlr.fit(x,y) #训练模型rlr.get_support() #获取特征...

2018-06-14 14:51:54 10005 6

原创关于Python函数传参误区的几点总结

Remeber that arguments are passed by assignment in Python Python 里的参数是通过赋值传递的 Since assignment just creates references to objects, there's no alias between an argument name in the caller and callee, ...

2018-06-14 10:55:16 806 1

原创 pandas中利用 .iloc 和 .loc 选取数据

Pandas 基本的数据结构是 Series（数组）和 DataFrame（类似二维数组），Pandas 提供了 Index 对象，每个 Series 都会带有一个对应的Index，用来标记不同的元素，Index 的内容不一定是数字，也可以是字母、中文等，它类似于SQL中的主键Pandas 读取文件时候，注意文件的存储路径不能带有中文，否则读取可能出错。.iloc：根据标签的所在位置，从...

2018-06-13 17:24:18 31465 1

原创使用 Python 进行数据预处理中用到的各个扩展库及对应函数拉格朗日插值法，主成分分析等

一、数据清洗删除原始数据集中的无关数据、重复数据，平滑噪声数据，处理缺失值、异常值。缺失值处理删除缺失值、数据插补、不处理 Scipy：拉格朗日插值法 from scipy.interpolate import lagrange#导入拉格朗日插值函数 ...

2018-06-12 11:51:50 1608

原创终于解决 import matplotlib.pyplot 时出现的 importError: DLLload failed:找不到指定的模块

在matplotlib的所有依赖库均安装成功后， import matplotlib 成功，但是在 import matplotlib.pyplot as plt 时发生如下错误：importError: DLLload failed:找不到指定的模块上网找了各种办法，也没能解决，然后发现自己安装的 matplotlib 大小是 8128 kb，从另一个地址找到的同一版本的 matplotlib ...

2018-05-24 10:59:23 26047 14

空空如也

空空如也