- 博客(42)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 angular 9.2升级10.2.2
angular升级10.2.2 设置镜像 # 设置淘宝源npm config set registry https://registry.npmmirror.comnpm config set sass_binary_site https://npmmirror.com/mirrors/node-sass 本文描述是指从 9.x 升级至 10 的描述说明；NG-ALAIN 只需一行命令即可： ng update @angular/core@10 @angular/cli@10
2021-12-23 20:36:29
777
1
原创 Scala学习01——Scala介绍
此系列为scala学习文章，适用于为学spark而学习scala视频参考地址：Scala快速入门（适合为学Spark学习Scala的同学） 系列文章如下：1. Scala学习01——Scala介绍2. Scala学习02——Scala类和对象3. Scala学习03——基础语法 4. Scala学习04——Scala方法与函数5. Scala学习04——Scala集合
2021-12-20 21:00:29
170
原创 Scala学习07——隐式转换
隐式转换是在Scala编译器进行类型匹配时，如果找不到合适的类型，那么隐式转换会让编译器在作用范围内自动推导出来合适的类型。一、隐式参数与隐式值隐式值是指在定义参数时前面加上implicit。隐式参数是指在定义方法时，方法中的部分参数是由implicit修饰【必须使用柯里化的方式，将隐式参数写在后面的括号中】。隐式转换作用就是：当调用方法时，不必手动传入方法中的隐式参数，Scala会自动在作用域范围内寻找隐式值自动传入。隐式值和隐式参数注意：1). 同类型...
2021-12-20 20:23:57
218
原创 Scala学习06——trait特性、模式匹配、偏函数、样例类
目录一、trait特性1. 概念2. 示例二、模式匹配match1. 概念2. 示例三、偏函数1. 概念2. 示例四、样例类1. 概念2. 示例一、trait特性1. 概念Scala Trait(特征) 相当于 Java 的接口，实际上它比接口还功能强大。与接口不同的是，它还可以定义属性和方法的实现。一般情况下Scala的类可以继承多个Trait，从结果来看就是实现了多重继承。Trait(特征) 定义的方式与类类似，但它使用的关键字...
2021-12-16 20:35:55
806
原创 Scala学习05——Scala集合
一、Stringval s = "bjsxt"val s1 = "BJSXT"println(s.equals(s1))println(s.equalsIgnoreCase(s1))println(s.indexOf(98))println(s.indexOf("b"))println(s==s1)/* compareToIgnoreCase * 如果参数字符串等于此字符串，则返回值 0； * 如果此字符串小于字符串参数，则返回一个小于 0 的值；
2021-12-12 22:11:14
629
原创 Scala学习04——Scala方法与函数
一、Scala方法的定义二、递归方法三、参数有默认值的方法四、可变长参数方法五、匿名函数六、嵌套方法七、偏应用函数八、高阶函数九、柯里化函数def max(a:Int,b:Int): .
2021-12-12 17:27:31
342
原创 Scala学习02——Scala类和对象
Scala快速入门（适合为学Spark学习Scala的同学）目录一、数据类型二、变量和常量的声明三、类和对象一、数据类型Scala数据类型，首字母大写 Any是所有类型的超类，其父类为Object，AnyRef与AnyVal为Any类型的子类 Nothing类型表示不赋类型时，系统默认的类型，无实例值，为所有类型的子类二、变量和常量的声明常量赋值：val 变量赋值：var 定义变量/常量时，也可以写上指定类型，一般Scala可以自动识别，因此省略，如：v
2021-12-08 21:22:48
733
原创 python数据库定时更新脚本——（一）GitPython拉取代码
一、简介及安装GitPython 是一个用于操作 Git 版本库的 python 包，它提供了一系列的对象模型(库 -Repo、树 -Tree、提交 -Commit等)用于操作版本库中的相应对象。主要通过python对远程代码进行拉取、提交等操作 安装及使用：pip install gitpythonimport gitpython二、使用1. Repo对象GitPython的所有git操作都是通过Repo对象来操作的，通...
2021-12-08 16:56:46
2700
原创 【Python】模糊匹配搜索
1. 概述利用python库：fuzzywuzzy及difflib，两个库均可实现词粒度的模糊匹配，同时可设定模糊阈值，实现关键词的提取、地址匹配、语法检查等2. fuzzywuzzypip install fuzzywuzzyfrom fuzzywuzzy import processfrom fuzzywuzzy import fuzz2.1 fuzzy模块（1）模糊匹配方法ratio()——简单匹配，使用纯Levenshtein Distance进行匹配。 parti
2020-11-19 15:36:15
20124
2
原创 Selenium模拟浏览器常见操作及问题
1. Selenium 依赖及驱动安装2.Selenium 常见操作2.0 网址登录browser = webdriver.Chrome()browser.get("http://baidu.com")2.1 查找元素查找元素有以下几个类型,一般在网页F12右击元素后 copy选项中选择browser.find_element_by_xpath("")2.2 键盘输入2.3 点击操作3. 常见问题1. 无法定位元素...
2020-11-17 15:00:28
663
原创 pandas CSV读取编码问题记录
1. 写入CSV文件，本地excel打开乱码问题使用编码 ‘utf_8_sig' 解决data.to_csv('news.csv',encoding = 'utf_8_sig')2. 读入CSV文件，出现编码错误问题UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb7 in position 23: invalid start byte使用编码 'gb18030' 解决pd.read_csv('news.csv',e.
2020-06-03 14:49:11
770
原创 面试相关——计算机网络基础
目录1. 计算机网络体系2. TCP和UDP有什么区别3、三次握手与四次挥手4、为什么TCP链接需要三次握手，两次不可以么，为什么？5. 从输入网址到获得页面的过程6. IP地址的分类、划分，及各类地址支持的主机数。7、常见状态码及原因短语8. 相关协议1. 计算机网络体系1). 物理层实现了相邻计算机节点之间比特流的透明传送，并尽可能地屏蔽掉具体传输介质和物理设备的差异，使其上层(数据链路层)不必关心网络的具体传输介质。2). 数据链路...
2020-05-17 14:37:20
410
原创 算法知识点——（5）集成算法—GBDT详解
目录一、GBDT概述二、GBDT算法思想1. GB（Gradient boosting）2.GBDT的变形和参数建议3. 算法思想总结4.GBDT的优缺点三、GBDT回归算法1. 回归算法2. 回归实例四、GBDT分类算法1. 二元分类2. 多元分类3. 分类实例五、常见问题1. 随机森林和GBDT 的区别2. Xgboost...
2019-09-29 14:01:24
3442
原创 算法知识点——（4）降维
一、SVD奇异值分解1. SVD概述为什么先介绍SVD算法，因为在后面的PCA算法的实现用到了SVD算法。SVD算法不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域。是很多机器学习算法的基石。 在线性代数中我们学过矩阵（在这里的矩阵必须是n×nn×n的方阵）的特征分解，矩阵A和特征值、特征向量之间的关系如下 将A矩阵做特征分解，特征向量QQ是一组...
2019-09-26 11:22:09
696
原创 算法知识点——（3）监督学习——SVM
目录一、支持向量机原理1. SVM目标2. 距离与数据定义3. 目标函数推导4. 目标函数求解4.1 KKT条件4.2 拉格朗日乘子法——强对偶性4.3 拉格朗日乘子法—— 求解4.4 SMO算法——求解max ()5. 软间隔6. SVM核变换二、常见问题1. LR和SVM区别2. SVM损失函数3. SVM的原理是什么？4. 对偶...
2019-09-17 15:58:51
2582
原创 算法知识点——（3）监督学习——决策树
目录一、决策树概念二、决策树启发函数1. ID3——最大信息增益2. C4.5——最大信息增益比3. CART——最小基尼系数4. 启发函数区别三、决策树剪枝策略1. 预剪枝2. 后剪枝四、常见问题1. C4.5 如何处理连续型数值2.信息增益率的优缺点3.C4.5对ID3做了哪些改进4. CART 与C4.5区别5. 简述分类树...
2019-09-12 18:02:03
1749
原创 算法知识点——（3）监督学习——逻辑回归与线性回归
目录一、线性回归1. 原理推导1.1算法概述1.2误差项分析1.3似然函数1.4目标函数推导1.5线性回归求解2. 特点3. 广义线性回归二、逻辑回归1. 原理推导1.1 Logistic 分布1.2 逻辑回归分类任务1.3 似然函数1.4 应用梯度下降求参数1.5 参数更新2. 特点3. 多分类逻辑回归4. 极...
2019-09-10 09:58:37
1128
原创 Python调包侠——Pandas循环提速
目录一、标准for循环二、Pandas 内置函数: iterrows ()三、Pandas的 .apply()方法四、Pandas向量化五、Numpy向量化六、总结一、标准for循环采用for循环遍历每一行，iloc来确定该列值，在数据量较大的情况下，iloc本身耗时较高，同时for遍历使得效率非常低，对于iloc的改进可使用 df.at来代替，对于for循环...
2019-09-09 14:10:12
927
原创 算法知识点——（2）模型评估
目录一、评估指标及其局限性1.准确率2. 精准率和召回率3. 平方根误差二、ROC曲线与AUC1. ROC计算2. AUC计算3. AUC实现三、模型评估方法1. Holdout检验2. 交叉检验3.自助法四、过拟合与欠拟合1. 过拟合、欠拟合现象2. 如何解决五、超参数调优1. 网格搜索2. 随机搜索3. 贝...
2019-09-05 15:32:13
1611
原创 算法知识点——（1）特征工程
目录一、特征归一化1. 为什么要做归一化2. 归一化的类型二、类别型特征在对数据处理时，应怎样处理类别型特征？三、文本表示模型有哪些文本表示模型？ 它们各有什么优缺点？四、word2vev1. Word2Vec是如何工作的？2. Word2Vec和LDA有什么区别与联系？五、常见的特征选择分类1. Filter方法2. Wrapper方法3....
2019-09-04 10:39:31
752
原创 spark、hadoop 问题合集
1. 在执行时总出现 util.NativeCodeLoader:18/05/11 10:24:33 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable提示Hadoop不能加载本地库问题原因：...
2018-05-11 16:47:29
233
原创 spark学习——（二）spark基础环境配置-linux（1）
1. JDK的安装1. 下载jdk安装包 jdk-8u171-linux-i586.tar.gz2. 建立一个新文件夹JDK，执行，解压文件linuxr@ubuntu:/$tar -zxvf jdk-8u171-linux-i586.tar.gz3. 设置环境变量linuxr@ubuntu:/$vim /etc/profile在后面添加：export JAVA_HOME=/home/linuxr/...
2018-05-10 16:57:34
349
原创 linux 基础——常见命令及问题
一、基础命令1. 用户的切换（1）普通用户到root用户：hadoop@ubuntu: su root / sudo su（2）root用户到普通用户：hadoop@ubuntu: su 普通用户名2. 文件拷贝：cp file1 file2 #file1 为源文件地址 file2 为你想要拷贝到的路径3. cat 命令：cat主要有三大功能：1.一次显示整个文件。$ cat...
2018-05-10 16:41:53
235
原创 Ubuntu 问题合集
问题如上：无法创建目录：只读文件系统；略过目录问题解决：0.略过目录的问题应该是路径输入错误，去掉file1 后面的 / 即可1. 查看分区，U盘是否成功显示 ，B1A2为优盘文件root@ubuntu:/media/linuxr# df -h2. 重新挂载root@ubuntu:/media/linuxr# mount -o remount,rw /media/linuxr/B1A2-45CE/...
2018-05-10 11:28:09
323
原创 spark学习——（一）spark简介
一、关于SparkSpark最初由美国加州伯克利大学（UCBerkeley）的AMP（Algorithms, Machines and People）实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。Spark在诞生之初属于研究性项目，其诸多核心理念均源自学术研究论文。2013年，Spark加入Apache孵化器项目后，开始获得迅猛的发展，如今...
2018-05-03 15:12:28
1416
原创 Python让繁琐工作自动化——chapter7 模式匹配与正则表达式
1. 基本语法1 正则匹配三步走import repattern = re.compile(r'\d\d\d-\d\d\d\d')phonenum = pattern.search('my num is 123-1121')print(phonenum.group()) #直接输出的是match对象，调用match对象的group方法，返回文本>>>123-11212 匹...
2018-04-23 14:44:13
367
原创 Python让繁琐工作自动化——chapter16 发送电子邮件和短信
1. 基础语法1.1 发送邮件SMTP用书上提供的代码一直显示ConnectionClosed 或者554错误，之后换了一种写法，虽然还是不稳定（有时候能发出去有时候就显示554——垃圾邮件错误）以下是一种发送成功的写法（不稳定）：import smtplibfrom email.mime.text import MIMETextfrom email.header import Header...
2018-04-13 20:59:47
2608
1
原创 Python让繁琐工作自动化——chapter10 日志模块
1. 基础语法1.1 日志模块import logging#设置输出的基本格式logging.basicConfig(level= logging.DEBUG , format = ' %(asctime)s - %(levelname)s - %(message)s')logging.debug('End ')将level关键字参数设为ERROR时，只会显示本级别以及本级别以上的日志消息l...
2018-04-12 14:21:21
258
原创 Python让繁琐工作自动化——chapter18 GUI控制键盘与鼠标
1. 基础语法"GUI自动化"：通过程序控制应用，向他们发送虚拟的击键和鼠标点击，即图形用户界面自动化import pyautogui#以下指令将返回屏幕分辨率大小weight , height = pyautogui.size()1.1 鼠标（1）移动鼠标#移动绝对坐标值（x,y,移动到该位置所需时间）pyautogui.moveto(100,200,duration = 0.2)#移动相...
2018-04-10 16:14:22
533
原创 Python让繁琐工作自动化——chapter15 保持时间、计划任务和启动程序
1. 基础语法1.1 time模块（1）time.time()函数import timetime = time.time()#返回一个浮点数，称为UNIX纪元时间戳，即1970.1.1 00:00 开始的秒数（2）time.sleep()函数time.sleep(5)#希望程序暂停的时间（3）round()四舍六入五成双now = time.time()round(now,2)#roun...
2018-04-09 20:45:28
448
原创 Python让繁琐工作自动化——chapter17 操作图像
1. 基础语法（1） 导入模块from PIL import Image（2）处理Image数据类型catlmg = Image.open('zophie.png') #Image.open 函数返回一个Image数据对象width, height = catImg.size #im.size 函数返回两个值，宽和高(size函数没有‘（）’调用！)im = Imag...
2018-04-09 16:01:03
557
原创 Python让繁琐工作自动化——chapter14 处理CSV和JSON数据
1. 基础语法1.1 CSV模块（1）读取CSV文件csvobj = open(csvfile) #打开CSV文件readerpbj = csv.reader(csvobj) #将其转换为reader对象（2）写入数据output = open(csvfile, 'w', newline='') # 创建要写入的CSV文件csvwrit...
2018-03-20 17:28:20
308
原创 Python让繁琐工作自动化——chapter13 处理PDF和Word文档
1 基础语法1.1 PDF模块（1）导入模块import PyPDF2（2）读取PDF文件pdffile = open('pdf2.pdf','rb') pdfreader = PyPDF2.PdfFileReader(pdffile) #创建PdfFileReader 对象（3）写入文件#一般用于从一个PDF复制内容写入到另一个PDF中p...
2018-03-20 16:57:45
1526
原创 Python让繁琐工作自动化——chapter12 处理Excel电子表格
1. 基本语法（1）模块导入import openpyxl（2）读取表格wb = openpyxl.load_workbook('文本文件到表格.xlsx')sheet = wb.get_active_sheet() #获得当前sheet表（3）写入表格wb = openpyxl.Workbook() #创建一个workboo...
2018-03-20 15:47:01
3080
原创 Python 爬取电影街美剧网址
Python 爬取电影街美剧网址1 前期分析 电影街网站的下载模式基本为两级菜单，首先搜索美剧《危机边缘》，找到第四季的网址 https://moviejie.net/movie/caf13d/ 打开共有三个版本的下载地址，在这里选取人人影视版，查看网页源代码可以发现，此版正好是下载网址的前二十二个（一共二十二集），网页源代码如下：<tr data-episode="01"...
2018-03-10 15:04:17
6308
Scala快速入门（适合为学Spark学习Scala的同学）
2021-12-20
databaseDesc.zip
2021-12-06
Mysql学习笔记.pdf
2020-12-24
NLP停用词常用词库
2020-11-19
计算机网络.docx
2020-05-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人