小糖宝-CSDN博客

原创 Scala实现单链表反转(leetCode 206)

https://leetcode-cn.com/problems/reverse-linked-list/object Solution { /** * 非递归方式 */ def reverseList(head: ListNode): ListNode = { if(head == null || head.next == null){ head }else{ var prev = head

2021-07-10 14:17:18 178

原创 Spark:The Definitive Guide--读书小结（五）

个人读后小结，如有不对，欢迎批评指正前言第Ⅰ部分大数据与Spark概述第Ⅱ部分结构化API--DataFrame、SQL和Dataset第Ⅲ部分低级API第Ⅳ部分生产与应用第Ⅴ部分流处理第Ⅵ部分高级分析与机器学习第Ⅶ部分生态系统前言大概花了一个月（2020-09~2020-10）左右的时间，看完了整本书。笔者毕业后，主要从事机器学习、数据挖掘方向的相关工作。由于Spark作为目前主流的分布式计算引擎，个人也一直在用Spark进行相关的数据分析与建模工作。通读全书，感觉比较适合入门级学习，主

2020-11-04 16:14:39 221 2

原创 Spark:The Definitive Guide--读书小结（四）

个人读后小结，如有不对，欢迎批评指正前言第Ⅰ部分大数据与Spark概述第Ⅱ部分结构化API--DataFrame、SQL和Dataset第Ⅲ部分低级API第Ⅳ部分生产与应用第Ⅴ部分流处理第Ⅵ部分高级分析与机器学习第Ⅶ部分生态系统前言大概花了一个月（2020-09~2020-10）左右的时间，看完了整本书。笔者毕业后，主要从事机器学习、数据挖掘方向的相关工作。由于Spark作为目前主流的分布式计算引擎，个人也一直在用Spark进行相关的数据分析与建模工作。通读全书，感觉比较适合入门级学习，主

2020-10-31 12:06:57 258

原创 Spark:The Definitive Guide--读书小结（三）

个人读后小结，如有不对，欢迎批评指正前言第Ⅰ部分大数据与Spark概述第Ⅱ部分结构化API--DataFrame、SQL和Dataset第Ⅲ部分低级API第Ⅳ部分生产与应用第Ⅴ部分流处理第Ⅵ部分高级分析与机器学习第Ⅶ部分生态系统前言大概花了一个月（2020-09~2020-10）左右的时间，看完了整本书。笔者毕业后，主要从事机器学习、数据挖掘方向的相关工作。由于Spark作为目前主流的分布式计算引擎，个人也一直在用Spark进行相关的数据分析与建模工作。通读全书，感觉比较适合入门级学习，主

2020-10-30 09:06:38 243

原创 Spark:The Definitive Guide--读书小结（一）

个人读后小结，如有不对，欢迎批评指正前言第Ⅰ部分大数据与Spark概述第Ⅱ部分结构化API--DataFrame、SQL和Dataset第Ⅲ部分低级API第Ⅳ部分生产与应用第Ⅴ部分流处理第Ⅵ部分高级分析与机器学习第Ⅶ部分生态系统前言大概花了一个月（2020-09~2020-10）左右的时间，看完了整本书。笔者毕业后，主要从事机器学习、数据挖掘方向的相关工作。由于Spark作为目前主流的分布式计算引擎，个人也一直在用Spark进行相关的数据分析与建模工作。通读全书，感觉比较适合入门级学习，主

2020-10-27 23:20:19 407 2

原创 idea快速构建sbt项目，挑战全网最全最细（亲测，1分钟内可成功构建sbt）

1.idea 下载scala插件，在线安装慢，直接下载离线安装包安装（建议用迅雷下载加速）下载好后的包：2.idea安装插件：3.离线安装sbt,一个原因，还是慢，再次迅雷加个速吧sbt本地安装好后：此时，直接去idea尝试构建sbt项目，半个小时过去了，眼看无望，直接kill掉4.重点来了：找到 user/.sbt文件，新建properties文件加点小玩意进去，修改源properties文件内容如下：[repositories]#localpublic: http

2020-06-26 10:52:35 2773

原创算法小白的第一次尝试----出行模式分析（矩阵聚类，数据实战）

主要功能：根据交通出行数据，通过刷卡记录，获取用户的所有出行od,以天为单位构建矩阵，对矩阵进行聚类主要采用了kmeans进行聚类，轮盘法（kmeans++思想）进行簇初始化，采用SSE(拐点)进行聚类效果评价kmeans++ 与kmeans参考该篇博客：https://www.cnblogs.com/wang2825/articles/8696830.htmlSSE选择最佳...

2020-05-06 18:36:15 2632

原创算法小白的第一次尝试----tensorflow2.0 CNN参数计算（图文解析CNN）

直接截图jupyter上数据x_train输入为32323，三通道RGB自定义model类CNN主要采用了CBAPD模式，即卷积层、BN层、激活层、池化层、dropout层，然后输入全连接网络模型训练模型输出参数统计：（具体参数值可以通过model.trainable_variables 去输出打印）重点来了：conv2d -------> param # 456fi...

2020-04-27 17:53:33 2487 1

原创算法小白的第一次尝试----tensorflow 2.0处理同心圆数据

import tensorflow as tfimport pandas as pdimport numpy as npfrom matplotlib import pyplot as plt#数据载入df = pd.read_csv('./dot.csv')x_data = df[['x1','x2']]y_data = df['y_c']#转为numpy数组|x_data ...

2020-04-24 17:30:19 4089

原创算法小白的第一次尝试---tensorflow2.0实战iris

import tensorflow as tfimport sklearn.datasets as datasetsimport numpy as np## 1.加载数据集x_data = datasets.load_iris().data #加载featuresy_data = datasets.load_iris().target #加载label# 随机切分数据，此处需设置...

2020-04-22 18:16:25 4197

原创算法小白的第二次尝试----NavieBayes

>朴素贝叶斯原理见该博客（强烈推荐）：>https://mp.weixin.qq.com/s?src=11&timestamp=1584688625&ver=2227&signature=O754zhc6apcSqOgNLOcewFs6K3RMvj9Tuz1nB4I*-IfaZLh5wlbpKA8iJxFtQ*xLy3FoYyW*pB2t7puAhrS7WS...

2020-03-23 20:10:50 3981

原创算法小白的第一次尝试---判断点是否在不规则区域范围内（手撕）

针对如何判断点是否在某一个不规则封闭区域内，主要采用的是向量积法，算法原理参考：> https://blog.csdn.net/ezhchai/article/details/78864336?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-tas...

2020-03-08 15:37:24 4732

原创算法小白的第一次尝试---KPCA（核主成分分析）降维【实例对比分析PCA、LDA和KPCA】

-------------------------------------------------------------------------------------笔者追求算法实现，不喜欢大篇幅叙述原理，有关KPCA理论推荐查看该篇博客https://blog.csdn.net/zjuPeco/article/details/77510981 PCA降维欢迎前往笔者上一篇博客：ht...

2019-04-29 16:18:18 13433 6

原创算法小白的第一次尝试---LDA(线性判别分析)降维【适用于任何维度】

import breeze.linalg.DenseMatriximport org.apache.log4j.{Level, Logger}import org.apache.spark.ml.feature.{LabeledPoint,VectorAssembler}import org.apache.spark.ml.linalg.Vectorsimport org.apache.s...

2019-04-24 22:35:30 10182

原创算法小白的第一次尝试---PCA（主成分分析）降维【适合各种纬度数据】

import breeze.linalg.{Axis, DenseMatrix, eigSym, sum} import org.apache.log4j.{Level, Logger} ...

2019-04-16 13:28:28 11342

原创算法小白的第一次尝试---DBCSAN实现（手撕）

import org.apache.log4j.{Level, Logger}import org.apache.spark.sql.SparkSessionimport scala.collection.mutableimport scala.collection.mutable.ArrayBuffer/** * @author XiaoTangBao * @date 2019/...

2019-04-10 22:05:13 9989 7

原创算法小白的第一次尝试---Kmeans (适用于任何维度数据)

import org.apache.log4j.{Level, Logger}import org.apache.spark.ml.feature.VectorAssemblerimport org.apache.spark.sql.types._import org.apache.spark.sql.{DataFrame, Row, SparkSession}import scala.c...

2019-03-18 21:54:34 10673

原创算法小白的第一次尝试---BoostingTree（手撕提升树）

import org.apache.spark.ml.feature.LabeledPointimport org.apache.spark.ml.linalg.Vectorsimport scala.collection.mutable.ArrayBuffer/** * @author XiaoTangBao * @date 2019/3/10 16:00 * @version...

2019-03-11 09:29:22 9718

原创算法小白的第一次尝试---AdaBoost(手撕)

特别警告：https://www.wandouip.com/t5i28437/ 希望该网站尊重原创，转载请标明出处。import org.apache.log4j.{Level, Logger}import org.apache.spark.ml.feature.LabeledPointimport org.apache.spark.ml.linalg.Vectorsimport org...

2019-03-09 22:37:39 9903

原创算法小白的第一次尝试---SVM实现

import org.apache.log4j.{Level, Logger}import org.apache.spark.mllib.classification.{SVMModel, SVMWithSGD}import org.apache.spark.mllib.evaluation.{BinaryClassificationMetrics, MulticlassMetrics}im...

2019-03-07 15:24:16 9679

原创算法小白的第一次尝试---PLA（感知机算法）实现

import breeze.linalg.DenseVectorimport org.apache.log4j.{Level, Logger}import org.apache.spark.ml.feature.LabeledPointimport org.apache.spark.ml.linalg.Vectorsimport org.apache.spark.sql.SparkSess...

2019-03-06 10:59:20 9838

转载 Spark Breez矩阵计算

import breeze.linalg._import breeze.numerics._import breeze.stats.distributions.Rand/** * @author XiaoTangBao * @date 2019/3/5 16:16 * @version 1.0 */object Breeze { def main(args: Array...

2019-03-05 16:24:37 5727

转载最小二乘法---最详细的解释

     http://blog.sina.com.cn/s/blog_7445c2940102wjz8.html#commentComment最小二乘法，又是一个即熟悉又陌生的名字。对于学工科的我，简直就是听着最小二乘长大的(汗。。。)。但是，之前碰到要用最小二乘法的时候，我采取的办法都...

2019-03-04 22:24:41 30690 11

原创 Spark ml数据归一化

import org.apache.log4j.{Level, Logger}import org.apache.spark.ml.linalg.Vectorsimport org.apache.spark.sql.SparkSessionimport org.apache.spark.ml.feature.Normalizerimport org.apache.spark.ml.feat...

2019-03-04 17:17:54 9946

原创算法小白的第一次尝试--LinearRegression

import org.apache.log4j.{Level, Logger}import org.apache.spark.ml.feature.VectorAssemblerimport org.apache.spark.ml.regression.{LinearRegression, LinearRegressionModel}import org.apache.spark.sql.{...

2019-03-04 16:13:14 9696

原创 spark-submit 报错：No suitable driver 最终解决方案（测试通过）

最近一个Scala项目，开发完成后，在Scala IDE上调试通过，提交到集群后一直报错如下：提交的命令为：特地将mysql驱动包copy到spark-submit目录下，但是依旧报上诉错误。在各大博客网站上寻找答案，发现答案千篇一律，几乎都行不通。最后在stackoverflow中找到了答案：注意：–jars --driver-class-path --conf 少一样都...

2019-01-23 15:09:08 11899 3

原创算法小白的第一次尝试---ID3实现决策树

package DecesionTreeimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.SQLContextimport org.apache.spark.ml.feature.StringIndexerimport java.math._i...

2019-01-17 12:54:31 9339

转载 Spark性能优化--基础篇

在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行速度更快、性能...

2019-01-16 11:18:12 152

原创算法小白的第一次尝试---朴素贝叶斯

package Bayesimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport scala.collection.mutable.ArrayBufferimport org.apache.spark.ml.feature.LabeledPointimport org.apache.spark...

2019-01-12 19:17:24 9288

原创算法小白的第一次尝试---KNN

import scala.io.Sourceimport scala.collection.mutable.ArrayBufferimport org.apache.spark.ml.feature.LabeledPointimport org.apache.spark.ml.feature.LabeledPointimport org.apache.spark.ml.linalg.Vec...

2019-01-09 20:04:28 10203

原创 Zookeeper----集群模式搭建

最近学习了Zookeeper单机模式和Zookeeper集群搭建，将经验分享给各位初学者，希望大家共同进步！！！！Zookeeper单机环境搭建请看我另一篇博客.......... 笔者假设Zookeeper单机模式已搭建好（没搭建好的可以去看一下我的另一篇博客）1.修改 zookeeper/conf/zoo.cfg文件（笔者只搭建了3台）,保存退出。 server.X中的X一定要不...

2018-06-08 19:53:38 4278

原创大数据---Zookeeper单机模式搭建

最近学习了Zookeeper单机模式和Zookeeper集群搭建，将经验分享给各位初学者，希望大家共同进步！！！！Zookeeper集群环境搭建请看我另一篇博客..........1.网上下载Zookeeper压缩包，作者使用的是zookeeper-3.4.7.tar.gz2.在home目录下创建两个文件夹 mkdir -p /home/software zookeep...

2018-06-08 19:12:20 4888 1

原创 VMware安装后没有虚拟网卡Vmnet1和Vmnet8的解决方案

之前安装过VMware虚拟机，后来由于电脑卡机的原因，删掉后，最近重装VMware,发现安装完成后，在网络连接和网络适配器中均看不到VMnet1和VMnet8，尝试了很多方法，均无效，最终尝试下诉方法，成功！！！1.在C盘下搜索VM开头的文件，全部删除。注意绝对路径中含VMware,不要删错了。2.下载CCleaner，进行注册表清理，清理项全部选中，扫描问题，全部修复。注意：反复...

2018-06-03 15:31:34 9896

原创 java可变参数列表

java可变参数列表应用于参数个数或类型未知的场合，可变参数列表可以是基本类型、复合类型（包装器类型）、String类型、Object类型等，也可以是基本类型和其他类型的组合，具体表现形式如下： static void f(Object...args){} void f(String...args){} void f(float f,Character...args){}java中的自动

2017-08-24 12:16:51 4332

原创利用jxl 读取文件夹下的多张excl表，excl表较多时报错数组越界，较少时不报错，结果正确，求大神解释

package jv; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileWriter; import java.io.IOException; import java.io.InputStream; i

2017-08-18 13:44:24 4101 2

原创 Scala 实现寻找链表中间元素（leetCode 876）

object Solution { /** * 暴力遍历求解 */ def middleNode(head: ListNode): ListNode = { val len = getLength(head) var cur = head for(i<-0 until(len/2)){ cur = cur.next } cur } def getLe

2021-07-11 14:46:48 159

原创 Scala实现删除链表中倒数第n个元素（leetCode 19）

object Solution { def removeNthFromEnd(head: ListNode, n: Int): ListNode = { val len = getLength(head) if(len == 0){ //链表为空 head }else{ val preHead = new ListNode(-1,head) var cur = preHead

2021-07-11 14:25:55 184

原创 Scala实现合并两个有序链表（leetCode 21）

https://leetcode-cn.com/problems/merge-two-sorted-lists///合并2个有序链表object Solution { /** * 暴力遍历，时间复杂度O(M+N),空间复杂度O(1) */ def mergeTwoLists(l1: ListNode, l2: ListNode): ListNode = { val prevHead = new ListNode(-1) var prev =

2021-07-10 19:14:29 179

原创 Scala检测链表环(leetCode 141)

https://leetcode-cn.com/problems/linked-list-cycle/import scala.collection.mutable.HashSetobject Solution { /** * 哈希表法 */ def hasCycle(head: ListNode): Boolean = { if(head == null || head.next == null){ false }else{

2021-07-10 15:45:40 130

原创 windows下安装python 版SCIP优化求解器

在电脑上安装VS. 2,在电脑安装scip3.直接pip install pyscipopt 时会报错4.找到安装后的scip，把scip、src都拷贝进去5.重新安装、6.案例

2021-03-05 18:14:39 1262

minst npz文件.rar

MNIST_data.rar

空空如也