- 博客(198)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 Dolphin Scheduler本地开发环境配置
基础环境：Macbook Projava 8python 2.7Mysql 8.01.安装ZooKeeper下载地址:http://mirrors.hust.edu.cn/apache/zookeeper/stable/note:需要下载apache-zookeeper-3.5.8-bin.tar.gz文件，否则zk无法启动错误信息：错误: 找不到或无法加载主类 org.apache.zookeeper.server.quorum.QuorumPeerMain解压文件，进入conf,
2020-08-06 16:35:09
3903
原创 Spark TroubleShooting
1.数据的并行度是资源的并行度的两到三倍 2.Spark的shuffle和MR的shuffle不同 3.Troubleshooting 解决算子函数返回NUll导致问题： 在返回的时候，返回一些特殊的值，不要返回null，比如“-999”;2、在通过算子获取到了一个RDD之后，可以对这个RDD执行filter操作，进行数据过滤。filter内，可以对数据进行判定，如果是-999，那么就返回fa
2017-11-06 17:27:40
542
原创 Spark性能调优
算子级别的优化：coalesce和repartition都能增加或减少分区的数量，repartition会发生shuffle1、浪费资源、数据倾斜：filter+coalesce（+repartition） 业务测试local，不需要去设置分区和并行度的数量 2、foreachpartition：大部分的内存：计算 、 shuffle，设法减少每个partition的数据量 3、mapPart
2017-11-04 11:34:03
824
原创 Spark数据倾斜
1.在任何大数据类的项目中，都是最棘手的性能问题，最能体现人的技术能力，最能体现RD（Research Developer，研发工程师）的技术水平。 数据倾斜 = 性能杀手，如果没有丰富的经验，或者没有受过专业的技术培训，是很难解决数据倾斜问题的，因为上述的特点，数据倾斜解决方案，这块儿内容和技术，在咱们的这个模块，甚至是整个项目中，都是非常非常核心、有含金量、有价值的。 2.什么是数据倾斜？
2017-11-04 11:32:53
598
原创 TensorFlow学习笔记（十）
1.TensorFlow神经网络—符号嵌入操作 描述tf.nn.embedding_lookup(params, ids, partition_strategy=’mod’, name=None, validate_indices=True) 根据索引ids查询embedding列表params中的tensor值如果len(params) > 1，id将会安照partition_str
2017-11-03 17:49:22
676
原创 TensorFlow学习笔记（九）
TensorFlow神经网络—激活函数操作 描述tf.nn.relu(features, name=None) 整流函数：max(features, 0)tf.nn.relu6(features, name=None) 以6为阈值的整流函数：min(max(features, 0), 6)tf.nn.elu(features, name=None) elu函数，exp(featur
2017-11-03 17:46:32
659
原创 TensorFlow学习笔记（八）
1.TensorFlow复数操作操作 描述tf.complex(real, imag, name=None) 将两实数转换为复数形式# tensor ‘real’ is [2.25, 3.25]# tensor imag is [4.75, 5.75]tf.complex(real, imag) ==> [[2.25 + 4.75j], [3.25 + 5.75j]]tf.compl
2017-11-01 17:27:45
4845
原创 TensorFlow学习笔记（七）
1.TensorFlow 是一个编程系统, 使用图来表示计算任务. 图中的节点被称之为op (operation 的缩写). 一个 op获得 0 个或多个张量（Tensor） , 执行计算, 产生 0 个或多个Tensor . 每个 Tensor 是一个按类型划分的多维数组. 例如, 你可以将一小组图像集表示为一个四维浮点数数组, 这四个维度分别是[batch, height, width, cha
2017-11-01 17:25:30
296
原创 TensorFlow基本介绍
1.TensorFlow简介 TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统，其命名来源于本身的运行原理。Tensor（张量）意味着N维数组，Flow（流）意味着基于数据流图的计算，TensorFlow为张量从流图的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。 TensorFlow可被用于语音
2017-10-30 17:22:52
2323
原创 TensorFlow学习笔记（六）
Scope命名方式'''Created on 2017年10月26日@author: yanmengf'''import tensorflow as tfwith tf.name_scope("a_name_scope"): initializer = tf.constant_initializer(value=1) var1 = tf.get_variable(name='v
2017-10-28 09:40:21
208
原创 TensorFlow学习笔记（五）
保存神经网络'''Created on 2017年10月26日@author: yanmengf'''#coding:utf-8"""Please note, this code is only for python 3+. If you are using python 2+, please modify the code accordingly."""import tensorfl
2017-10-28 09:39:11
191
原创 TensorFlow学习笔记（四）
CNN—卷积神经网络 CONVOLUTIONS Neural Network'''Created on 2017年10月25日@author: yanmengf'''#coding:UTF-8"""Please note, this code is only for python 3+. If you are using python 2+, please modify the cod
2017-10-28 09:37:40
444
原创 TensorFlow学习笔记（三）
分类学习—Classification'''Created on 2017年10月25日@author: yanmengf'''#coding:UTF-8"""Please note, this code is only for python 3+. If you are using python 2+, please modify the code accordingly."""i
2017-10-26 15:35:45
297
原创 TensorFlow学习笔记（二）
1. import tensorflow as tfimport numpy as npdef add_layer(inputs,in_size,out_size,actvation_function=None): Weights = tf.Variable(tf.random_normal([in_size,out_size])) biases = tf.Variable(tf
2017-10-25 21:24:01
339
原创 TensorFlow学习笔记（一）
Linux:sudo apt-get install python-pip python-dev#如果是Python2sudo pip --upgrade https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow-0.8.0-cp27-none-linux_x86_64.whl#如果是python3sudo pip3 --upg
2017-10-25 21:20:25
360
原创 Python学习笔记（十四）
使用Python的网页开发 1.python 2.7 version 2.使用easy_install lpthw.web 3.在目录下建立一个文件，如命名为goweb 4.在goweb文件夹下建立文件夹，命名为bin 5.在bin目录下建立一个文件命名为app.py 6.如下代码impot weburls = ( '/', 'index')app = web.applicat
2017-10-23 18:16:28
209
原创 Python学习笔记（十三）
1.图形界面 GuiTkinter GUI： Graphical User Interface Tkinter： GUI library for Python#coding:utf-8from tkinter import *import tkinter.simpledialog as dlimport tkinter.messagebox as mbroot = Tk()w = Labe
2017-10-21 11:21:50
266
原创 Python学习笔记（十二）
1.语法错误和异常错误while True print("Hello Python")Error Message: File “C:\Programming\eclipse\project\PythonStudy\Exception.py”, line 9 while True print(“Hello Python”) ^ SyntaxEr
2017-10-21 11:20:51
301
原创 Python学习笔记（十一）
变量的输入输出# coding:utf-8str_1 = input("Enter a string:")str_2 = input("Enter another string:")print("str_1 is: " + str_1 + "str_2 is: " + str_2)print("str_1 is {} + str_2 is {}".format(str_1, str_2))
2017-10-20 18:50:01
196
原创 Python学习笔记（十）
1.关键字break continue#关键词 break continue#其实在这里，continue是可有可无的number = 29i = 0while True: guess = int(input("Enter an integer:")) if guess == number: i = i + 1 break elif
2017-10-19 17:56:32
229
原创 Python学习笔记（九）
1.if 和 for'''Created on 2017年10月17日@author: yanmengf'''# coding:utf-8#if语句from Tuple_List_Compare import a_tuplenumber = 29guess = int(input("Enter an integer :"))if guess == number: print(
2017-10-18 18:11:32
202
原创 Python学习笔记（八）
1.函数就是程序中可重复使用的程序段 用关键字“def”来定义，给一段程序起一个名字，用这个名字来执行一段程序，反复使用# coding:utf-8def say_hi(): print("hi!")say_hi()#参数Functiondef print_sum_two(a,b): c = a + b print(c)print_sum_two(3, 6)#传入字
2017-10-17 21:13:28
173
原创 Python学习笔记（七）
1.创建只包含一个元素的tuple#创建只包含一个元素的tuplea_tuple = (2,)2.Tuple中的List#tuple中的listmixed_tuple = (1,2,['a','d'])print("mixed_tuple:"+str(mixed_tuple))3.修改tuple中的listmixed_tuple[2][0] = 'c'mixed_tuple[2][1] =
2017-10-16 20:49:50
153
原创 Python学习笔记（六）
1.编码# _*_ coding:utf-8 _*_如果使用Python打印中文字符串，没有上面的代码，就会显示错误print("你好")2.list 数据结构—–List中的元素可以不相同，可以进行混合 如何创建一个list?——–[]符号代表list，里面的值用，进行分割number_list = [1,3,5,7,9]print("number_list :" + str(number_
2017-10-14 11:43:48
174
原创 Python学习笔记（五）
Python Interpreter—Python解释器 Python中一个核心模块，把Python语言解释成计算机可以理解的语言 安装目录下的python.exe就是解释器Python环境变量以及Python Command Line模式 我的电脑—属性—高级系统设置—环境变量—在系统变量中找到PATH—点击编辑—在最前面加上python.exe的路径（注意，加完之后需要使用;进行分割）
2017-10-14 11:40:33
155
原创 Python学习笔记（四）
Python Interpreter—Python解释器 Python中一个核心模块，把Python语言解释成计算机可以理解的语言 安装目录下的python.exe就是解释器Python环境变量以及Python Command Line模式 我的电脑—属性—高级系统设置—环境变量—在系统变量中找到PATH—点击编辑—在最前面加上python.exe的路径（注意，加完之后需要使用;进行分割）
2017-10-13 18:54:52
241
原创 Python学习笔记（三）
Python 语言介绍: 面向对象，解释性计算机程序设计语言 广泛应用于科学计算，众多开源科学计算软件包提供Python开放接口（e.g：openCV） 设计哲学：优雅、明确、简单、可读性强 优点：功能强大、开发效率高、应用广泛、易上手、语法简洁 用途：网页开发、可视化界面开发、网络、系统编程、数据分析、机器学习、网络爬虫、科学计算 著名的网站使用python实现的:雅虎地图、谷歌的很多
2017-10-12 18:27:23
291
原创 Python学习笔记（二）
1.d=4 将整型对象”4” 赋值给变量d 2.一切数据都是对象 自行车称为对象，自行车的零件称之为自行车的属性 对象方法：导向系统、驱动系统、制动系统等等 3.一切变量都是对数据对象的一个引用 引用：当数据对象赋值给某个变量时，则该变量引用了该数据对象 4. 5.引用计数 假设对象“sdf”被创建出来，则字符串的引用计数为3,然后依次创建相同对象，则进行累加，然后再建一个整型
2017-10-11 17:45:23
228
原创 Python学习笔记（一）
python 是解释性语言，全程是解释性的脚本语言，而C是编译型语言 命令：python 文件名.py而C语言则需要在每次修改之后重行编译一下gcc –c 文件名 –o 编译后的文件名脚本解释性语言和编译型语言的内部机制 脚本解释性语言的内部机制：在运行脚本之前，得到结果之后1. python 先将脚本编译成字节码（pyc、pyo）2. python 虚拟机解释并运行字节码文件编译型
2017-10-10 18:07:48
268
原创 机器学习中的必修数学（九）
线性回归 单变量线性回归 多变量 损失函数 最小化损失函数 梯度下降 学习率与梯度下降 线性判定边界 多分类 损失函数：hinge loss/支持向量机
2017-10-09 17:58:56
491
原创 机器学习中的必修数学（八）
共轭函数 共轭函数的基本性质 共轭函数的进一步性质 拉格朗日量与拉格朗日对偶函数 对偶函数重要性质 对偶问题 线性约束优化问题的对偶问题 最小化向量范数 最大熵问题 对偶性 Slater条件 满足强对偶性的例子 KKT条件 KKT条件使用 使用KKT条件解决优化问题例子 支持向量机最简单的形式——分类问题
2017-09-28 18:13:40
362
原创 机器学习中的必修数学（七）
优化问题 极大似然估计与最小二乘法例子 凸优化问题 凸优化的应用 凸集合和凸函数的定义 函数的上镜图 凸组合 集合的凸包与函数凸闭包 集合的凸包与函数的凸闭包的性质 凸集合与凸函数的性质 算数几何平均不等式与柯西不等式 凸集合和凸函数的性质 凸集合性质 凸函数的性质 凸集分离定理 共轭函数
2017-09-27 16:55:25
448
原创 机器学习中的必修数学（六）
矩阵标准型 矩阵的变换 相似变换 相似变换下不变的性质 矩阵的相似标准型 线性映射的体积膨胀系数 例子 例题：秩 例子：相似标准型 小结 方阵的相合变换 相合不变量 方阵的正交相似变换 方阵的正交相似标准阵 主成分分析 PCA的步骤 长方矩阵的奇异值分解 多元函数的二阶逼近 极大似然估计的渐进正态性质 小结
2017-09-26 18:23:54
360
原创 机器学习中的必修数学（五）
线性空间 线性空间与基 例子：坐标系的选取 小结：线性空间与基 线性映射 线性变换的矩阵描述 线性映射与矩阵 线性映射与矩阵（小结） 几何变换 简单递归-斐波那契数列 线性模型递归 线性回归 几何逼近 最小二乘法（统计）
2017-09-25 17:15:12
288
原创 Mahout基本原理
Point 1：什么是Mahout？ Mahout 是Apache的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项挖掘。此外，通过使用 Apache Hadoop 库，Mahout 可以有效地扩展到云中。Mahout 是基于Hadoop的机器学习和数据挖掘的一个分布式框架。Mah
2017-09-23 12:18:03
984
原创 机器学习中的必修数学（四）
参数估计：点估计和区间估计 常用的数学记号 参数估计问题 矩估计 矩估计的基本定理 点估计：矩估计的例子（两点分布的参数估计） 点估计：矩估计（正态分布的参数估计） 点估计：极大似然估计 极大似然估计基本原理：最大化似然函数 点估计的评判准则 相合性 正态分布的参数估计 无偏性 有效性 置信区间
2017-09-23 12:03:36
360
原创 机器学习中的必修数学（三）
常用的数学记号 黎曼积分 微积分基本定理：牛顿-莱布尼茨公式 不定积分的例子 多变量函数的积分 积分小结 离散随机变量 离散型随机变量是求和 连续随机变量 连续型随机变量是积分 如何理解概率 贝叶斯公式 参数估计 先验分布和后验分布 共轭分布 特殊分布的特殊函数 小结 随机变量的矩 切比雪夫不等式 随机变量随机系数 同一个随机变量的特征函数的重要性质 不同的随机变量的特征函数的重要性质 一个
2017-09-23 11:57:05
291
原创 机器学习中的必修数学（二）
常见的数学记号 极限 极限如何比较无穷小？ 下面写错了，应该是cos（x） 无穷小阶数 无穷小也可以互相比较 利用多项式类型无穷小，可以定义无穷小的阶数 两边夹定理/夹逼定理 重要极限 微分学 函数的高阶导数 初等函数的导数 多元函数-偏导数 高阶偏导数 偏导数的例子 下面不是log，而是ln 求导法则 求导数例子 泰勒级数 泰勒级数的例子 罗比塔法则 求解简单的微分方程 牛顿法与梯度
2017-09-22 19:04:33
692
原创 机器学习中的必修数学（一）
机器学习的领域 基本的机器学习算法的分类 得分函数 如图，经过一系列的计算，最后得到的概率就叫得分函数 4.损失函数 得分函数与真实数据比较之后的误差叫做损失函数 机器学习中的算法简介 无监督学习（连续型）：SVD、PCA、K-means 无监督学习（离散型）：Apriori、FP-Growth、Hidden Markov Model 监督学习（连续型）：Regression（Lin
2017-09-21 21:04:04
3210
2
nginx-1.8.1.tar.gz
2017-05-04
nginx-1.8.1
2017-05-04
nginx-1.8.0.tar.gz
2017-05-03
zookeeper-3.4.8
2017-05-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人