- 博客(132)
- 资源 (3)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 TensorFlow系列——在自定义的标准estimator中使用tensorboard及打印中间数据
1、定义hook钩子函数用于获取指定名称的中间数据class YourOwnHook(tf.train.SessionRunHook): def __init__(self): np.set_printoptions(suppress=True) np.set_printoptions(linewidth=400) def before_run(self, run_context): """返回SessionRunArgs和sessio
2021-06-03 11:11:15
1778
原创 学习填坑记录
1、tf.keras.layers.Lambda()——匿名函数层解析https://www.codenong.com/cs105908829/
2021-06-03 10:52:56
625
原创 TensorFlow系列——一些api的使用场景及方式
1、string_split：在制作tfrecord的时候，将多个类别特征使用分隔符组装到一起，用一个特征列来存储，降低存储代价。而在训练时候使用string_split将其分隔，分别处理。cank
2021-05-31 11:40:30
379
原创 spark-scala系列——使用技巧+异常处理汇总
1、使用VectorAssembler()将多个dataframe数值列以及数组列合并到一列（）中去问题描述：spark内部有优化处理，当使用rdd+row方式获取
2021-05-30 10:32:03
379
原创 TensorFlow系列——异常记录
1、tensorflow.python.framework.errors_impl.InvalidArgumentError: assertion failed: [Input values must be in the range 0 <= values < max_tokens with max_tokens=3] [[node model/category_encoding/Assert/Assert (defined at /work_place/python_proje...
2021-05-28 10:18:20
320
原创 TensorFlow系列——feature_column特征工具说明
一、一些工具1、三种本地打印输出非序列sequence数据的feature_column转换后的值的方法适用于TensorFlow1.ximport tensorflow as tffrom tensorflow.python.feature_column import feature_column_v2 as fc_v2from tensorflow.python.feature_column import feature_column as fc# 注意：只有方式2会检查输入数据是否
2021-05-16 18:24:13
2859
1
原创 TensorFlow系列——本地运行使用feature_column做特征工程
关键词：tf.contrib.data.parallel_interleave tf.data.TFRecordDataset input_layer make_initializable_iterator() train.MonitoredTrainingSession test_op.initializer parse_example data.Dataset.list_files data.experimental.make_batched_features_dataset da
2021-05-14 16:41:35
438
原创 TensorFlow系列——写tfrecord数据
涉及的概念：Example Tensor SequenceExample Feature涉及的写入方式python spark scala spark dataframe写入的数据类型int64 float32 string写入的特征类型VarlenFeature SparseFeature FixedLenFeature一、python方式写tfrecord二、spark scala方式写tfrecord三、spark dataframe方式写tfreco
2021-05-13 16:12:13
902
1
原创 TensorFlow系列——环境相关
一、安装1、win10系统anaconda安装1.1、安装TensorFlow2.1.0版本问题 https://docs.floydhub.com/guides/environments/使用python版本3.6注意：TensorFlow2.3.0对应的python版本为3.7及3.8遇到问题：CondaVerificationError: The package for tensorboard located at解决方式：在文件目录中删掉对应的文件，重新con...
2021-05-13 11:44:29
147
原创 TensorFlow系列——在estimator中使用feature_column处理tfrecord特征
一、用于接口——现有的estimator模型1、读取tfrecord数据1.1、tfrecord中包含所有特征情况feature_schema = { # 包含了tfrecord里的所有特征，包括标签label "sex": tf.io.FixedLenFeature(shape=(1,), dtype=tf.int64), "age": tf.io.FixedLenFeature(shape=(1,), dtype=tf.int64)}# train_files就
2021-05-12 15:37:19
510
原创 tensorflow系列——读取tfrecord数据
一、创建 TrainSpec方式：1用于# 模型：model = tf.estimator.LinearClassifier( feature_columns=get_feature_columns(""), model_dir=FLAGS.model_dir, n_classes=2, optimizer=tf.train.AdamOptimizer(learning_rate=FLAGS.learning_ra
2021-05-11 18:01:51
886
转载 sql系列——hive之array、map、struct、java函数（udf）、python函数、分隔符、json_tuple的处理
https://www.cnblogs.com/h-kang/p/10916609.html原始数据1 huangbo guangzhou,xianggang,shenzhen a1:30,a2:20,a3:100 beijing,112233,13522334455,5002 xuzheng xianggang b2:50,b3:40 tianjin,223344,13644556677,6003 wangbaoqiang beijing,zhejinag c1:200 chongqinjg
2020-09-27 20:50:45
1216
原创 sql系列——hive之内置函数
1、数学函数1.1、四舍五入（保留n位小数）round（a），round（a,b）1.2、银行家舍入法：broud（a），bround（a，b）1.3、向下取整、向上取整floor（a），ceil（a）1.4、返回随机数（带有种子）rand（），rand（seed）1.5、对数函数ln（a）、log10（a）、log2（a）、log（base，a）1.6、幂函数exp（a）、pow（a，p）1.7、平方根函数sqrt（a）1.8、二进制、十六进制及
2020-09-25 08:23:35
1945
原创 python系列——面试零碎知识点
1、字典相关1.1、删除字典里的某个键：1.2、合并两个字典或者用一个字典更新另一个字典：2、多线程、锁、全局锁、进程、python解释器2.1、python的GILGIL 是python的全局解释器锁，同一进程中假如有多个线程运行，一个线程在运行python程序的时候会霸占python解释器（加了一把锁即GIL），使该进程内的其他线程无法运行，等该线程运行完后其他线程才能运行。如果线程运行过程中遇到耗时操作，则解释器锁解开，使其他线程运行。所以在多线程中，线程的运行仍是有先后顺序的
2020-09-24 09:31:03
218
转载 python系列——多线程之（同步、异步、阻塞、非阻塞）
https://www.cnblogs.com/space007/p/6249608.html同步，异步概念 1.同步就是发生调用时，一定等待结果返回，整个调用才结束； 2.异步就是发生调用后，立即返回，不等待结果返回。被调用者通过状态、通知来通知调用者，或通过回调函数处理这个调用。 查询 1.同步查询 2.异步查询 同步异步与阻塞，非阻塞区别 1.阻塞/非阻塞,它们是程序在等待消息(无所谓同步或者异步)时的状态； 2.同步/异步，是程序获得关注.
2020-09-24 08:46:04
1436
转载 sql系列——hive之ddl操作（库操作与表操作）
库操作1、创建库语法结构CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] //关于数据块的描述 [LOCATION hdfs_path] //指定数据库在HDFS上的存储位置 [WITH DBPROPERTIES (property_name=property_value, ...)]; //指定数据块属性创建库的方式（1
2020-09-23 20:27:27
365
转载 sql系列——hive之数据类型和存储格式
https://www.cnblogs.com/h-kang/p/10916459.html1、基本数据类型：Hive 支持关系型数据中大多数基本数据类型类型 描述 示例 boolean true/false TRUE tinyint 1字节的有符号整数 -128~127 1Y smallint 2个字节的有符号整数，-32768~32767 1S int 4个字节的带符号整数 1 bigint 8字节带符号整
2020-09-23 19:31:42
247
原创 python系列——多线程之协程（并发/并行，可迭代-＞yield-＞协程）
1、什么是并发：https://blog.csdn.net/qq_33290787/article/details/51790605讲并发之前，要先看一张图：Concurrency，是并发的意思。并发的实质是一个物理CPU(也可以多个物理CPU) 在若干道程序（或线程）之间多路复用，并发性是对有限物理资源强制行使多用户共享以提高效率。 微观角度：所有的并发处理都有排队等候，唤醒，执行等这样的步骤，在微观上他们都是序列被处理的，如果是同一时刻到达的请求（或线程）也会根据优先级的不同，而先后进
2020-09-18 13:23:48
1178
原创 python系列——多进程之进程池（pool）
1、如何创建一个进程池https://www.cnblogs.com/aylin/p/5601969.htmlPool类描述了一个工作进程池，他有几种不同的方法让任务卸载工作进程。进程池内部维护一个进程序列，当使用时，则去进程池中获取一个进程，如果进程池序列中没有可供使用的进进程，那么程序就会等待，直到进程池中有可用进程为止。我们可以用Pool类创建一个进程池， 展开提交的任务给进程池。 例：#apply (非阻塞，异步方式)from multiprocessing import
2020-09-16 10:27:48
11712
2
转载 python系列——多进程之multiprocessing多进程管理包
1、简介multiprocessing是python的多进程管理包，和threading.Thread类似。2、如何简单使用from multiprocessing import Processdef func(name): print('hello', name)if __name__ == "__main__": p = Process(target=func,args=('zhangyanlin',)) p.start() p.join() #
2020-09-10 14:09:54
395
转载 python系列——多线程之queue及线程池
参考博客：https://www.cnblogs.com/franknihao/p/6627857.html1、作用Queue用于建立和操作队列，常和threading类一起用来建立一个简单的线程队列。2、种类Queue.Queue(maxsize) FIFO（先进先出队列） Queue.LifoQueue(maxsize) LIFO（先进后出队列） Queue.PriorityQueue(maxsize) 为优先级越高的越先出来,对于一个队列中的所有元素组成的
2020-09-10 13:41:47
1417
转载 python系列——多线程之条件变量condition
参考博客：http://c.biancheng.net/view/2622.html （存钱取钱）https://www.cnblogs.com/yoyoketang/p/8337118.html （用于生产者消费者）为什么要用condition：当线程在系统中运行时，线程的调度具有一定的透明性，通常程序无法准确控制线程的轮换执行，如果有需要，Python可通过线程通信来保证线程协调运行。如何起作用：假设系统中有两个线程，这两个线程分别代表存款者和取钱者，现在假设系统有一种特...
2020-09-08 09:27:59
791
原创 python新发现——打印有颜色的输出
print("\033[1;41m red light is on \033[0m")print("\033[1;42m green light is on \033[0m")print("\033[1;34;40m green light is on,[%s]start going \033[0m"%name)
2020-09-03 08:35:13
120
原创 python系列——多线程之event事件
参考博客：https://www.cnblogs.com/zhangshengxiang/p/9606133.html （讲述了event和线程之间的关系）https://blog.csdn.net/beifangdefengchuilai/article/details/80165772 （使用event实现红绿灯）https://www.jianshu.com/p/c8dc6f689915 （使用event实现生产者消费者）event与线程之间的关系：同进程的一样,线程的一个关...
2020-09-03 08:32:41
1048
原创 python系列——多线程之Semaphore信号量及
参考博客：https://segmentfault.com/a/1190000008123688 （以图的方式解释了lock锁、rlock锁、semaphore信号量）http://blog.sina.com.cn/s/blog_82fefc100102xg97.html （以semaphore信号量实现了生产者消费者）https://blog.csdn.net/qq_33371343/article/details/79201161 （解释了semaphore信号量中信号量的功能）h...
2020-09-03 08:05:01
1272
转载 python系列——多线程中的lock、Rlock的应用与区别，以及Python2与python3对于多线程处理的不同
参考博客：https://www.cnblogs.com/melonjiang/p/5307705.html1、python2与python3在多线程中，在不加锁的情况下对共享数据的修改的问题：示例代码：#!/usr/bin/env python# -*- coding:utf-8 -*-import threadingimport timenum = 100 #设置一个共享变量def show(): global num #在函数内操作函数外变量，需设置为全局变量
2020-09-02 08:59:03
282
转载 python系列——多线程threading模块的直接调用与继承式调用
参考博客：https://www.cnblogs.com/aylin/p/5601969.htmlhttps://www.cnblogs.com/melonjiang/p/5307705.html1、直接调用：import threadingimport time'''直接调用'''def hello(name): print("Hello %s"%name) time.sleep(3)if __name__ == "__main__": t1=thr
2020-09-01 08:59:58
184
转载 python系列——多线程中start和run方法的区别
参考博客：https://www.cnblogs.com/i-honey/p/8043648.htmlhttps://blog.csdn.net/chenpkai/article/details/70943609总结就是：start() 方法是启动一个子线程，在该子线程中执行run方法，而线程名就是我们定义的name run() 方法并不启动一个新线程，就是在主线程中调用了一个普通函数而已。因此，如果你想启动多线程，就必须使用start()方法。...
2020-08-31 22:30:44
1613
1
转载 python系列——多线程中setdeamon和join的共同作用
参考博客：https://www.cnblogs.com/liangzaikaituozhe/p/7866873.html
2020-08-31 22:06:52
180
转载 python系列——多线程中setdeamon的作用
参考文章：https://www.cnblogs.com/ydf0509/p/9334117.html1、如果主线程是永远都不会结束的，那设置一个线程为守护线程是没必要的，设不设置都一样（因为主线程不退出，该线程不会成为孤儿）。2、主线程有可能会结束的情况：什么时候需要设置为守护线程？如果希望子线程一直运行，可以把子线程的代码写在while True里面一直循环，但同时要设置为守护线程，不然主线程结束了，子线程还一直运行，程序结束不了。...
2020-08-31 21:47:06
296
原创 scala系列——初始印象
一、scala语言有什么特点？什么是函数式编程？有什么优点？ 1、特点：scala语言集成面向对象和函数式编程 2、函数是编程解释：函数式编程是一种典范，将电脑的运算视作是函数的运算。 3、优点：与过程化编程相比，函数式编程里的函数计算可以随时调用。 4、函数式编程中，函数是一等公民。二、scala中的闭包闭包是一个函数，返回值依赖于声明在函数外部的一个或多个变量。闭包的实质就是代码与用到的非局部变量的混合，即：闭包 = 代码 + 用到的非局部变量例如：
2020-08-26 19:35:44
567
原创 deepFM—理论推导
阅读文章：https://blog.csdn.net/ISMedal/article/details/100578354一、初始印象1、来源DeepFM相当于将Wide & Deep模型中的Wide部分的LR换成了FM。2、wide & deep的思想与结构实现Wide & Deep Learning 模型的核心思想是结合广义线性模型的记忆能力（memorization，体现在使用的特征都是已有的单一特征，和已有的交叉特征）和深度前馈神经网络模型的泛化能力（g
2020-08-24 13:42:13
501
原创 关联规则——关联分析
阅读的文章：https://zhuanlan.zhihu.com/p/78166580https://zhuanlan.zhihu.com/p/79412570解析：1、现象：啤酒与尿不湿的故事 => 两个看似不相干的东西放一起，销量双双增加。2、目的：找出物品之间的关联规则，将两个商品放在一起，双双提升销量。3、做法：这些是一个超市里面的一部分购买商品记录：3.1、关联分析涉及的几个概念支持度：support，也即物品的流行程度 支...
2020-08-04 21:24:58
10562
4
原创 隐马尔可夫模型hmm
参考博客：https://www.cnblogs.com/skyme/p/4651331.html1、最大熵的直观解释：“最大熵”这个名词听起来很深奥，但是它的原理很简单，我们每天都在用。说白了，就是要保留全部的不确定性，将风险降到最小。2、数学中最大熵的原理的实际表现：鸡蛋不能放在同一个篮子里。兜里的耳机线自动变乱。...
2019-06-03 19:54:01
189
原创 hive使用小结
1、hive解析array中的json比如要查询poschain中的gameId的值：get_json_object(poschain,'$[0].gameId')2、hive中下划线怎么用like进行匹配：pos like 'iconList_1_%'的结果：改成：pos like 'iconList\\_1\\_%' 就行了换成rlike不行...
2019-05-09 17:57:14
199
原创 从决策树到gbdt
1、决策树用做分类和回归问题：决策树如何做回归？2、决策树的生成算法有哪几种id3、c4.5、CART3、决策树的结构：内部节点表示特征，叶节点表示类。决策树的内部节点的分支是多分支（一个内部节点可以有多个子节点）。决策树每一层的特征（属性）都不相同。4、决策树的特征选择：熵、条件熵、互信息、信息增益决策树的特征选择的简单描述：如果一个特征具有更好的分类能力...
2019-05-06 21:02:20
588
原创 em算法的总结
首先来几个博客：1、https://www.jianshu.com/p/c57ef1508fa72、http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html3、https://blog.csdn.net/lvhao92/article/details/508050214、https://blog.csdn.ne...
2019-04-26 20:19:37
456
原创 L1正则L2正则的一些总结
参考博客：a、https://www.cnblogs.com/lliuye/p/9354972.htmlb、https://vimsky.com/article/969.htmlc、https://blog.csdn.net/b876144622/article/details/81276818总结：1. 为什么要使用正则化对于博客a的复述： 我们先回顾一下房价预测的...
2019-04-23 14:15:51
252
cuda-fp16 api调用问题
2016-07-07
TA创建的收藏夹 TA关注的收藏夹
TA关注的人