- 博客(24)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 逆强化学习为什么不直接把专家行为作为 label 进行学习，而是来拟合奖励模型，使得预测模型与专家行为的奖励更接近
总结起来，逆强化学习的目标是从专家行为中推断出隐含的奖励函数，而不是直接拟合专家行为本身。通过拟合奖励模型，逆强化学习可以从专家行为中抽象出更一般的、适用于更广泛情况的奖励函数，并具有探索未知奖励函数的能力。探索未知奖励函数：逆强化学习的一个重要应用是从专家行为中学习到的奖励函数中推断出未知的奖励函数。逆强化学习之所以不直接使用专家行为作为标签进行学习，而是通过拟合奖励模型来间接地学习奖励函数，是因为逆强化学习的目标是从专家的行为中推断出潜在的奖励函数。
2023-12-18 10:52:32
398
原创 关于时序预测可解释性预测
此外，我们对不同配置的SCNN进行了检验，并对SCNN的属性进行了深入分析。然后，SCNN采用分而治之的策略，为每个结构化组件定制一个简单的定律或参数化模型来解决时间序列的预测问题，以适应其动态性的特点。最后，为了增强SCNN的鲁棒性，我们除了常用的回归损失外，还构建了辅助的结构化正则化，引导模型更多关注那些不容易受到干扰的结构化组件。为了以可解释和模块化的方式建模MTS的动态性，我们的研究提出了一种基于生成过程的MTS结构建模方法，并相应地设计了一个结构化组件的。本文做一些论文收集使用，先更新一两篇。
2023-10-24 11:02:50
409
3
原创 Imitation Learning（模仿学习）
这种方法的核心思想是让机器学习模型从已有的数据中学习，而不是通过试错的方式。然而，它也有局限性，比如可能无法处理未知的、多样化的情境，或者在训练数据中未观察到的情况。总之，Behavior Cloning 是模仿学习的一种实现方式，它们之间存在关联，但 Imitation Learning 更广泛地指代了从专家行为中学习的各种方法。在这些领域中，模仿学习可以帮助机器学习模型更快地学习到有效的策略，从而提高整体的性能。2. 表示学习：从收集到的数据中提取特征，将这些特征表示成机器学习模型可以理解的格式。
2023-10-23 15:41:39
870
原创 TypeError: Cannot interpret ‘＜attribute ‘dtype‘ of ‘numpy.generic‘ objects＞‘ as a data type
先说解决办法，一般遇到这个问题就是numpy 和 pandas 版本不匹配了，发生的原因是使用pandas 时，内核的方法调用了 numpy，所以解决办法必须是看官方文档把两个版本调整可用的，下图展示的是用 dict生成 dataframe 时，遇到了这个报错。方法1.查看所需版本。
2023-08-15 17:37:12
329
1
原创 hive 分区表增加新列原始分区可正常插入数据的命令
alter table testtable.add columns(xxx string comment '',xx double comment '' ) cascade
2023-06-28 10:38:45
146
1
原创 transformer在时序预测上如何应用(2023.10.18更新)
是一个重要的组件，它允许模型同时关注输入序列的不同位置，并且可以学习输入序列中不同位置之间的关系。在实际实现中，我们通常使用同一个输入序列来构建这两个序列，因此在Keras中实现时，传递的参数为[x,x]，其中x是输入序列。因此，在Keras中实现Multi-Head Attention时，我们需要将同一个输入序列复制一份，作为查询序列和键值对序列的输入，然后将它们传递给。张量，它是一个与输入张量形状相同的张量，其中每个元素的值为0或1，表示该位置是否是填充位置（如果是填充位置，则对应的值为1）。
2023-04-28 11:32:46
2172
5
原创 如何对文字进行数字编码 利用bert
是注意力掩码，以便在序列长度不同时进行填充。需要注意的是，如果使用其他预训练模型，语言对应的分词器不一定相同。batch = [ "我喜欢红色", "你喜欢蓝色吗", "我们都喜欢绿色，不是吗"]是每个句子的token id序列，表示句子所属的句子对，
2023-04-28 11:13:36
280
原创 【序列化】keras custom model to_json with NotImplementedError:
这块踩坑无数，翻阅无数中英文文档，其核心问题是，你自定义的model，是继承的什么类，如果是layer类，那么就不会存在model.to_json()等模型序列化时报错，这里包括to_yarm等序列化操作。from 官方文档【在类继承模型中，模型的拓扑结构是由 Python 代码定义的（而不是网络层的静态图）。那么核心问题是什么，在我们实现模型类时，如果继承的是model类，那么就会存在无法序列化问题。另外：说一下我是如何发现model和layer两种类的差异的，没有遇到坑之前是万万不会理解的。
2023-01-12 14:57:51
265
原创 【keras bug】Tensor is unhashable if Tensor equality is enabled. Instead, use tensor.experimental_ref(
那么其实你可以检查一下你代码里哪些地方是有问题的，我这段代码的问题在于tf.cast()使用，在TF2.0+执行过程中，其实不需要个人指定tensor的类型，代码可以自动匹配对应类型，需要做的就是删除个人指定的数据类型。当遇到此类问题，首先一点就是版本不兼容问题，那么不兼容的解决办法有哪些呢，第一，升级版本，做到兼容，通常2.0以上是不会遭遇这类问题的。.........
2022-07-18 15:59:48
502
原创 keras fit_generator 增加并行度问题 use_multiprocessing
当我们使用use_multiprocessing=True时，其实还要说，同时自定义了generator进行训练，则会造成多线程锁死问题 dead lock训练任务的表现就是卡死，并没有任何报错，GPU启动不起来，或者说启动了，但是几轮epoch之后就锁死了，任务就没有新的日志产出了其根本原因还是keras与tensorflow数据交互时候，多线程不能完美兼容，现在要解决这个问题的方法包括1）适当降低generator的整体数据规模量，目前实验200万时肯定没问题的2）降低度并行，work设置小于4或者直接
2022-06-29 09:33:35
1006
翻译 如何提升GPU利用率 在使用fit_generator时
核心思想就是要减少读写次数，尽量提前尽可能的load数据，减少存储空间的交互，减少聚合过程以下文字来源于Low GPU usage by Keras / Tensorflow? - Stack Overflowhttps://stackoverflow.com/questions/44563418/low-gpu-usage-by-keras-tensorflowThe most possible scenarios are:If you have a huge dataset, take a look a
2022-06-16 09:20:26
288
原创 keras 用户自定义类如何保存 custom class save model
tf2.0目前用户自定义类保存存在问题解决方案是保存模型的参数 使用save_weights方法，调用的时候使用load_weights方法获取参数，custommodel.load_weights(‘test’)即可，其中c
2022-06-07 14:51:43
260
原创 Keras big data train 大规模数据训练-迭代器
生成迭代器，配合fit_generator进行大规模数据训练，减少因为fit方式直接把所有数据输入内存造成内存溢出问题要保持和fit一样的训练效果，要重写Keras相应的类，主要分为三种类以时间序列为例 核心是重写几个方法def __len__(self):def __getitem__(self, index):完成函数重写之后，便可以使用fit_generator进行训练了例子原是函数的方法keras/sequence.py at 07e13740fd181fc3ddec7d9a594d8a
2022-06-07 10:35:04
388
原创 keras InvalidArgumentError: 2 root error(s) found. (0) Invalid argument: Inp
ValueError: Cannot reshape a tensor with 2048 elements to shape [64,28,1] (1通常是发生在自定义class时候发生此类问题诸如此类错误，一般有两个情况，reshape操作的时候维度不对，原因有原有shape和新shape维度不匹配 reshape函数初始化后被反复调用，但是每次输入维度不一致...
2022-04-29 11:02:25
1005
原创 ValueError: tf.function-decorated function tried to create variables on non-
当你在构建自定义keras类时候，如果call中使用已有的layer，需要在__init__中提前定义比如： def __init__(self, pre_lens=28, window=180, is_teachers=False, name='mul', **kwargs): super(multcn, self).__init__(name=name,**kwargs) self.tcn = TCN( kernel_size=7,
2022-04-28 16:12:22
831
原创 keras中layer和model 的区别
共同点很多，那么区别是什么？官方文档灵魂问答The Model class has the same API as Layer, with the following differences:It exposes built-in training, evaluation, and prediction loops (model.fit(), model.evaluate(), model.predict()). It exposes the list of its inner layers, v
2022-04-25 16:08:12
2757
原创 模型蒸馏技术（Knowledge Distillation）
先说下什么是蒸馏，顾名思义，白酒蒸馏出来就是高度酒，水蒸馏出来就是蒸馏水（纯净），所以算法领域的蒸馏技术就是要把大的模型，大的知识，进行提纯，以达到小容量便可以解决大问题的效果。一般是压缩模型规模，后续演化也可以通过teacher&student方式提升算法准确度。未完待续...
2022-04-12 16:13:56
1214
1
原创 tensorflow2.0报错：Function call stack:distributed_function
可以明确地说是GPU资源不足，更要声明的是，在使用各类平台提供的jupyter使用GPU时，开启多个tap页面时，由于Tensorflow占用资源机制是有多少就全部占用，那么在没有提前设置资源使用量时，只有第一个开启的才会成功启动，其余的都会造成上述报错可以先关闭所有页面，然后重新启动，并进行如下配置# import tensorflow as tf import osos.environ['CUDA_VISIBLE_DEVICES']="0" # 指定哪块GPU训练config=tf.c
2022-04-11 11:05:23
1479
原创 Keras自定义损失函数-quantile_loss
keras源码git地址自己写函数，必然要参考官方写法，照猫画虎，取其精华，迎刃而解核心是定义了loss类，那么在实践中可以继承loss类然后写自己的损失类，比如mse，mae这些loss，当然为了方便，也可以自己实现函数，给大家个quantile loss的例子def quantile_loss(y_true, y_pred, quantile=0.9): y_pred = tf.convert_to_tensor(y_pred) y_true = tf.cast(y
2022-04-07 16:47:24
3437
3
pd.date_range to str or datetime64 to str
当我们使用pd.date_range(start='2020-01-01', end='2020-01-20')时，在pd datafram to rdd to spark dataframe过程中就会遇到类型转换问题pd.date_range(start='2020-01-01', end='2020-01-20').map(lambda x:x.to_pydatetime().strftime('%Y-%m-%d'))一键完成转换...
2020-07-24 17:12:57
418
原创 TypeError: unsupported operand type(s) for /: 'NoneType' and 'NoneType'
当你使用spark udf时，进行如下操作@udf(ArrayType(DoubleType()))def listdivision(alist,blist): if (np.array(blist).sum() is None)|(np.array(alist).sum() is None): return None else: resul...
2020-01-08 10:32:10
7926
原创 PySpark error: AttributeError: 'NoneType' object has no attribute '_jvm'
检查一下是否有from pyspark.sql.functions import *很可能在使用spark udf时，udf里面的python内置函数被spark function给替代了，重新import即可
2019-12-17 13:40:15
2052
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人