- 博客(659)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 深度学习基础之《TensorFlow框架（12）—图片数据》
文本特征抽取：转换成数值，二维数组shape(n_samples, m_features)字典特征抽取：转换成数值，二维数组shape(n_samples, m_features)组成一张图片特征值是所有的像素值，有三个维度：图片长度、图片宽度、图片通道数。我们经常接触到的图片有两种，一种是黑白图片（灰度图），另一种是彩色图片。图片：转换成数值，三维数组shape(图片长度、图片宽度、图片通道数)描述一个像素点，如果是灰度图，那么只需要一个数值来描述它，就是单通道。灰度图[长，宽，1]彩色图[长，宽，3]
2024-04-19 17:38:33
96
原创 springboot @ConditionalOnProperty注解
（4）matchIfMissing：缺少该配置时是否可以加载，如果为true，没有该配置属性时也会正常加载，反之则不会生效。（3）havingValue：它的值与配置文件的值对比，当两个值相同，类会被加载到spring的IOC容器中。@ConditionalOnProperty注解可以有条件的加载bean。（1）prefix：配置文件中的前缀。比如有3个定时任务，想设置开关。（2）name：配置的名字。
2024-04-12 13:38:57
251
原创 深度学习基础之《TensorFlow框架（11）—数据读取》
除此以外，还有Dataset.repeat()（重复数据集的元素）、Dataset.reduce()（与Map相对的聚合操作）、Dataset.take()（截取数据集中的前若干个元素）等，可参考API文档进一步了解。将数据集打乱（设定一个固定大小的缓冲区（Buffer），取出前buffer_size个元素放入，并从缓冲区中随机采样，采样后的数据用后续数据替换）对数据集中的每个元素应用函数f，得到一个新的数据集（这部分往往结合tf.io进行读写和解码文件，tf.image进行图像处理）
2024-03-31 18:21:17
674
原创 深度学习基础之《TensorFlow框架（10）—案例：实现线性回归（2）》
3、如果需要在TensorFlow2.0中使用静态图，可以使用@tf.function装饰器将普通Python函数转换成对应的TensorFlow计算图构建代码。2、而在TensorFlow2.0时代，采用的是动态计算图，即每使用一个算子后，该算子会被动态加入到隐含的默认计算图中立即执行得到结果，而无需开启Session。1、在TensorFlow1.0时代，采用的是静态计算图，需要先使用TensorFlow的各种算子创建计算图，然后再开启一个会话Session，显式执行计算图。收集高维度的变量参数。
2024-03-22 17:00:04
640
原创 深度学习基础之《TensorFlow框架（9）—案例：实现线性回归》
（3）这里将数据分布的规律确定，是为了使我们训练出的参数跟真实的参数（即0.8和0.7）比较是否训练准确。（4）当梯度下降到一定程度，使得损失函数比较小的时候，所对应的权重和偏置，就是我们要求的模型参数。y_predict = x * 权重(1, 1) + 偏置(1, 1)（2）learning_rate：学习率，一般为0-1之间比较小的值。（2）数据本身的分布为 y = 0.8 * x + 0.7。（1）有个假设函数，假定特征值和目标值满足这样的关系。100行1列，乘以1行1列，得出100行1列。
2024-03-20 17:22:12
380
原创 深度学习基础之《TensorFlow框架（8）—高级API介绍》
在模块中，已经实现了几种简单的分类器和回归器，包括：Baseline、Learning和DNN。这里的DNN的网络，只是全连接网络，没有提供卷积网络。tf.contrib.layers提供了能够将计算图中的网络层、正则化、摘要操作，是构建计算图的高级操作，但是tf.contrib包含不稳定和实验代码，有可能以后API会改变。这个模块相当于为TensorFlow进行的脚本提供一个main函数入口，可以定义脚本运行的flags。这个模块提供了一些训练器，与tf.nn组合起来，实现一些网络的优化计算。
2024-03-19 15:14:26
259
原创 深度学习基础之《TensorFlow框架（7）—变量》
默认为[GraphKeys.GLOBAL_VARIABLES]，如果trainable是True，变量也被添加到图形集合[GraphKeys.TRAINABLE_VARIABLES]1、TensorFlow变量是表示程序处理的共享持久状态的最佳方法。这里的变量和传统认知里存储值或者返回值不一样，他是TensorFlow里的一个组件。（3）collections：新变量将添加到列出的图的集合中collections。2、变量需要显示初始化，才能运行值（TensorFlow2.0版本不需要）
2024-03-19 14:14:12
419
原创 Java基础之《Stream流（2）》
mapFactory：无参构造函数提供返回类型：提供一个容器初始化方法，用于创建新的Map容器（使用该容器存放值对）（1）使用Map集合中的方法keySet()，把Map集合所有的key取出来，存储到一个Set集合中。downstream：值映射：通过聚合方法将同键下的结果聚合为指定类型，该方法返回的是键值对的值。所有泛型方法声明都有一个类型参数声明部分（由尖括号分隔），该类型参数声明部分在方法返回类型之前。这个接口有三种类型，T代表流中元素的类型，A是中间结果容器的类型，R是最后返回的类型。
2024-03-05 15:57:54
326
1
原创 深度学习基础之《TensorFlow框架（6）—张量》
张量Tensor和ndarray是有联系的，当我们print()打印值的时候，它返回的就是ndarray对象。TensorFlow的张量就是一个n维数组，类型为tf.Tensor。矩阵，二维数组 [[2,3,4],[2,3,4]]向量，一维数组 [2,3,4]标量，可以看做0阶张量。向量，可以看做1阶张量。矩阵，可以看做2阶张量。（2）shape：形状（阶）张量，在计算机当中如何存储？（1）type：数据类型。
2024-02-20 20:49:52
607
原创 深度学习基础之《TensorFlow框架（5）—会话》
（2）tf.compat.v1.InteractiveSession：用于交互式上下文中的TensorFlow，比如想验证下自己的想法。一个运行TensorFlow operation的类。会话包含以下两种开启方式。2.x版本由于是即时执行模式，所以不需要会话。但是可以手工开启会话。（1）tf.compat.v1.Session：用于完整的程序当中。在2.x版本中没有eval()函数了，用numpy()函数代替。2、InteractiveSession例子。
2024-02-18 16:03:52
368
原创 深度学习基础之《TensorFlow框架（4）—Operation》
（1）一个操作对象（Operation）是TensorFlow图中的一个节点，可以接收0个或者多个输入Tensor，并且可以输出0个或者多个Tensor，Operation对象是通过op构造函数（如tf.matmul()）创建的。（2）例如c = tf.matmul(a, b)创建了一个Operation对象，类型为MatMul类型，它将张量a、b作为输入，c作为输出。（3）其中tf.matmul()是函数，在执行matmul函数的过程中会通过MatMul类型创建一个与之对应的对象。
2024-02-17 14:31:51
516
原创 深度学习基础之《TensorFlow框架（3）—TensorBoard》
2、TensorFlow可用于训练大规模深度神经网络所需的计算，使用该工具涉及的计算往往复杂而深奥。为了方便TensorFlow程序的理解、调试和优化，TensorFlow提供了TensorBoard可视化工具。1、TensorFlow有一个亮点就是，我们能看到自己写的程序的可视化效果，这个功能就是TensorBoard。一、TensorBoard可视化学习。1、数据序列化events文件。二、实现程序可视化过程。
2024-02-17 10:20:15
343
原创 深度学习基础之《TensorFlow框架（2）—图》
（1）通过调用tf.compat.v1.get_default_graph()访问，要将操作添加到默认图形中，直接创建OP即可。1、图包含了一组tf.Operation代表的计算单元对象和tf.Tensor代表的计算单元之间流动的数据。图结构：数据(Tensor) + 操作(Operation)（2）op、sess都含有graph属性，默认都在一张图中。通常TensorFlow会默认帮我们创建一张图。
2024-02-16 15:23:11
804
原创 深度学习基础之《TensorFlow框架（1）—TF数据流图》
TensorFlow1.x构建和执行是分成两个步骤，TensorFlow2.x升级到了即时执行模式，所以就不需要会话了。TensorFlow1.x中跨一个或多个本地或远程设备运行数据流图的机制。1、TensorFlow程序通常被组织成一个构建图阶段和一个执行图阶段。这是TensorFlow将计算表示为指令之间的依赖关系的一种表示法。在构建阶段，数据与操作的执行步骤被描述成一个图。在执行阶段，使用会话执行构建好的图中的操作。一、TensorFlow实现一个加法运算。提供图当中执行的操作。
2024-02-16 14:13:02
506
原创 深度学习基础之《深度学习介绍》
（2）深度学习通常由多个层组成，它们通常将更简单的模型组合在一起，将数据从一层传递到另一层来构建更复杂的模型。通过训练大量数据自动得出模型，不需要人工特征提取环节。（1）机器学习的特征工程步骤是要靠手工完成的，而且需要大量领域专业知识。深度学习：没有人工特征提取，直接将特征值传进去。机器学习：人工特征提取 + 分类算法。一、深度学习与机器学习的区别。
2024-02-12 15:25:31
879
原创 数据分析基础之《pandas（8）—综合案例》
数据来源：https://www.kaggle.com/damianpanek/sunday-eda/data。对于这一组电影数据，如果我们想看Rating、Runtime (Minutes)的分布情况，应该如何呈现数据？对于这一组电影数据，如果我们希望统计电影分类genre的情况，应该如何处理数据？想知道这些电影数据中评分的平均分，导演的人数等信息，我们应该怎么获取？1、现在我们有一组从2006年到2016年1000部最流行的电影数据。
2024-02-12 11:16:21
664
原创 数据分析基础之《pandas（7）—高级处理2》
按照行或者列进行合并，axis=0为列索引，axis=1为行索引。如果数据由多张表组成，那么有时候需要将不同的内容合并在一起分析。将刚才处理好的one-hot编码与原数据合并。1、先回忆下numpy中如何合并。
2024-02-10 14:41:38
737
原创 数据分析基础之《pandas（6）—高级处理》
（2）如果要珍惜每一个样本，可以替换/插补（计算平均值或中位数）False：不替换修改原数据，生成新的对象。（1）如果样本量很大，可以删除含有缺失值的样本。存在缺失值nan，并且是np.nan。（3）缺失值不是nan，是其他标记的。True：会修改原数据。2、判断数据是否为nan。value：替换成的值。1、电影数据文件获取。
2024-02-07 17:26:22
504
原创 数据分析基础之《pandas（5）—文件读取与存储》
1、我们的数据大部分存在于文件当中，所以pandas会支持复杂的IO操作，pandas的API支持众多文件格式，如CSV、SQL、XLS、JSON、HDF5。usecols：如果一个数据集中有很多列，但是我们在读取的时候只想要使用到的列，我们就可以使用这个参数。filepath_or_buffer：文件路径。
2024-02-02 16:24:44
368
原创 数据分析基础之《pandas（3）—DataFrame运算》
3、想要得到每天的涨跌幅大小，求出每天close-open价格差。1、逻辑运算符号、|、&expr：查询字符串。
2024-02-01 14:20:15
415
原创 数据分析基础之《pandas（2）—基本数据操作》
1、numpy当中我们已经讲过使用索引选取序列和切片选择，pandas也支持类似操作。2、直接使用行列索引（先列后行）一、读取一个真实的股票数据。
2024-01-31 14:18:52
371
原创 mysql更新datetime类型
在数据库jdbc配置的url中，如果是serverTimezone=UTC，存入的时间会比当前时间少8个小时。//Date是java.util.Date。1、mysql的datetime类型对应java的java.sql.Timestamp。需要改成serverTimezone=Asia/Shanghai。3、注意datetime类型依赖于数据库的时区。
2024-01-30 20:01:20
373
原创 Java生成16进制字符串
/创建一个随机字符串，其长度是指定的字符数。字符将从字符串指定的字符集中选择，不能为空。如果NULL，则使用所有字符集。//创建一个随机字符串，其长度是指定的字符数，字符将从（a-z、A-Z、0-9）中选择。在org.apache.commons.lang3包下有工具类，不用自己写类了。//16进制校验正则。
2024-01-12 16:24:39
400
原创 数据分析基础之《pandas（1）—pandas介绍》
1、numpy已经能够帮助我们处理数据，能够结合matplotlib解决部分数据展示等问题，那么pandas用在什么地方。1、2008年Wes McKinney（韦斯·麦金尼）开发出的库。3、以numpy为基础，借力numpy模块在计算方面性能高的优势。4、封装了matplotlib、numpy的画图和计算。4、基于matplotlib能够简便的画图。2、专门用于数据分析的开源python库。1、pandas三大数据结构。1、DataFrame结构。2、如何创建更有意义的数据。2、便捷的数据处理能力。
2024-01-08 23:06:58
594
原创 数据分析基础之《numpy（6）—IO操作与数据处理》
fname：文件名，也可以是字符串、列表、StringIO对象、迭代器等，如果是文件名是 '.gz' or '.bz2'，还可以自动解压处理。但是numpy其实并不适合用来读取和处理数据，因此我们这里了解相关API，以及numpy不方便的地方即可。大多数数据并不是我们自己构造的，而是存在文件当中，需要我们用工具获取。delimiter：分隔符（比如一般使用","）dtype：指定数据类型（不同类型需要指定）numpy是运算工具，所以不支持读取字符串。但是有问题，第一行字符串没有读出来。
2024-01-03 21:27:37
624
原创 数据分析基础之《numpy（3）—基本操作》
我们需要占用位置，或者生成一个空的数组。1、adarray.方法()为什么需要生成0和1的数组？2、np.函数名()1、生成0和1的数组。
2023-12-13 16:53:19
214
原创 数据分析基础之《numpy（1）—介绍》
numpy支持常见的数组和矩阵操作。对于同样的数值计算任务，使用numpy比直接使用python要简洁的多。1、numpy提供了一个n维数组类型ndarry，它描述了相同类型的items的集合。numpy使用ndarray对象来处理多维数组，该对象是一个快速而灵活的大数据容器。2、numpy是一个开源的python科学计算库，用于快速处理任意维度的数组。num - numerical 数值化的。d - dimension 维度。二、ndarray介绍。array - 数组。
2023-12-08 17:20:38
198
原创 数据分析基础之《matplotlib（6）—饼图》
饼图广泛的应用在各个领域，用于表示不同分类的占比情况，通过弧度大小来对比各种分类。饼图通过将一个圆饼按照分类的占比划分成多个区块，整个圆饼代表数据的总量，每个区块（圆弧）表示该分类占总体的比例大小，所有区块（圆弧）的加和等于100%
2023-12-08 14:41:07
304
原创 数据分析基础之《matplotlib（5）—直方图》
直方图，形状类似柱状图却有着与柱状图完全不同的含义。直方图牵涉统计学的概念，首先要对数据进行分组，然后统计每个分组内数据元的数量。在坐标系中，横轴标出每个组的端点，纵轴表示频数，每个矩形的高，代表对应的频数，称这样的统计图为频数分布直方图。（2）身高在160.5cm以上的同学有多少人？（1）身高在哪一组的同学最多？
2023-12-08 09:58:07
480
原创 数据分析基础之《matplotlib（3）—散点图》
1、matplotlib能够绘制折线图、散点图、柱状图、直方图、饼图。我们需要知道不同的统计图的意义，以此来决定选择哪种统计图来呈现我们的数据。说明：以折线的上升或下降来表示统计数量的增减变化的统计图。特点：能够显示数据的变化趋势，反映事物的变化情况（变化）一、常见图形种类及意义。
2023-12-07 13:59:31
280
原创 数据分析基础之《matplotlib（2）—折线图》
matplotlib.pyplot包含了一系列类似于matlab的画图函数。它的函数作用于当前图形（figure）的当前坐标系（axes）展示城市一周的天气，比如从星期一到星期日的天气温度如下。1、matplotlib.pyplot模块。一、折线图绘制与保存图片。2、折线图绘制与显示。
2023-11-23 15:01:09
667
原创 数据分析基础之《matplotlib（1）—介绍》
1、数据可视化是在整个数据分析的关键辅助工具，可以清晰的理解数据，从而调整我们的分析方法。1、专门用于开发2D图表（包括3D图表）（1）能将数据进行可视化，更直观的呈现。二、为什么要学习matplotlib。3、以渐进、交互方式实现数据可视化。（2）使数据更加客观、更具说服力。一、什么是matplotlib。mat：matrix（矩阵）2、数字展示和图形展示对比。2、使用起来及其简单。
2023-11-22 15:24:36
936
原创 数据分析基础之《jupyter notebook工具》
（1）jupyter notebook原名ipython notebook，是ipython的加强网页版，一个开源web应用程序。（4）.ipynb文件格式是用于计算型叙述的JSON文档格式的正式规范。（2）名字源自julia、python和R（数据科学的三种开源语言）（3）是一款程序员和科学工作者的编程、文档、笔记、展示软件。numpy：进行科学计算的基础软件包（数组、矩阵）1、什么是jupyter notebook。三、jupyter notebook使用。notebook：数据分析与展示的平台。
2023-11-20 15:40:32
817
原创 机器学习基础之《回归与聚类算法（8）—回归与聚类算法小结》
线性关系：y = w1x1 + w2x2 + ... + wnxn + b。L2正则化（更常用）样本不均衡的时候：AUC指标。最小二乘法/均方误差。激活函数：sigmoid。过拟合：模型过于复杂。欠拟合：模型过于简单。输入：线性回归的输出。
2023-11-15 15:46:17
78
原创 机器学习基础之《回归与聚类算法（7）—无监督学习K-means算法》
一家广告平台需要根据相似的人口学特征和购买习惯将美国人口分成不同的小组，以便不同的用户采取不同的营销策略。Airbnb需要将自己的房屋清单分组成不同的社区，以便用户能更轻松地查阅这些清单（对房屋进行分类）。一个数据科学团队需要降低一个大型数据集的维度的数量，以便简化建模和降低文件大小（比如PCA降维）。1、K-means的聚类效果图。K-means（K均值聚类）1、没有目标值—无监督学习。一开始拿到的数据是这样的。二、无监督学习包含算法。三、K-means原理。一、什么是无监督学习。
2023-11-15 10:30:30
135
gitflow工作流程.pdf
2020-03-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人