- 博客(251)
- 收藏
- 关注
RSS订阅
原创 文本处理方法及其在NLP中的应用
在NLP中，文本处理方法可以帮助我们将文本数据转化为计算机可以处理的格式。这其中包括了TF-IDF、分词、One-Hot编码等方法。TF-IDF（词频-逆文本频率）TF-IDF是一种基于词频的文本处理方法，通过统计词频来衡量一个词在文本中的重要性。它对于关键词的提取和文本摘要等任务非常有用。分词分词是将句子划分成一个个单词或词语的过程，适用于中文和英文。常用的工具如NLTK库能够很好地支持分词任务。One-Hot编码One-Hot编码是一种将类别变量转化为数字型的稀疏变量的方法。
2023-10-24 23:46:39
996
5
原创 深入理解NLP
NLP的起源可以追溯到早期的机器翻译项目，随着科技的进步，NLP得到了极大的发展，应用领域也逐渐扩展到情感分析、问答系统、语音识别等方面。TF-IDF（词频-逆文档频率）是NLP中重要的特征提取方法，它衡量了一个词在文本中的重要程度，是文本分类、信息检索等任务中的关键步骤。分词是NLP的基础，它将连续的文本划分成一个个有意义的词汇单位，为后续处理提供基础。词性标注是将分词后的词汇赋予相应的词性，如名词、动词等，以便进行更深入的语义分析。文本向量提取：了解TF-IDF方法，用于提取文本特征。
2023-10-24 23:39:35
703
原创 花5分钟学习机器学习基础知识
机器学习的目的是让机器学习,而不是执行预设的算法。机器学习适用于难以制定规则的问题,如垃圾邮件识别、图像识别。机器学习模拟人类学习过程:从样本中学习归纳总结,形成模型,然后应用模型完成任务。机器学习需要大量样本数据和计算能力支持。当前数据量大、计算能力强的时代非常适合机器学习。机器学习应用非常广泛,从垃圾邮件识别到自动驾驶都需要机器学习。机器学习是人工智能的一种方法，其核心思想是让机器从数据中学习规律，而不是依赖预先制定的规则。
2023-10-22 09:00:00
461
1
原创 pytorch 数据载入
Dataset 和 DataLoader 是 PyTorch 提供的数据载入工具，通常能满足大多数情况。可选地，使用自定义的数据加载器 (IterableDataset) 处理特殊情况下的数据载入需求。本文将介绍三种常用的数据载入方式：Dataset、DataLoader、以及自定义的数据加载器。使用 DataLoader 加载数据集，设置参数如 batch_size、shuffle 等。自定义数据加载器 (IterableDataset) 可以用于特殊情况下的数据加载需求。
2023-10-06 23:47:51
705
1
原创 pytorch 如何训练一个模型
选择合适的损失函数来衡量模型预测的准确程度，同时选择一个优化器来更新模型参数。使用 DataLoader 从数据集中读取数据，也可使用现有的数据集。确定深度学习网络的架构，包括卷积层、池化层、全连接层等组件的设计。使用 GPU 来训练模型，设定训练的 epoch 和其他超参数。在训练和验证时，要确保输入数据的维度和模型结构相匹配。初始化模型参数时，根据需求选择适当的初始化方法。选择合适的损失函数和优化器取决于任务的性质。根据验证结果进行模型的调参或重新训练。完成训练后，模型即可用于预测。
2023-10-06 23:30:30
512
原创 使用 gunicorn+supervisor+nginx部署 Python Django Web 项目
使用 gunicorn+supervisor+nginx部署 Python Django Web 项目
2023-02-08 16:12:45
997
1
tree-1.5.2.2-bin.zip
2020-04-10
TA创建的收藏夹 TA关注的收藏夹
TA关注的人