- 博客(190)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 PyTorch示例——使用Transformer写古诗
很早、很早以前，在TensorFlow2 学习——RNN生成古诗词_rnn古诗生成头词汇是 “ 日 、 红 、 山 、 夜 、 湖、 海 、 月。-CSDN博客中已使用TensorFlow+RNN的方式实现过写古诗的功能，现在来个的示例😄数据处理逻辑和前面博文中大致相似，本文中就不再赘述Kaggle Notebook地址:PyTorch示例-使用Transformer写古诗x"""词典编码器"""# 补上特殊词标记：开始标记、结束标记、填充字符标记、未知词标记# 词汇表大小。
2024-04-03 21:06:29
1295
2
原创 Llama2中文大模型——牛刀小试
Meta开源的Llama从第一版开始，效果就很不错，有很多开源LLM都是基于它训练的，例如Vicunna、Alpaca在去年7月，Meta又开源的Llamma从第二版Llama2，分为Pretrian、Chat版本，包含7B、13B、70B模型类别模型名称下载地址备注PretrianLlama2-7Bhuggingface下载基础版PretrianLlama2-13Bhuggingface下载基础版PretrianLlama2-70Bhuggingface下载基础版Chat。
2024-01-24 18:02:34
1000
原创 CMake+QT+大漠插件的桌面应用开发（QThread）
在CMake+QT+大漠插件的桌面应用开发中已经给出了QT配合大漠插件开发桌面应用的样例不过由于主窗口的UI操作和大漠的调用是在一个线程里面的，所以当大漠调用时间过长时会出现UI界面卡顿的现象我们可以利用子线程处理耗时操作，处理完后再由主线程（UI线程）更新界面，这样界面就不会出现卡顿。在这里，我们将会用到QThread，调整后的QT主线程与子线程交互逻辑图如下：交互逻辑描述当点击“注册”选项时，会发出regDM信号，子线程接收到该信号会执行MyMainWorker中的doRegDM。
2024-01-17 21:35:16
1445
2
原创 CMake+大漠插件的应用开发——处理dm.dll，免注册调用大漠插件
【代码】CMake+大漠插件的应用开发——处理dm.dll，免注册调用大漠插件。
2024-01-12 22:31:41
1195
原创 RocketMQ的Docker镜像部署（以及Dashboard的部署、ACL配置）
RocketMQ的Docker镜像部署，以及Dashboard的部署、ACL配置
2023-12-21 20:18:19
1942
原创 【AI换脸】roop在Kaggle上的使用样例
因为roop项目的Python环境依赖等问题的处理对于部分朋友比较复杂，所以特此提供了Kaggle版本的样例，可以直接在Kaggle的Notebook中运行为什么选Kaggle，不用Google Colab？因为国内可以直连Kaggle，上Colab较麻烦，让更多人能快速使用到。此样例会面向较广的使用者，所以会写得比较啰嗦、傻瓜式…地址信息本项目的Kaggle地址: https://www.kaggle.com/code/alionsss/roop-kaggle。
2023-07-27 00:33:04
650
原创 PyTorch示例——ResNet34模型和Fruits图像数据
ResNet34模型，做图像分类数据使用水果图片数据集，下载见KaggleKaggle的Notebook示例见PyTorch——ResNet34模型和Fruits数据下面见代码。
2023-07-03 22:31:50
1106
6
原创 使用LoRA对大语言模型LLaMA做Fine-tune
目前有大量对LLM（大语言模型）做Fine-tune的方式，不过需要消耗的资源非常高，例如Stanford Alpaca: 对LLaMA-7B做Fine-tune，需要4颗A100 (80GB) GPUFastChat/Vicuna: 对LLaMA-7B做Fine-tune，需要4颗A100 (40GB) GPU这种资源需求令普通的学习者望而却步，使用LoRA则可以较好的解决这个问题LoRA全称为。
2023-05-29 17:55:13
7435
13
原创 PyTorch——利用Accelerate轻松控制多个CPU/GPU/TPU加速计算
CPU？GPU？TPU？计算设备太多，很混乱？切换环境，代码大量改来改去？不懂怎么调用多个CPU/GPU/TPU？或者想轻松调用？OK！OK！OK！来自HuggingFace的Accelerate库帮你轻松解决这些问题，只需几行代码改动既可以快速完成计算设备的自动调整。相关地址安装（推荐用>=0.14的版本）下面就来说说怎么用你也可以直接看我在Kaggle上做好的完整的Notebook示例。
2023-04-27 21:06:17
3389
1
原创 FastChat-Vicuna开放，媲美ChatGPT的90%能力——从下载到安装、部署
最近ChatGPT非常火，引爆了整个商业市场以及NLP学术界，但是ChatGPT很多东西都不开放，你也没法个人部署、研究于是很多大语言模型横空出世，在开放的大语言模型中，最近我认为效果很不错的是FastChat上的Vicuna，基于LLaMA做了二次调参训练，据官方称能达到ChatGPT的90%的能力。（具体能否达到这个值，可以直接去他们的Demo上试试）相关链接GitHub地址:Demo地址:博客与相关说明:注意安装教程时间为2023年4月8日2023年4月21日。
2023-04-08 14:56:29
34560
117
原创 ChunJun源码分析——任务提交
源码，ChunJun/FlinkX任务提交启动的流程源码分析，提交参数解析、反射Main、SYNC、SQL、connector插件加载、Source、Sink
2023-02-06 09:42:30
686
1
原创 PyTorch示例——Dataset、DataLoader
PyTorch示例——Dataset、DataLoader。数据集加载、python、Pytorch、大数据、大数据集、懒加载
2023-01-17 20:45:19
165
原创 PyTorch示例——LogisticRegressionModel
LogisticRegression、逻辑回归、回归、PyTorch、示例、深度学习、python、model
2023-01-17 20:33:03
208
原创 PyTorch示例——LinearModel
PyTorch示例-LinearModel。PyTorch实现线性模型、Tensor、forward、Module、loss、optimizer、model、epoch、绘制曲线、权重、偏置
2023-01-13 14:15:41
265
原创 线性规划（二）——数学模型样例
- 线性规划的数学模型通常可以使用计算机求解，因此现实中的难点通常在于 - 理解要解决的问题 - 应该将什么作为决策变量？ - 约束条件有哪些，是否足够完善？ - 如何构建线性目标函数？- 通过大量的例子的练习，可以提高我们对于现实问题的分析能力，进而归纳总结- 注：先不要看解，最好自己思考出解，这是在磨砺抽象实际问题的能力............
2022-08-09 23:59:21
388
原创 拉格朗日乘子法
描述拉格朗日乘子法的定义题例几何证明描述线性规划（一）——基本概念中“汽车工厂的生产、盈利”的数学模型较为简单，可以采用图解法。但当目标函数、约束条件较为复杂时，将难以作图求解。这个时候，我们可以采用“拉格朗日乘子法”。拉格朗日乘子法的定义定义令f(x,y) \in C^`f(x,y)∈C ‘ （即一阶可导），且(x_0,y_0)(x 0 ,y 0 )是满足g(x,y)=0g(x,y)=0时，f(x,y)f(x,y)的极值限定g(x,y) \in C^`g(x,y)
2022-08-07 18:57:48
461
原创 线性规划（一）——基本概念
- **在一项任务目标确定后，如何以最低的成本（经费、人力、物资等）实现该目标** - 例如：某汽车工厂今年要完成N辆汽车的生产，汽车生产需要消耗人力、物资材料等。如何尽可能地用最少的人力成本、材料成本完成N辆汽车的生产？ - 例如：某购物商场每日顾客人数不同，需要的销售人员数量不同。如何在满足顾客需求的情况下，对销售人员排班，以尽可能的降低雇佣的销售人员的数量？- **在现有的资源条件下，如何进行组织、安排，以实现最大化的收益** - 例如：某汽车工厂现有A、B、C原料固定数量，生产不同车型
2022-08-07 18:52:39
261
原创 CDC变化数据捕获——Debezium-Embedded
文章目录CDC变化数据捕获——Debezium-Embedded0. 前言1. 配置MySQL主从同步2. Debezium-Embedded 代码开发2.1 Maven导包2.2 代码-简单示例2.3 代码-使用Connect.class创建引擎2.4 代码-批量处理CDC事件2.5 启动代码运行即可CDC变化数据捕获——Debezium-Embedded0. 前言CDC(Change Data Capture)是变化数据捕获的意思，可以捕获数据库数据的增加、更新、删除等记录，RedHat的 De
2021-05-07 21:39:39
4430
18
原创 Gminer 配置参数
下载对应操作系统的文件即可，例如这是一个参与区块链计算的工具程序，向程序传入算法、计算池服务地址、账号名称，即可快速参与区块链的计算，从而获得奖励。下载，解压，下面有一个miner.exe和很多bat后缀的文件，miner.exe是计算程序、bat后缀的文件是执行示例。例如，打开cmd命令行或者PowerShell，在该目录下执行，即可开始。
2021-04-21 00:09:47
77869
101
原创 Flink示例——Flink-CDC
Flink示例——Flink-CDC版本信息Mavan依赖主从同步配置、数据准备使用Flink-CDC简单的测试Flink示例——Flink-CDC版本信息产品 版本Flink 1.11.1flink-cdc-connectors 1.1.0Java 1.8.0_231MySQL 5.7.16注意：官方说目前支持MySQL-5.7和8，但笔者还简单测试过mariadb-10.0.38（对应MySQL-5.6）。包括增加、删除、更新、聚合，目前皆可用，但不排除未知问题。Mavan
2020-09-18 23:28:39
11972
17
原创 Flink应用——公交疫情实时流监控
文章目录Flink应用——公交疫情实时流监控前言版本信息Mavan 依赖数据源（刷卡事件信息 + 公交车信息）流数据源Bean对象与数据获取公交车辆最新的状态信息（开窗函数）刷卡事件信息关联车辆状态信息（Join）后续，下游操作Flink应用——公交疫情实时流监控前言此部分是Flink的场景应用示例，本篇主要结合近期的疫情热点做应用需要注意的是，后续的代码主要以版本信息产品版本Flink1.9.1Java1.8.0_231Scala2.11.12M
2020-07-27 14:31:39
853
4
原创 分布式缓存一致性（Redis、MySQL）
文章目录分布式——缓存一致性（Redis、MySQL）1. 前言2. 常见方案的问题点2.1 先更新数据库，再更新缓存2.2 先删除缓存，再更新数据库2.3 先更新数据库，再删除缓存3. 维护一致性3.1 设置缓存过期时间3.2 利用消息队列来异步处理3.2 利用Canal监控MySQL，来做异步处理4. 维护一致性——拓展思考4.1 思考4.2 分布式架构4.3 分布式架构（优化）分布式——缓存一致性（Redis、MySQL）1. 前言分布式一致性的问题，既是指“如何保证分布式多个节点的数据一样、
2020-07-20 01:14:05
1959
1
原创 Spark源码剖析——Action操作、runJob流程
文章目录Spark源码剖析——Action操作、runJob流程当前环境与版本前言供分析的代码collect 源码分析DAGScheduler中的处理TaskScheduler中的处理CoarseGrainedSchedulerBackend、DriverEndpoint中的处理Executor中的处理Spark源码剖析——Action操作、runJob流程当前环境与版本环境版本JDKjava version “1.8.0_231” (HotSpot)ScalaScala
2020-07-09 13:52:50
606
原创 opencv + face_recognition —— 人脸识别案例
文章目录opencv + face_recognition —— 人脸识别案例0. 版本信息1. 导包2. 识别图片中的面部3. 实现摄像头中的面部追踪4. 人脸追踪+识别，分析出不同的人5. 人脸追踪+识别，分析出不同的人（优化）6. 人脸追踪，打上马赛克7. 人脸追踪，磨皮美颜opencv + face_recognition —— 人脸识别案例0. 版本信息版本信息产品 版本python 3.7anaconda 4.8.3jupyter 6.0.3opencv 3.
2020-06-27 11:08:08
6118
17
原创 OpenCV学习——图像特效
文章目录OpenCV学习——图像特效0. 版本信息1. 导包2. 灰度图3. 颜色反转4. 马赛克效果5. 毛玻璃效果6. 图片融合7. 边缘检测8. 浮雕效果9. 油画效果OpenCV学习——图像特效0. 版本信息产品版本Python3.7Anaconda4.8.3Jupyter6.0.3OpenCV3.4.21. 导包import cv2import numpy as npimport randomimport math2. 灰度图
2020-06-25 23:05:49
682
1
原创 OpenCV学习——图像基础与几何变换
文章目录OpenCV学习——图像基础0. 版本信息1. 导包2. 图像基础2.1 图片的读取、展示、保存2.2 图片的基本信息2.3 修改图片像素点的颜色信息2.3 拆分与合并颜色三通道3. 图像的几何变化3.1 图像截取3.2 图像缩放3.3 图像移动3.4 图像镜像3.5 图像旋转OpenCV学习——图像基础0. 版本信息产品版本Python3.7Anaconda4.8.3Jupyter6.0.3OpenCV3.4.21. 导包import c
2020-06-23 23:06:43
387
2
原创 Spark代码可读性与性能优化——示例十一（SQL与代码-蚂蚁森林示例）
文章目录Spark代码可读性与性能优化——示例十一（SQL与代码-蚂蚁森林示例）前言业务描述使用SQL解决业务问题 - 方案1使用SQL解决业务问题 - 方案2使用代码带来更高的性能Spark代码可读性与性能优化——示例十一（SQL与代码-蚂蚁森林示例）前言编写SQL处理业务问题，通常有简单易用、便捷、适用人群广泛等优点，是数据分析师的不二之选。但是，SQL易用的同时也带来了性能的问题，当为了解决某些复杂的业务时，你不得不编写几十至几百行很复杂的SQL来处理。由于为了实现复杂的业务，SQL中会存在
2020-05-31 00:08:36
715
2
原创 Docker——部署（tomcat、nginx、负载均衡、常见问题）
文章目录Docker——部署（tomcat、nginx、文档服务、负载均衡）Docker + Tomcat （基础）Docker + Nginx （基础）Docker + Nginx 文档服务Docker + Nginx + Tomcat (负载均衡、动静分离)常见问题Docker——部署（tomcat、nginx、文档服务、负载均衡）Docker + Tomcat （基础）# 拉取tomc...
2020-04-18 17:00:27
910
2
原创 Docker——安装、常用命令、生成镜像（Dockerfile）
文章目录Docker——安装、常用命令、生成镜像1. Docker 安装2. Docker 常用命令2.1 基础信息类2.2 镜像-基础命令2.3 容器-基础命令2.4 容器与宿主机（拷贝、端口映射、路径映射）3. 生成镜像3.1 Commit 方式3.2 Dockerfile 方式Docker——安装、常用命令、生成镜像1. Docker 安装切换到root用户 $ su - root...
2020-04-18 16:41:51
2411
2
原创 基于阿里云的数据仓库架构设计
文章目录基于阿里云的数据仓库架构（未完）产品对比离线数仓实时数仓基于阿里云的数据仓库架构（未完）产品对比阿里云产品同类产品简介RDSMySQL、PostgreSQL关系型数据库服务，是阿里提供的云数据库，有各种版本，例如MySQL版、PostgreSQL版、SQLServer版等DTSCanal、DataX、Sqoop、Flume数据传输服务，功能丰富，包........................
2020-03-27 14:16:18
6273
8
原创 Spark源码剖析——SparkContext实例化
文章目录Spark源码剖析——SparkContext实例化当前环境与版本前言SparkContext实例化的主要逻辑LiveListenerBus的作用createSparkEnv的过程创建不同的SchedulerBackend、TaskSchedulerDAGSchedulerSpark源码剖析——SparkContext实例化当前环境与版本环境版本JDKjava ...
2020-03-21 22:52:03
1526
ProtobufForJavaAndWindows.zip
2019-08-22
KryoForJavaAndScala.zip
2019-08-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人