- 博客(287)
- 收藏
- 关注
RSS订阅转载 numpy系统训练 练习题 基础和提高 英文版题目
偶尔看到的练习小项目，在此分享一下：In numerical computing in python, NumPy is essential. I’m writing simple (a few lines for each problem) but hopefully helpful exercises based on each of numpy’s functions. The outline will be as follows.
2024-05-06 21:38:21
6
原创 大模型预训练任务
大型预训练模型（如BERT、GPT等）通常使用一些预训练任务来学习语言表示。这些任务旨在让模型对语言进行深入理解，从而为后续的下游任务提供更好的表征。：模型随机地掩盖输入文本中的一些词汇，然后预测这些被掩盖的词汇。这个任务使模型能够学习上下文中的词汇关系和语义。：给定两个句子，模型需要预测这两个句子是否是连续的。这个任务可以帮助模型理解句子之间的逻辑关系和语义连贯性。：模型需要对输入文本中的每个词汇进行分类，例如词性标注、命名实体识别等。这个任务有助于模型学习词汇的语法和语义信息。
2024-05-06 19:49:51
795
原创 BERT模型的网络结构解析 运行案例分析
对于一个m分类任务，输入n个词作为一次数据，单个批次输入t个数据，在BERT模型的不同部分，数据的形状信息如下：注1：m = num_classes，n = sequence_length，t = batch_size，根据数据的形状和维度信息，可以加深对模型的理解注2：一个具体的例子，输入n个单词形成一句话，判断这句话是否自然（二分类，语句自然输出1，否则输出0，此时m=2），为了加速计算，单个批次输入t个句子进行并行处理。
2024-05-06 16:39:30
801
原创 神经网络模型里面权重衰减的理解
神经网络模型里面，如果少部分参数的绝对值相对其他值过大，就会造成模型过度依赖于某些特征（由这些较大值所代表），从而更容易产生过拟合问题。因而，我们有必要针对权重设置一种衰减措施，避免其与大多数参数的绝对值产生较大的偏差，即。权重衰减通过向损失函数添加一个惩罚项，促使模型选择较小的权重值。这个惩罚项通常是权重的 L2 范数的平方与一个权重衰减系数的乘积。因此，权重衰减可以减小权重的绝对值，但更重要的是，它可以防止模型过度依赖于某些特征，减小模型的复杂度，提高泛化能力。
2024-05-06 00:37:11
641
原创 Cupy介绍与安装
可以把cupy看做numpy的GPU版本，使用GPU强大的并行计算能力。numpy是很重要的基础设施库，许多库都是基于它构建的，比如：Scipy,Pandas,Matplotlib,Scikit-learn,Statsmodels,SymPy等。由此可见numpy的重要性，而cupy作为其GPU版本，对于需要使用GPU加速计算的项目更加重要。
2024-05-04 19:47:40
132
1
原创 个人关于要不要卷大模型的一丢丢思考
大模型太大，资源消耗和资源收益之间的性价比存在瓶颈，必然最终无法很好翘起整个经济的发展。中型模型要功能有功能，要性价比有性价比。我觉得我们这些小虾米应该多卷一卷中型模型，这个才是潜力最大的一块蛋糕。未来的模型发展必然是大模型，中模型和小模型混杂的，各有各的重要地位。从经济效益，经济发展的角度看，C位应该给中型模型，这个才是经济体主体部分能够承担，发展，维护和使用的方案。所以与其卷门槛超级高的大模型，还不如试试更具性价比的中模型，研发更高效的中型模型适用的网络结构，卷大模型都不知道啥时候才能回本。
2024-04-30 15:49:44
125
原创 概述第四次工业革命
有人说，第四次工业革命早已开始；也有人说，新一轮科技革命依然深处远方。或许客观地说，当前的科学技术创新是否第四次工业革命，需要后世去评判，因为只有站在完整的历史发展进程角度才能分析全面的工业革命发展时间，变化领域等。深处历次工业革命的人们是很难完整分析和总结当前工业革命的信息的，如处于第一次工业革命的人们看到无法做到全面评判第一次工业革命的，因为他们没有“未来函数”。虽然如此，人们依然能够在日新月异的科学技术变化里面找到当前工业革命的蛛丝马迹。第一次工业革命，我们实现了；第二次工业革命，我们实现了；
2024-04-30 15:15:28
392
原创 Python 正则表达式2 语法基础
正则表达式是由（例如"a",“b”,“c"等）以及（例如”+“,”-“,”^"等）组成的文字模式。举个例子，[a-z]这个正则表达式就代表了匹配所有的小写字母(“a”,“b”,“c”,…输出一般大写字母，小写字母，数字均为普通字符，其他字符中一部分是有特别含义的特殊字符(如"-")，其余部分为普通字符。特殊字符需要在后面的语法规则里面慢慢了解，记忆和掌握。
2024-04-30 03:37:32
616
原创 Python 正则表达式1 函数基础
指正则表达式，指待处理文本。re.match()re.split()re.sub()re.findall()返回字符串列表，无位置信息；re.finditer()相当于返回匹配对象列表，有位置信息。根据是否关注子串位置，选择合适函数。
2024-04-30 01:17:53
663
原创 windows pytorch安装
Linux和Windows操作系统的安装存在差异，步骤会有所不同，本教程主要针对Windows系统进行示例。Ananconda集成了许多方便的包和工具，使用会更加方便，特别适合科学计算，深度学习的数据处理。Cuda是英伟达显卡用于科学计算的框架，cuDNN是NVIDIA提供的用于深度神经网络加速的GPU加速库。
2024-04-27 18:37:35
156
1
原创 计算模型 观察分析 杂记
计算模式通常指的：用特定计算资源完成特定计算任务所采用的计算策略。计算资源主要指运算器和存储器，当然若其他设备影响因素较大的情况下也考虑控制器，输入输出设备；计算任务多种多样，可以是简单的加减乘除，也可以是稍复杂的向量运算，矩阵运算等。计算模式的演变动力通常来自于人类日益增长的计算任务需求和明显紧缺的计算资源之间的矛盾，正是这种矛盾的推动，才导致了从CPU到GPU，再到NPU等专用芯片的发展势头。进一步说，正是由于单体计算遇到的性能造价上的性价比瓶颈，才造就了异构并行计算的流行。
2024-04-03 22:41:04
954
原创 windows 系统图标 桌面刷新 位置变化解决办法
一种可行的办法就是在桌面主题设置里面找到对应图标的开启小方框，但是真正方法只能适应一部分系统应用，比如CMD的图标就没有，这种方法的操作细节在下面图片里面，之后我们介绍一种一劳永逸的方法。Windows操作系统下，系统图标由于是内置图标，即使桌面关闭了图标自动排列，在桌面右键刷新或系统重启后，依然会位置自动改变，有时候确实需要管理图标，这种自动变化就特别烦，怎么办呢？然后改个名，挪到自己心仪的位置（我自己喜欢系统管理工具放一块，浏览器放一块，文件应用放一块，方便管理），完美！
2024-04-02 17:48:00
368
原创 Windows系统远程桌面本地Ubuntu虚拟机
在Windows系统上，有时候我们虽然本地安装了Linux虚拟机系统，但是由于特殊原因导致虚拟机与主体机之间无法复制粘贴文本和文件，但是却有基本的联网功能，此时就可以用本方案解决，即：本地远程桌面方案。本人由于大作业，需要利用P4编写设计路由协议，老师给的虚拟机文件功能缺失，只能正常联网，无法实现主体机与虚拟机之间文本与文件复制粘贴（主要是影响到我Ctrl+C和Ctrl+V了，hhh），想想这个头疼的问题如果不解决，那我得一点点的手敲命令和借助网络传输文件，那估计得崩溃。。。
2023-12-02 02:26:24
251
原创 房价趋势深度解析：中国房价回归方程
百年未有之大变局之下，中国房价将走向何方？本文通过多元回归的方式解读过去历史，解析未来趋势，相信神秘的命运或在滚滚的历史长河能寻得些许蛛丝马迹。
2023-11-28 01:17:15
310
原创 编译器设计04-谋篇布局
后续的内容，我们会具体设计一门实用的简单编程语言来展现完整的过程，源代码是新语言，目标代码为Python语言，设计过程需要对诸如Python，Java，C/C++等主流最热门语言有所了解。截止目前，大多数分布式编程一般针对具体应用场景，并且学习门槛都比较高，对编程新手不太友好，且通用性较差，比如云计算，CUDA编程等。因此我们想让设计的语言具有分布式编程的特点，且具有一定的通用性，具体做法就是通过语言设计总结出有效的编程规范，然后通过编译器屏蔽数据同步的复杂细节。Python简单易用，但语言规范方面稍欠。
2023-11-26 16:43:17
176
原创 编译器设计03-后端概述
中间代码生成目标代码生成贯穿各个阶段的优化。后端处理犹如得出中文文章，当阅读完英语文章后，你的脑海中就有清晰的“中间代码”了，想写作的时候就心中有数，核心论点是什么，论据是什么，文章就有个层次，你会通过合理规范的形式把它们统一起来，经过翻译润笔（优化加工）便得到最后的文章中文译本。中间代码抽象语法树→生成中间代码中间代码:抽象语法树\xrightarrow{\ 生成\ }中间代码中间代码抽象语法树生成中间代码目标代码中间代码→生成目标代码。
2023-11-26 16:40:47
471
原创 编译器设计02-前端概述
词法分析语法分析语义分析前端处理犹如阅读英文文章，往往我们需要先理清文章中各个词的意思，这类似词法分析，得到“单词序列”；再梳理整篇文章的脉络，这类似语法分析，得到描述文章脉络的“抽象语法树”；再检查文章的议论是否逻辑正确、叙述是否前后连贯、抒情是否价值观一致，这类似语义分析，得到格式正确的“抽象语法树”。前端处理的目标就是彻底理解源代码，分析源代码内容，完成词法分析，语法分析和语义分析，得到基本符合语言设计规范的“抽象语法树”。词法分析源代码→分析单词序列。
2023-11-26 16:38:09
236
原创 编译器设计01-入门概述
源代码→编译器目标代码源代码\xrightarrow{\ \ \ 编译器\ \ \ }目标代码源代码编译器目标代码前端处理和后端处理，中间过程生成语法树。编译处理：源代码→语法树→目标代码编译处理：源代码\xrightarrow{{}}语法树\xrightarrow{{}}目标代码编译处理：源代码语法树目标代码前端处理源代码→分析语法树前端处理:源代码\xrightarrow{\ 分析\ }语法树前端处理源代码分析语法树后端处理。
2023-11-26 16:34:55
526
原创 Windows任务管理器内存性能界面各个参数含义
内存池是一种管理内存分配和释放的技术，旨在提高程序的性能和效率。内存池会在程序启动时预先分配一定大小的内存块，并在需要时从这些内存块中分配给程序使用。内存池的大小管理是一个复杂的问题，涉及到对程序的需求、系统资源的合理利用以及内存管理算法的选择等方面的考虑。在使用内存池的情况下，程序可以从内存池中申请内存块，执行特定的任务，然后将内存块返回给内存池以供将来重复使用。任务管理器的内存性能界面提供了一些关键参数，这些参数可以帮助你了解系统中内存的使用情况。已提交的内存包括当前正在使用的内存和保留的内存空间。
2023-11-24 22:33:48
2675
原创 链路层3：VLAN的配置与分析
在以太网中，加了标签tag的VLAN数据帧我们叫做V-MAC帧，普通的数据帧我们叫做MAC帧。对于主机来说，它只认识普通的MAC帧；对于主机，V-MAC帧和MAC帧它都认。所以，实际上的V-MAC只在交换机之间流通，最后发给主机时都需要进行一定的转化，也就是加上标签tag或者去掉标签tag，具体为：主机给交换机发送数据，交换机将MAC帧加上tag；交换机将数据帧发给主机，先将V-MAC标签去掉变为MAC帧，然后发给主机；交换机之间的数据帧一般不做变化。
2023-10-14 20:46:25
219
原创 链路层2：交换机的MAC地址表和端口聚合
对于网络交换机来说，MAC地址表是其能否正确转发数据包的关键，为此，协议标准RFC2285和RFC 2889中都对以太网交换机的MAC地址表和MAC地址学习进行专门的描述。MAC地址表显示了主机的MAC地址与以太网交换机端口映射关系，指出数据帧去往目的主机的方向。当以太网交换机收到一个数据帧时，将收到数据帧的目的MAC地址与MAC地址表进行查找匹配。
2023-10-14 14:59:15
400
原创 链路层1：以太网链路层帧格式分析
1969年，在美国国防部的资助下，建立了一个只有4 个节的ARPANET（阿帕网）,连接了四所高校ARPRNet(阿帕网)是Internet的前身，起源于美国，是美苏冷战的产物。
2023-10-14 14:14:12
402
原创 蒙特卡洛方法原理与应用 统计量近似分布与分位数计算 python画图演示
1.1 蒙特卡洛方法的定义1.2 蒙特卡洛方法的起源1.3 蒙特卡洛方法的举例蒙特卡洛方法又称统计模拟法、随机抽样技术，是一种随机模拟方法，以概率和统计理论方法为基础的一种计算方法，是使用随机数（或更常见的伪随机数）来解决很多计算问题的方法。使用蒙特卡洛方法时，需要将所求解的问题同一定的概率模型相联系，然后用电子计算机实现统计模拟或抽样，以获得问题的近似解。
2023-10-07 14:15:08
1444
原创 交易系统：资金账户与交易账户的规划
交易账户：用于参与市场交易的账户资金账户：用于资金存放储蓄的账户如果是参与国内期货，并计划使用100万元进行交易，你可以将50万元存放在期货账户作为交易账户，另外50万放在一张银行卡里作为资金账户。这样做的好处就是，一旦期货平台存在资金风险，那么你银行卡里面的钱将是安全的，这样的资金规划可以大大降低整体资金风险。
2023-09-30 15:10:42
126
原创 python 读取csv数据文件 绘画折线图 表格数据处理 输出csv文件 模板套用数据分析
主要功能就是读取csv文件获得一组x,y数据，简单处理后进行画图，然后不断分析，最后输出csv表格。比如，分析某段时间价格波动幅度，可以先用券商或经纪商的接口不断获取数据存储到csv文件，然后利用python读取数据，进行必要的数据分割处理，绘画图像找到需要的特征，图像得到结果后，改代码输出csv数据。我写这个代码主要做金融市场流动性分析，就是某时段某价格区间能够承受的资金量统计分析以及卖价买价差值随时间段动态分析。
2023-07-06 17:57:42
1864
原创 Python 简易表格数据处理CSV+XLS+XLSX
在实际应用中我们进行数据处理与分析时，往往涉及大量的表格。一般来说，使用Python的专业数据分析处理工具包，完全可以胜任我们的大多数需求，比如Numpy+Pandas。但是有时候往往我们对表格数据的操作是很简单的，不需要太过复杂的操作，所以使用专业的数据分析工具包，有点杀鸡用牛刀的感觉。如果没有接触过专业数据分析工具，光是学习成本就不小，但是你可能仅仅需要对若干表格数据做个平均值之类的操作，属实浪费时间了。因而，我们针对表格操作，设计了一套非常简易的操作方案，适合小白和简单表格程序化处理。
2023-07-05 17:30:47
298
原创 浅析外汇交易平台的运营模式与投资风险
外汇交易平台分主要分为两种：有处理平台模式( Dealing Desk ，简称）和无处理平台模式( No Dealing Desk ，简称一个不靠谱的交易平台会给投资者带来噩梦般的体验，几乎不可能获取长期稳定的利益。作为普通投资人，我们应该大致了解平台的，理性选择交易平台来降低不必要的资金风险和交易风险。
2023-04-17 16:46:42
335
原创 RSA加密算法的实际实现与应用
按照算法实现所使用整数长度的分类，我们可以将算法实现分为和。一般小整数版本RSA的整数长度小于64位，大整数版本RSA的整数长度大于64位。网上很多博客和项目编写的RSA加密算法实现，其实都是小整数版本RSA，而实际工程应用的RSA加密算法都是大整数版本。使用常规程序编写的RSA，由于常规整数类型一般只有32位或者64位，所以使用这种方式编写的RSA算法只能适用于小整数情形。小整数版本的RSA算法实现相对大整数版本来说，会更加容易实现，也更能直观地理解其中的原理和方法。
2023-04-12 10:25:24
978
原创 RSA非对称加密算法原理和代码实现 信息安全 密码学
设n为一正整数，则欧拉函数φn等于0∼n−1中与n互素的整数个数比如φ54，因为0~5中， 1,2,3,4均与5互素，即最大公约数为1。
2023-04-08 18:51:03
691
原创 密码体制基础概念
具体来说，是完成加密和解密的。通常，数据的加密和解密过程是通过密码体制、密钥来控制的。密码体制必须易于使用，特别是应当可以在微型计算机使用，且密码体制的安全性依赖于密钥的安全性。密码体制也叫，是指能完整地解决信息安全中的机密性、数据完整性、认证、身份识别、可控性及不可抵赖性等问题中的一个或几个的一个系统，一般涉及了大量的数学内容。
2023-03-22 15:50:14
241
原创 Cuda实战-09 多线程多卡运行
样例的内容是每个CPU启用一个线程，执行一个核函数，然后这些线程平均分配给n个GPU上面运行，采用多线程技术实现。
2023-03-21 15:47:53
528
原创 编译，汇编，编译器，解释器，编译工具与CMake之间关系
从人类习惯的高级语言到机器直接执行的机器语言，需要通过或者去完成转换。Python，Java，C++等为高级语言，机器语言为一串串由0和1组成的序列。Python和Java的转换过程用的是解释器，而C++用的是编译器。编译器的编译过程主要分为两个阶段：第一个阶段为，实现高级语言向汇编语言的转换；第二个阶段为，实现汇编语言向机器语言的转换。C++的常见编译器有gcc，clang，msvc等。
2023-03-19 21:55:52
681
原创 Cuda编程-07 内存动态操作
_share__每个SM都有一定数量的由线程块分配的共享内存，共享内存是片上内存，跟主存相比，速度要快很多，也即是延迟低，带宽高。其类似于一级缓存，但是可以被编程。共享内存在核函数内声明，生命周期和线程块一致，线程块运行开始，此块的共享内存被分配，当此块结束，则共享内存被释放。此语句相当于在线程块执行时各个线程的一个障碍点，当块内所有线程都执行到本障碍点的时候才能进行下一步的计算，这样可以设计出避免内存竞争的共享内存使用程序、注意，频繁使用会影响内核执行效率。
2023-03-17 16:17:42
434
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人