- 博客(14)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 grpc通信，Pytorch nn.Module模型（大量Float）如何序列化和反序列化
文章目录问题说明传输tensorPytorch nn.Module模型参数在哪？错误的想法: 转换成list, 使用json dumps转换成字符串正确的方法：使用Pytorch的序列化方案，转换成bytes传输大量Float，压缩消息问题说明需要在分布式节点间传递Pytorch模型参数，以实现分布式模型训练需要为模型参数提供序列化和反序列化需要支持所有模型，不是特定几种传输tensorPytorch nn.Module模型参数在哪？ state_dict = AlexNet().sta
2022-03-03 15:31:58
505
原创 MIT 6.824 Lab4 AB 完成记录
说明这里提供详细的实现思路和实验原理详解，提供骨架级别的绝大部分代码。不提供全部代码。完整代码，如确实需要，请私信或留言。整体架构lab4 整体的实验说明十分冗长，我们需要详细阅读它来完全理解我们需要构建什么。话不多说，直接上图：在这个实验中，我们要创建一个 “分布式的，拥有分片功能的，能够加入退出成员的，能够根据配置同步迁移数据的，Key-Value数据库服务”。在Lab4A中，我们需要构造 ShardCtrler , 运行时，多个ShardCtrler Servers 组成一个Raf
2021-06-21 15:31:32
3101
3
原创 MIT 6.824 Lab3 2021 AB完成记录
说明这里只讲解实验完成的整体思路和问题解决方法，只有代码骨架，不填充具体逻辑。总体方法总体架构我们首先要了解实现的整体架构是什么，关于这个，最好的展示就是网站中raft_diagram.pdf那张图。 一些核心的前提：KVServer(server.go) 是 State Machine， 每个KVServer对应一个Raft peer node, KVServer之间只通过Raft 服务来达成共识，不会直接交互。 根据paper Client interaction 的说明，KVServer
2021-05-24 10:43:35
2793
6
原创 MIT 6.824 Lab2 2021 ABCD完成记录
这里写自定义目录标题说明总体方法paper 与 实验材料阅读Debug & logTime.TimerLog Index代码逻辑概述测试时间A leader elecitonRaft 基础架构LeaderElectionAppendEntriesB log补充AApplyEntriesC persistenceD log compaction说明本人除了Lab1，并没有接触过GO语言。文中有写的不对，不恰当的地方，希望大佬们能及时指出。整个实验花了前后整整4，5天的时间，包括上课时间，大概有4
2021-04-25 14:38:57
5595
6
原创 JAVA 排列组合数简单实现
JAVA 排列组合数简单实现具体见代码即可排列数采用的是递归交换序列得到不同的排列组合数是利用二进制的特点获取长度为n的序列的2^n个子集，在其中挑选出长度为num的所有子集public class PerCom { /* 排列组合类 */ public int[] testdata = new int[]{1,2,3,4,5,6}; public int sum = 0; public static void main(String[] ar
2020-09-24 19:54:12
1077
原创 2019年清华计算机系本校保研推免机考题目
先说下大致情况 时间： 4小时3道题目 形式： 在线OJ测试，每题100分，分为多个子任务分别执行程序记分 操作系统：ubuntu 语言：C / C++ / java / python3 我是清华校内夸系推免过去的学生，算法设计为自学，OJ经验几乎为0。这份题目对我来说确实是比较难了，最后分数很低，但面试不错最终...
2020-09-22 19:07:03
792
原创 用Docker运行python程序示例
运行一个简单的Python文件这是我的测试文件，很简单，访问了宿主机的数据库 1 import pymysql 2 3 #HOST = '127.0.0.1' 4 HOST = '172.17.0.1' #docker0 的地址，为了访问宿主机服务 5 6 db = pymysql.connect(HOST,"root","root","cpat") 7 cursor...
2020-04-13 14:57:54
5001
原创 Docker容器访问宿主机服务（Mysql）
1. 使用docker0网桥网关地址通过ip addr命令查看docker0网桥地址信息，其默认的网关地址就是容器内可以访问的宿主机地址比如我的是172.17.0.1这个地址可以在守护进程的配置文件中改成自己想要的编辑/etc/docker/daemon.json文件添加 {“bip”: “ip/netmask”}容器网络模式用默认的birdge或者host都可以访问到2. 使用H...
2020-04-13 14:37:43
1323
原创 mac上安装Hadoop伪分布式实验环境
配置环境：macOS 10.14.5hadoop版本：3.2.1_1时间：2020.2.29安装HomebrewHomebrew在mac上很常用，不多叙述，安装方法/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"SSH登陆本地配置不用密...
2020-03-01 14:15:45
383
原创 centos7上用kubeadm搭建kubenetes集群（详细+踩坑记录）
总体说明kubernetes处在不断的更新迭代中，因此其环境配置应注重时效性kubeadm是官方的辅助配置工具，简化了集群搭建过程我搭建的是1.17.3的版本，2020年2月搭建环境是centos7, 四核心16G内存三台机器一个master节点，一个etcd，两台node，简单学习测试环境，很难用于实际生产我用的ip 172.16.1.190 master .191 .192 ...
2020-02-14 18:21:18
1743
原创 Electron+Python软件系统开发记录（一）：基础环境搭建
Electron+Python软件系统开发记录（一）：基础环境搭建1.问题说明 最近开始做本科毕设，其中有一部分内容是搭建一个完整的软件系统。系统要求就是常见的客户端，服务器，数据库的整体架构。因为本科不是计算机系的，所以学习的相关技能少，以前写课程设计一般用QT或者MFC，还有Mac的OC语言。本着多学习的态度，这次选用了Electron框架，可...
2019-12-19 16:30:01
3258
2
原创 2019保研推免经验（清华计算机，软院，自动化；中科院计算所，自动化所）
经过了大半个月提心吊胆吊胆的日子，保研生活终于进入尾声了，记录一些保研经验吧，也算给大家一些参考。 先说一下自己的情况，清华本科，专业和CS有联系，不大；成绩一般； 有简单科研经历；有互联网一线大厂实习经历； 接下来就分学校专业说一说吧中科院自动化所 没参加夏令营...
2019-09-17 12:39:55
5363
19
原创 Spyder 界面无法打开的解决方法
今天使用Spyder时其界面无法显示打开了具体情况是：点击Spyder 后有蜘蛛网界面，且Loading一切正常，但打开后是这个样子开始时重装了Spyder 但没有用，亲测有效的方法：C：/Windows/用户/用户名 文件夹下 删除.matplotlib and .spyder-py3 (或者.spyder） 文件夹重新开Spyder编译器就可以了不能的话可以再删...
2019-04-29 14:35:14
7953
2
原创 Anaconda最新版本如何安装tensorflow及keras
用Anaconda快速实现使用tensorflow及keras最近因课程需要，安装了anaconda并在其上配置深度学习框架tensorflow及keras。折磨了我一整天，感觉网上的教程有很多错误的地方。因此写一篇博客来帮大家排雷。总的来说，在anaconda上实现tensorflow及keras，网上主要有两种方法：python 3.5， 3.6 下，在Anaconda Prompt ...
2019-04-24 00:00:31
2418
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人