- 博客(71)
- 收藏
- 关注
RSS订阅原创 Dockerfile 中变更时区
Ubuntu:14.04RUN echo “Asia/Shanghai” > /etc/timezoneRUN dpkg-reconfigure -f noninteractive tzdataUbuntu：16.04apt update （为了安装tzdata）apt install tzdata （为了获取/usr/share/zoneinfo）rm /etc/localtimeln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtim
2021-06-24 10:12:44
280
原创 vi命令行操作-笔记
上下移动：数字＋上下键块选＋多行编辑：^ + V I复制：yy粘贴：p /P多行复制：数字yy 粘贴 p当前行：查找 f + 字母或者数字单词查找：／关键词 往下查找 ？关键词 往上查找光标放在当前单词上：＊ 即可查找 n下跳 N上跳保存：wq窗口操作： (^ +w)退出: q 横分屏:s 竖分屏: v 切换：w删除一行：dd删除一个字母：光标所在位置 x选中删除：v 选择 d/x选中删除一个单词：daw／dw大小写转换；v选择 g U／u重复操作：.替换： .
2021-03-25 14:43:27
265
转载 【转载】正向代理和反向代理
原文讲的非常清晰，请直接访问原文链接什么是代理服务器所谓代理服务器就是位于发起请求的客户端与原始服务器端之间的一台跳板服务器，正向代理可以隐藏客户端，反向代理可以隐藏原始服务器。正向代理用户知道目标服务器地址，但由于网络限制等原因，无法直接访问。这时候需要先连接代理服务器，然后再由代理服务器访问目标服务器。反向代理反向代理对用户则是不可知的，比如我们访问百度网站，百度的代理服务器对外的域名为 https://www.baidu.com 。具体内部的服务器节点我们不知道，现实中我们通
2020-08-06 18:05:46
224
原创 函数的返回值和功能描述
True，False“逻辑判断型"的函数，表示"真"或"假”eg：is_white_cat()OK,ERROR“操作型"的函数，表示"成功"或"失败”eg：data_delete()Data,None“获取数据型"的函数，表示"有数据"或"无数据/获取数据失败”eg：get_data()...
2020-07-02 18:17:31
2705
转载 领导力的四个阶段
节选自阮一峰的科技爱好者周刊：添加链接描述领导力的四个阶段：第一阶段：熟悉自己的业务，知道问题在哪里，怎样可以解决。领导者是给大家指方向的，你必须先知道要走哪个方向，才能带领别人，这是领导力的基础。第二阶段：培养说服能力，能说服他人，问题可以按照你说的方式解决。领导力的表现是，他人愿意服从你。这不能都靠制度压服，而要让他人真心觉得你是对的。如果你可以让他人相信你，你就可以领导。第三阶段：激发他人的热情，让他们产生解决问题的热情。说服他人的更高境界，是让他们真正投身进来，自觉发挥自己的潜力，全力
2020-06-19 09:22:46
980
转载 Python可以这么简洁
今天看leetcode上一个例题的时候有很大的感触，原来Python可以这么简洁。问题描述原问题链接：给定一个整数数组 nums 和一个目标值 target，请你在该数组中找出和为目标值的那 两个 整数，并返回他们的数组下标。你可以假设每种输入只会对应一个答案。但是，数组中同一个元素不能使用两遍首先想到的就是两层循环暴力求解，但是在跑一些用例的时候超时退出????后面有个精华贴，快速简洁的解决了该问题，5行代码完事，给我很大触动。以为记！def twoSum(nums: List[int],
2020-06-18 16:10:16
118
原创 JAVA知识点自学笔记
1.文件名必须为类名完全保持一致。2.我们需要先用javac把Hello.java编译成字节码文件Hello.class，然后，用java命令执行这个字节码文件3.一个Java源码只能定义一个public类型的class，并且class名称和文件名要完全一致。4.定义变量的时候，如果加上final修饰符，常量。常量名通常全部大写。5.var 关键字定义变量。6.方法名相同，但各自的参数不同，称为方法重载（Overload）。7.java使用关键字extends实现继承。8.继承是is关系，组合
2020-06-09 10:10:31
109
原创 最近学习的一些感悟
本文为学习章淼的《做研究的一些体会》学习笔记，收获颇多，特此记录。详细内容请移步微信公众号“章老师说”。1.在研究中，要扬长避短，而不是缺什么补什么，搞平均主义，而要想想什么事自己独特的感受和体会，多从自己熟悉和擅长的地方寻找机会。2.在科学研究面前人人都是平等的，要尊重每一个人和问题。3.没有任何事情是完美的，在工程研究中常常是做Tradeoff，Tradeoff 有很多不同的方式，这就是研究的机会。4.分析问题时，分而治之是个好办法，把无从下手的大问题变成能够下手的小问题。...
2020-06-09 09:27:41
157
转载 HttpRunner核心特性
HttpRunner源码阅读功能介绍链接：https://debugtalk.com/post/httprunner-2.0-release/https://pypi.org/project/httprunner/https://docs.httprunner.org/https://testerhome.com/opensource_projects/httprunner功能介绍H...
2020-04-14 10:52:50
360
原创 《代码的艺术》学习笔记
需求分析和系统设计需求分析：定义系统/软件黑盒的行为（external what）需求需要用精确的数字来进行刻画系统设计：设计系统/软件白盒的机制（internal how& why）trade-off...
2020-03-19 09:07:42
429
原创 Python中的编码问题
Python 中遇到的最大的问题就是编码问题了，之前也是一知半解，但是谨遵教训尽量使用utf-8 编码，文件格式也使用utf-8保存，避免了一些问题，但是最近在做网络爬虫的时候遇到了编码的问题，于是查询资料，稍微有些明白，整理如下。首先谈一谈编码问题参考了知乎上关于Python编码的问题。了解到编码从 ASCII编码（8bit ，实际中仅用到7bit）。到 EASCII编码（8bit，使用...
2019-04-23 10:14:28
213
转载 linux 操作小技巧
1.如何查询linux 是Ubuntu还是centos系统？第一种方法：# lsb_release -aLSB Version: :core-4.0-ia32:core-4.0-noarch:graphics-4.0-ia32:graphics-4.0-noarch:printing-4.0-ia32:printing-4.0-noarchDistributor ID: Cen...
2019-03-05 14:37:23
174
原创 加密算法的分类及应用
加密算法基本上可以分为三类，分别是对称性加密算法、非对称性加密算法和消息摘要算法，每一类算法中又有多个不同的具体算法，下面就分别进行介绍。对称性加密算法对称性加密算法使用同一个密钥对信息进行加密和解密，其信息的安全性一部分取决于加密算法和密钥的长度，另一部分取决于密钥在传递过程中是否会被截获或盗取。常用的算法包括：DES（Data Encryption Standard）：数据加密标准，速...
2019-01-16 14:08:59
1286
原创 ssh两种认证方式的原理介绍
SSH是一种加密的网络传输协议，可在不安全的网络中为网络服务提供安全的传输环境。SSH通过在网络中创建安全隧道来实现SSH客户端与服务器之间的连接。虽然任何网络服务都可以通过SSH实现安全传输，SSH最常见的用途是远程登录系统，人们通常利用SSH来传输命令行界面和远程执行命令。ssh 协议交互过程如下：SSH以非对称加密方式实现身份验证：方法一：是使用自动生成的公钥-私钥对来简单地加密网络...
2018-11-01 15:49:30
12561
6
原创 配置Linux ssh 免密登录
linux 常用的ssh登录方式主要有两种：密码登录和证书登录有两台机器，机器A和机器B：如从A登录机器B：密码登录方式：在机器A上操作ssh root@机器B的ip提示输入密码，登录成功！免密登录方式：在机器A上操作ssh root@机器B的ip直接登录成功！要做到免密登录需要进行配置操作：1.在机器A上生成一对密钥：ssh-keygen -t rsa比较简单的方式是一...
2018-10-31 17:02:23
216
转载 python回调函数
今天接触到了回调函数这个词，想深入了解下，看到一篇文章讲得很清楚，摘录下来，详细参考文末链接编程分为两类：系统编程（system programming）和应用编程（application programming）。所谓系统编程，简单来说，就是编写库；而应用编程就是利用写好的各种库来编写具某种功用的程序，也就是应用。系统程序员会给自己写的库留下一些接口，即API（application prog...
2018-10-16 17:20:50
852
转载 python 多进程与子进程
多进程：1.os.fork()2.from multiprocessing import Process3.form multiprocessing import Pool子进程：subprocess很多时候，子进程并不是自身，而是一个外部进程。我们创建了子进程后，还需要控制子进程的输入和输出。使用subprocess包中的函数创建子进程的时候，要注意:在创建子进程之后，父进程是...
2018-10-10 15:47:36
1725
转载 如何理解Linux下，使用top命令看到内存占用情况
linux 下使用top命令之后看到内存占用情况如下：Mem: 32849260k total, 32630656k used, 218604k free, 445512k buffersSwap: 0k total, 0k used, 0k free, 12864484k cached乍一看只有2G的内存剩余，但是真的只有2Ｇ的内...
2018-09-07 15:04:41
5999
转载 安装protobuf
下载路径： 安装步骤： ./configure make make install第一次出现这个问题：Traceback (most recent call last): File "<stdin>", line 1, in <module> File "da
2018-09-05 11:08:40
199
原创 centos 离线安装confluent_kafka 模块
centos 离线安装confluent_kafka 模块背景：需要安装Python模块的机子不能上网，只能下载源码进行安装 说明：如果可以上网直接pip install confluent_kafka 即可需要安装模块，confluent_kafka 依赖librdkafka 模块： confluent_kafka librdkafka安装包下载：https://pypi....
2018-08-16 17:18:00
2829
1
原创 tensorflow 升级失败 ImportError: cannot import name abs
之前安装的比较早，版本是1.6.0，最近想要升级，于是参考网上链接进行升级pip install --upgrade --ignore-installed tensorflow升级之后运行出现了模块导入错误 ImportError: cannot import name abs网上搜索是因为和protobuf版本不兼容造成的，因此需要卸载重新安装pip uninstall ten...
2018-07-20 18:35:14
12251
3
原创 ubuntu Docker 环境下设置crontab
设置crontab 第一个问题就是时区不对的问题，默认系统时区为UTC，时间不同步，设置定时任务时会有偏差。因此，先更改时区解决办法：在Dockerfile中加入即可 RUN echo”Asia/Shanghai” > /etc/timezone RUN dpkg-reconfigure -f noninteractive tzdata容器启动之后，设置了crontab，结果一直...
2018-06-22 14:27:58
2705
原创 python中json串特殊字符替换问题
在json串中发现特殊字符”\n”,使用str.replace("\n","")进行替换，在终端测试ok。但是脚本运行（从文件中读取json串）一直不能成功，后使用str.replace("\\n","")替换成功！ 参考链接：https://www.jianshu.com/p/c0cce1b5469a字符串转json 和字典的异同相同点都
2018-06-04 16:13:27
9799
原创 使用python编写hadoop的mapper 和reducer
参考： https://www.cnblogs.com/hopelee/p/7476145.html https://blog.csdn.net/zhaoyl03/article/details/8657031上一篇文章，学习了搭建hadoop 环境，现学习如果使用python编写mapper 和reducer。如未搭建hadoop环境，请参考hadoop搭建Had...
2018-05-21 19:06:14
4600
转载 【转】史上最详细的Hadoop环境搭建
GitChat 作者：鸣宇淳 原文： 史上最详细的Hadoop环境搭建 前言Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署Apache Hadoop2.x版本为主线，...
2018-05-18 17:45:19
570
原创 linux 下批量杀死包含某个关键字的进程
前几天因工作需要，需在linux下批量杀死包含某个关键字的进程，在网上一通搜，倒是有很多讲的不错的。参考了这篇博主的文章，讲的很详细。大家也可以参考。http://blog.csdn.net/bluecloudmatrix/article/details/36200079如果不明白意思，可以从左到右一个管道一个管道加上去看看输出结果，就明白了。我的问题在于，前面步骤都是OK的，最后一步kill...
2018-05-18 11:53:16
421
1
原创 MAC pydotplus.graphviz.InvocationException: GraphViz's executables not found
在学习机器学习-决策树算法，使用决策树算法进行训练，在保存为pdf时遇到错误：pydotplus.graphviz.InvocationException: GraphViz's executables not found网上一通搜，有说是GraphViz 和pydot 安装顺序的问题的，有说是将GraphViz安装目录的bin目录放到环境变量的path路径中的。至于MAC上的解决办法...
2018-03-20 15:23:37
4738
2
原创 机器学习-K近邻算法
用例一：from sklearn.neighbors import NearestNeighborsimport numpy as npX = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])nbrs = NearestNeighbors(n_neighbors=2, algorithm='ball_t...
2018-03-20 14:27:38
347
原创 Linux 下批量杀死包含某个关键字的进程
前几天因工作需要，需在linux下批量杀死包含某个关键字的进程，在网上一通搜，倒是有很多讲的不错的。参考了这篇博主的文章，讲的很详细。大家也可以参考。http://blog.csdn.net/bluecloudmatrix/article/details/36200079如果不明白意思，可以从左到右一个管道一个管道加上去看看输出结果，就明白了。我的问题在于，前面步骤都是OK的，最后一步kill...
2018-03-13 10:14:04
1270
原创 MacOS python shell下使用命令运行ok，但是在eclipse上运行失败
问题描述：mac 系统，使用pip 安装了python 模块之后，在shell 下导入模块ok，程序运行也OK。在eclipse下没有报模块不存在的问题，但是程序运行时模块调用的某一部分一直报错。问题分析：因为安装的python 模块依赖比较多，当时因为权限的问题没有安装成功反复尝试过几次，猜想可能是某一个引用库下面没有安装完整。猜想eclipse的lib库可能不全，于是在电脑上搜索pytho...
2018-03-10 14:13:48
610
原创 gcc 编译遇到 pcap 库问题
首先在ubuntu中编译c文件遇到的问题是：xxx.c:2:18: fatal error: pcap.h: No such file or directory #include <pcap.h> ^compilation terminated.可以判断是pcap.h 相关库没有安装。 解决方法：安装pcap相关库。#apt-get install lib
2017-11-15 14:43:33
13768
1
原创 NetBIOS初步了解
NetBIOS定义及作用 NetBIOS：是Network Basic Input/Output System的简称，一般指用于局域网通信的一套API。作用是为了给局域网提供网络以及其他特殊功能，系统可以利用WINS服务、广播及Lmhost文件等多种模式将主机名解析为相应IP地址，实现信息通讯，所以在局域网内部使用NetBIOS协议可以方便地实现消息通信及资源的共享。NetBIOS协议 RFC1
2017-11-01 18:24:12
10620
原创 为什么wirshark 抓到54B的包，以太网最小包不是64B吗？
以太网的最小包不是64B吗？为什么我在用wireshark 抓包的时候抓到了60B，有时候还会抓到54B？以下进行解答。首先先看一下以太网帧格式，参照RFC894的标准，以太网有14B的头和4B的CRC校验，数据字段范围：46—1500B。Q1:那么为什么会抓到60B呢？ A：因为以太网帧的最后4字节是进行CRC校验，如果校验通过则直接丢给上层处理，如果校验失败则直接丢弃。因此，在Wireshar
2017-10-20 14:53:15
2111
1
原创 mac 下包管理工具 brew
之前使用ubuntu，apt-get 实在好用，现在用mac 什么工具比较好呢？当然是brew啦！ 网站：https://brew.sh命令行使用/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"即可进行安装，如果安装过程中出现ERROR：/usr/lo
2017-10-20 14:38:26
665
原创 网络编程中的常用函数整理
网络编程常用到的函数，进行整理。先上图基于TCP协议： 基于UDP协议：常用函数：socket: 函数原型：int socket(int domain, int type, int protocol); 参数说明： domain：称协议族（family），常用的协议族有AF_INET、AF_INET6、AF_LOCAL（或称AF_UNIX，Unix域Socket）、AF_ROUTE等。协议族
2017-10-10 14:27:47
2949
原创 sudo apt-get install winbind
今天在安装winbind的时候出现各种错误，提示需要有模块依赖，还有一些模块损坏：The following packages have unmet dependencies: winbind : Depends: samba(= 2:4.1.6+dfsg-1ubuntu2) but 2:4.1.6+dfsg-1ubuntu2.14.04.2 is to be installed Depend
2017-09-26 20:03:39
1750
原创 IP、TCP、UDP校验和计算
校验和计算： 1.对所有需要进行校验的数据（校验和部分全部置0），每16bit分成一组。 2.对所有的组，依次按位求和，求和时如有溢出，则进行回卷。 3.对所求的和进行反码运算。 4.将反码后所得数据填入校验和位置。具体例子参考RFC：https://tools.ietf.org/html/rfc1071 以下列出了校验和的计算过程，最后一列为网络字节顺序（高低字节Swapped）
2017-09-21 19:48:53
2502
原创 UDP 协议格式
UDP RFC：https://tools.ietf.org/html/rfc768 UDP协议和TCP协议同位于传输层，介于网络层（IP）和应用层之间：UDP数据部分位应用层报文。而UDP报文在IP中承载。 UDP 报文格式相对于简单，如下图： 源端口：端口号0-65535，1-1024保留端口号，为标准的服务端口 目的端口：同上 UDP长度：header＋data 总长度 UDP校验
2017-09-21 15:17:48
13392
原创 IP 协议帧格式
IP协议RFC：https://tools.ietf.org/html/rfc791IP协议在协议栈中位于网络层，网络数据传输封装方式如下：IP报文格式如下：版本：IP报文版本号 IPV4:4，IPV6:6 首部长度：IP header 长度，没有选项，则一般为5（5x32bit＝20B） 8位服务类型：一般没有使用，详细参考RFC 总长度：header＋数据 总长度 16位标识：IP 报文
2017-09-21 14:23:37
19519
1
原创 NTP服务器搭建与测试
服务器 首先是安装： sudo apt-get install ntp 修改配置文件（ntp仅有的配置文件）： sudo vi /etc/ntp.conf # 如果进行局域网配置，可参考如下：# Specify one or more NTP servers.server 192.168.0.100 ＃这个是该ntp server 的上层server# 配置可以访问该server的网
2017-09-19 16:33:58
4153
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人