swartz_lubel的专栏

原创 22

32bit和64bit切换：!wow64exts.sw查看进程运行的时间：vertarget查看依赖的动态库(包含dll的路径)：lmf查看pdb文件：lm查看所有的线程堆栈：~*kbn切换线程：~20s切换线程上的栈信息：.frame x （x代表的堆栈）输出信息到日志：.logopen c:text.log &&.logclose自动分析：！analyze -v...

转载 111

系统相关的限制参数cat /proc/sys/fs/file-max -> 1606896  系统的总句柄数    Linux系统在启动时根据系统硬件资源状况计算出来的最佳的最大同时打开文件数限制，如果没有特殊需要，不用修改，除非打开的文件句柄数超过此值。    一定要大于等于/etc/security/limits.conf所设置的soft nofile和soft nofile值 ...

转载 13种UML简介、工具及示例

概要UML(Unified Modeling Language ,统一建模语言或标准建模语言). UML图形有13种,UML规范用来描述建模的概念有，类（对象的）、对象、关联、职责、行为、接口、用例、包、顺序、协作，以及状态.一起细细品读下.1.用例图(UseCase Diagram)静态图.对系统的使用方式分类. 帮助开发团队以一种可视化的方式理解系统的功能需求。 元素关系包含有: 参与者,用例...

原创 snmp v3 获取节点信息

#include "net-snmp/net-snmp-config.h"#include "net-snmp/net-snmp-includes.h"#include "net-snmp/utilities.h"#include "net-snmp/agent/net-snmp-agent-includes.h"#include "net-snmp/agent/agent_callbac...

转载 Shodan新手入坑指南

*本文原创作者：xiaix，本文属FreeBuf原创奖励计划，未经许可禁止转载亲们~黑五 Shodan Membership 只要5刀，你剁手了没？什么是 Shodan？首先，Shodan 是一个搜索引擎，但它与 Google 这种搜索网址的搜索引擎不同，Shodan 是用来搜索网络空间中在线设备的，你可以通过 Shodan 搜索指定的设备，或者搜索特定类型的设备，其中 Shodan 上最受欢迎的...

转载 matplotlib 快速绘图

5.1　快速绘图matplotlib的pyplot子库提供了和matlab类似的绘图API，方便用户快速绘制2D图表。让我们先来看一个简单的例子：# -*- coding: utf-8 -*-import numpy as npimport matplotlib.pyplot as pltx = np.linspace(0, 10, 1000)y = np.sin(x)z = np.c...

原创 numpy的常用函数 不断更新

numpy最基本的就是数组和矩阵，先简单介绍一下数组的基本操作1.数组    1.1创建 >>>from numpy import array>>>a1 = array([2,3,4])>>>print(a1)[2 3 4]>>>a2 = array([[1,2,3],[4,5,6]])>>&gt

转载 linux io阻塞问题

在linux 上 磁盘读写过高 的 I/O 问题 导致 cpu wait 问题，这里是用一些方法找出问题。首先 使用 top 命令找出 出现 cpu 中 是否进程运行等待问题＃ top[cpp] view plain copytop - 03:57:39 up 1 day, 15:40,  0 users,  load average: 0.00, 0.00, 0.00  Tasks:   8 t...

转载 coredump_filter的设置

coredump是抓取进程空间内的内存并保存到文件上,并不是所有内存都需要保存的,你可以通过设置/proc/$pid/coredump_filter参数过滤,只抓取部分内存。该参数是一个值,每个bit位都有对应的含义用来表示是否抓取这部分内：bit0: 私有匿名 bit1: 共享匿名 bit2: 有底层文件的私有映射 bit3: 有底层文件共享映射 bit4: ELF头 bit5: 私有大尺寸页 ...

转载 x64 结构体系下的内存寻址

转载请注明出处：http://www.cnblogs.com/lanrenxinxin/p/4735027.html在阅读NewBluePill源码的时候，看内存的那一块简直头疼，全是x64下的寻址，之前根本就没有接触过x64的内存寻址上的内容，看的晕头转向，决定先把x64下的寻址给弄明白了再回过头来看NewBluePill的源码，然后在网上一顿找，居然没有找到关于x64寻址的博客或者文章，简直痛...

转载 使用 dpu 检视 dump 中的字符串.

翻译自 MDA-Anthology1 page167, WINDBG TIPS AND TRICKS. WinDbg中有一些很好的命令像dpu (检视unicode字符串)和dpa (检视ASCII字符串)以及其它 d 开头的命令如dpp. 我们可以使用这些命令来看看栈上是否有指针指向了字符串. 例如: 0:143> !tebTEB at 7ff2b000 ... StackBase: 05...

转载 dump 分析模式之 INCORRECT STACK TRACE

dump 分析模式之 INCORRECT STACK TRACE 翻译自 MDA-Anthology Page288 初学者常犯的错误是认为 WinDbg 的 !analyze 和 kv 给出的信息是准确的. WinDbg 只是一个工具, 有时候会缺少一些必要的信息来得到正确的栈信息, 因此我们需要自己明辨正确的与错误的栈信息. 我称之为 Incorrect Stack Trace, 它通常有以下...

转载 TensorFlow入门：第一个机器学习Demo

本文主要通过一个简单的 Demo 介绍 TensorFlow 初级 API 的使用方法，因为自己也是初学者，因此本文的目的主要是引导刚接触 TensorFlow 或者 机器学习的同学，能够从第一步开始学习 TensorFlow。阅读本文先确认具备以下基础技能：会使用 Python 编程（初级就OK，其实 TensorFlow 也支持 Java、C++、Go）一些数组相关的知识（线性代数没忘干净就行...

转载 linux下安装TensorFlow(centos)

一、python安装　　centos自带python2.7.5，这一步可以省略掉。二、python-pip　　pip--python index package,累世linux的yum，安装管理python软件包用的。yum install python-pip python-devel 三、安装tensorflow　　安装基于linux和python2.7的tensorflow 0.9pip ...

转载 /proc/sys/vm虚拟内存参数

1.admin_reserve_kbytes   给有cap_sys_admin权限的用户保留的内存数量，默认值是min(free pages * 3%, 8MB)。这些内存是为了给管理员登录和杀死进程恢复系统提供足够的内存。2.block_dump    如果设置的是非零值，则会启用块I/O调试。更多的关于块I/O调试的信息可以参见Documentation/laptops/laptop-mod...

转载 Linux下x86_64进程地址空间布局

在x86_64下和i386下是类似的，本文主要关注vm.legacy_va_layout以及kernel.randomize_va_space参数影响下的进程空间内存宏观布局，以及vDSO和多线程下的堆和栈分布。情形一：vm_legacy_va_layout=1kernel.randomize_va_space=0此种情况下采用传统内存布局方式，不开启随机化，程序的内存布局可以看出: 代码段：0x...

转载 Linux下C程序进程地址空间布局

我们在学习C程序开发时经常会遇到一些概念：代码段、数据段、BSS段（Block Started by Symbol） 、堆（heap）和栈（stack）。先看一张教材上的示意图（来源，《UNIX环境高级编程》一书），显示了进程地址空间中典型的存储区域分配情况。           从图中可以看出：从低地址到高地址分别为：代码段、（初始化）数据段、（未初始化）数据段（BSS）、堆、栈、命令行参数和环...

转载 缓冲区溢出学习

一、寄存器ESP、EBP、EIPCPU的ESP寄存器存放当前线程的栈顶指针，EBP寄存器中保存当前线程的栈底指针。CPU的EIP寄存器存放下一个CPU指令存放的内存地址，当CPU执行完当前的指令后，从EIP寄存器中读取下一条指令的内存地址，然后继续执行二、函数调用模式堆栈由逻辑堆栈帧组成。当调用函数时逻辑堆栈帧被压入栈中，当函数返回时逻辑堆栈帧被从栈中弹出。堆栈帧包括函数的参数，函数地局部变量，以...

转载 Zookeeper 辅助 API

分类的 Zookeeper C API 中辅助函数如下：ZOOAPI void zoo_set_debug_level(ZooLogLevel logLevel);ZOOAPI void zoo_set_log_stream(FILE * logStream);ZOOAPI const clientid_t *zoo_client_id(zhandle_t * zh);ZOOAPI i...

转载 Zookeeper C API 基本常量和结构体介绍

Zookeeper 监视（Watches） 简介Zookeeper C API 的声明和描述在 include/zookeeper.h 中可以找到，另外大部分的 Zookeeper C API 常量、结构体声明也在 zookeeper.h 中，如果如果你在使用 C API 是遇到不明白的地方，最好看看 zookeeper.h，或者自己使用 doxygen 生成 Zookeeper C API 的帮...

转载 Zookeeper C 回调函数

介绍一下 Zookeeper C API 中的各种回调函数的原型：监视函数(watch function)原型typedef void (*watcher_fn)(zhandle_t *zh, int type, int state, const char *path,void *watcherCtx); 监视函数原型的各个参数解释如下：zhzookeeper 句柄(handle)type事件类型...

转载 Zookeeper C 异步 API 介绍

在讲解 Zookeeper 异步 API ，除了监视器回调函数以外，还有其他 7 种回调函数，他们通常在异步 API 调用结束或 Zookeeper  客户端失去连接时被调用。根据回调函数返回参数(即函数的输出参数)的类型不同分为以下几类：返回 void 类型的回调函数，返回 Stat 结构的回调函数，返回字符串的回调函数，返回数据的回调函数，返回字符串列表(a list of string)的回...

转载 Zookeeper C 同步 API 介绍

Zookeeper C API 中与访问 Zookeeper 服务相关(比如创建、删除 znode 节点，获取子节点，设置 znode 数据等)的同步 API 如下：ZOOAPI int zoo_add_auth(zhandle_t * zh, const char *scheme, const char *cert, int certLen, ...

转载 ZooKeeper Watches

关于ZooKeeper Watcheszookeeper所有读操作(getData(),getChildren(),exists())具有设置watch的选项。zookeeper watch的定义如下：watch事件是一次性触发器，当watch监视的数据发生变化时，通知设置了该watch的client，即watcher。需要注意三点：1.一次性触发器client在一个节点上设置watch，随后节点...

转载 Dll注入经典方法完整版

总结一下基本的注入过程，分注入和卸载注入Dll：1，OpenProcess获得要注入进程的句柄2，VirtualAllocEx在远程进程中开辟出一段内存，长度为strlen(dllname)+1;3，WriteProcessMemory将Dll的名字写入第二步开辟出的内存中。4，CreateRemoteThread将LoadLibraryA作为线程函数，参数为Dll的名称，创建新线程5，Close...

转载 VirtualAllocEx 跨进程读写数据 代码注入

VirtualAllocEx 函数的作用是在指定进程的虚拟空间保留或提交内存区域，除非指定MEM_RESET参数，否则将该内存区域置0。 LPVOID VirtualAllocEx( HANDLE hProcess, // 申请内存所在的进程句柄 LPVOID lpAddress, // 保留页面的内存地址；一般用NULL自动分配 SIZE_T dwSize, // 欲分配的内存大小，字节单位；注...

转载 libco协程库上下文切换原理详解

缘起libco 协程库在单个线程中实现了多个协程的创建和切换。按照我们通常的编程思路，单个线程中的程序执行流程通常是顺序的，调用函数同样也是 “调用——返回”，每次都是从函数的入口处开始执行。而libco 中的协程却实现了函数执行到一半时，切出此协程，之后可以回到函数切出的位置继续执行，即函数的执行可以被“拦腰斩断”，这种在函数任意位置 “切出——恢复” 的功能是如何实现的呢？ 本文从libco ...

转载 网络建设、运维所有知识总结篇

OSPFOSPF的特点：1.无环路：AS内防环机制是通过SPF算法计算路由，从算法本身保证了不会生成环路。AS间防环：通过区域划分，非骨干区域简直的通讯只能靠骨干区域通讯。2.区域划分：优点减小了内存的消耗和CPU的负担。3.支持等价路由。4.路由等级：区域内、区域间、区域外（E1、E2） 自制系统（Autonomous System）一组使用相同路由协议且处于同一技术掌控的连续的路由范围。 一台...

转载 CentOS 6、7 安装 Golang

方法一：使用二进制文件安装 (推荐)1、下载二进制文件：wget https://storage.googleapis.com/golang/go1.7.3.linux-amd64.tar.gz2、解压并创建工作目录：tar -zxf go1.7.3.linux-amd64.tar.gz -C /usr/local/mkdir /Golang3、设置环境变量：在 /etc/profile 添加：...

转载 zookeeper 和 kafka 集群搭建

Kafka初识1、Kafka使用背景在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题：我们想分析下用户行为（pageviews），以便我们设计出更好的广告位我想对用户的搜索关键词进行统计，分析出当前的流行趋势有些数据，存储数据库浪费，直接存储硬盘效率又低 这些场景都有一个共同点：数据是由上游模块产生，上游模块，使用上游模块的数据计算、统计、分析，这个时候就可以使用消息系统...

转载 kafka 学习 非常详细的经典教程

一、基本概念介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？首先让我们看几个基本的消息系统术语：Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行，可以由一个或多个服务组成...

原创 Linux 调整内核参数

原创 Linux 信号

#include <sys/types.h>#include <sys/socket.h>#include <netinet/in.h>#include <arpa/inet.h>#include <assert.h>#include <stdio.h>#include <signal.h>#incl

原创 Linux 条件变量

线程同步机制包装类#ifndef LOCKER_H#define LOCKER_H#include <exception>#include <pthread.h>#include <semaphore.h>class sem{public: sem() { if( sem_init( &m_sem, 0,...

原创 linux pthread 信号量 互斥量

#include <pthread.h>#include <unistd.h>#include <stdio.h>int a = 0;int b = 0;pthread_mutex_t mutex_a;pthread_mutex_t mutex_b;void* another( void* arg ){ pthread_mutex_l...

原创 linux pthread

原创 linux 高级IO函数之fcntl mmap/munmap

fcntl函数提供了对文件描述符的各种控制操作。另外一个常见的控制文件描述符属性和行为的系统调用是ioctl,而且ioctl比fcntl能够执行更多的控制。但是对于控制文件描述符常用的属性和行为，fcntl函数是由POSIX规范指定的首选方法，函数定义如下：#include<fcntl.h>int fcntl(int fd，int cmd，...)fd参数是被操作的文件描述符，cmd...

原创 linux 高级IO函数之sendfile splice tee

sendfile函数在两个文件描述符之间传递数据（完全在内核中操作），从而避免内核缓冲区和用户缓冲区之间的数据拷贝，效率很高，这被称为零拷贝。函数的定义如下：#include<sys/sendfile.h>ssize_t sendfile(int out_fd，int in_fd ， off_t* offset ,size_t count);in_fd参数是待读出内容的文件描述符，...

原创 linux 高级IO函数之dup dup2

#include <sys/socket.h>#include <netinet/in.h>#include <arpa/inet.h>#include <assert.h>#include <stdio.h>#include <unistd.h>#include <stdlib.h>#include

原创 IO模型

socket在创建的时候默认是阻塞的。我们可以给socket系统调用的第二个参数船都SOCK_NONBLOCK标志，或者通过fcntl系统调用的F_SETFL命令，将其设置为非阻塞的。阻塞和非阻塞的概念能应用于所有的文件描述符，而不仅仅是socket。我们称阻塞的文件描述符称为阻塞IO,成非阻塞的文件描述符为非阻塞IO。针对阻塞IO执行的系统调用可能因为无法立即完成而被操作系统挂起，直到等待的事件...