- 博客(141)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 2020-12-18
python 协程池和pool.map用法一、问题描述现在有一段代码，需要扫描一个网段内的ip地址，是否可以ping通。执行起来效率太慢，需要使用协程。#!/usr/bin/env python# -*- coding: utf-8 -*-import osimport timeimport signalimport subprocessimport geventimport gevent.poolfrom gevent import monkey;monkey
2020-12-18 10:07:09
247
转载 踩坑总结] nf_conntrack: table full, dropping packet
转载：https://testerhome.com/topics/7509netfilter/conntrack 相关内核参数往往是用 Linux 服务器的互联网小公司业务量上去之后遇到的第 3 个“新手怪”。（第 1 位：进程可用的 FD 不足，第 2 位：IP 临时端口不足 + TIME_WAIT 状态的连接过多导致无法建立新连接）很多人以为 Linux 经过这么多年优化，默认参...
2018-11-07 16:43:44
5781
转载 hadoop distcp使用
概述distcp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 由于使用了Map/Reduce方法，这个工具在语义和执行上都会有特殊的地方。 这篇文档会为常用distcp操作提供指南并阐述它的工作模型。基
2017-08-22 12:11:28
1023
转载 大数据集群JVM调优&内存管理
大数据集群的工作，很大一部分精力花在了调整集群的jvm参数上面。由于现在的开源大数据产品无论是Hadoop、Hbase、yarn还是Spark等等，都运行于jvm环境中，因此而产生的垃圾收集问题是影响集群可用性的是工作中的重点。本文首先归纳一些常见的因jvm垃圾收集导致的常见集群问题，这些归纳来自于平时工作的总结，欢迎和大家一起交流：1、Namenode的堆内存配置过小导致频繁产生
2017-08-22 12:09:42
602
转载 大数据集群JVM调优&内存管理
大数据集群的工作，很大一部分精力花在了调整集群的jvm参数上面。由于现在的开源大数据产品无论是Hadoop、Hbase、yarn还是Spark等等，都运行于jvm环境中，因此而产生的垃圾收集问题是影响集群可用性的是工作中的重点。本文首先归纳一些常见的因jvm垃圾收集导致的常见集群问题，这些归纳来自于平时工作的总结，欢迎和大家一起交流：1、Namenode的堆内存配置过小导致频繁产生
2017-08-21 14:20:25
1293
转载 HDFS文件系统
HDFS文件系统Hadoop 附带了一个名为 HDFS(hadoop分布式文件系统)的分布式文件系统，专门存储超大数据文件，为整个Hadoop生态圈提供了基础的存储服务。本章内容：1) HDFS文件系统的特点，以及不适用的场景2) HDFS文件系统重点知识点：体系架构和数据读写流程3) 关于操作HDFS文件系统的一些基本用户命令1. HDFS特点
2017-08-18 16:01:15
1473
转载 hadoop 各个模块介绍
本文转自http://blog.csdn.net/gamer_gyt，主要用于个人学习1：NameNode2：SecondNameNode3：DataNode4：ResourceManager5：NodeManager-------------------------------------------------------
2017-08-13 14:58:27
6708
转载 hadoop-2.7.3分布式部署
hadoop-2.7.3完全分布式部署一、环境介绍 IP hostJDKlinux版本hadop版本192.168.0.1master1.8.0_111 centos 7.3.1611hadoop-2.7.3192.168.0.2slave11.8.0_111centos 7.3.1611
2017-08-08 17:27:23
321
转载 sklearn.preprocessing.PolynomialFeatures 用法
１、sklearn.preprocessing.PolynomialFeatures类先给出它的官方文档链接http://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.PolynomialFeatures.html。首先要知道它是一个类。全称如下：class sklearn.preprocessing.Pol
2017-06-15 15:22:59
5571
转载 样本方差的无偏估计与（n-1）的由来
假设X为独立同分布的一组随机变量，总体为M，随机抽取N个随机变量构成一个样本，和是总体的均值和方差, 是常数。是对样本的均值和方差，由于样本是随机抽取的，也是随机的。既然是随机变量，就可以观察他们的均值方差。 这里需要注意的是，由于样本是随机的，所以X1，X2，X3...都是随机的。上式中可以看出，样本均值这个变量的期望就是总体的均值，因此可以说均值是无偏的。
2017-06-14 16:17:09
22907
转载 matplotlib 的plot函数
matplotlib.pyplot.plot(*args, **kwargs)Plot lines and/or markers to the Axes. args is a variable length argument, allowing for multiple x, y pairs with an optional format string. For example, ea
2017-06-13 16:14:11
880
转载 centos支持中文
＃所有操作均在root权限下进行1、到Windows XP或者Vista下复制字体到CentOS进入C:\Winodws\Fonts目录下 找到对应的字体雅黑：msyh黑体：SimHei宋体：SimSun华文细黑：STXihei华文楷体：STKaiti等等 你要的字体2、将要的字体文件复制到/usr/share/fonts
2017-06-13 15:49:32
318
转载 /usr/lib64/python2.7/site-packages/sklearn/utils/validation.py:395 DeprecationWarning
解决: Passing 1d arrays as data is deprecated in 0.17 and will raise ValueError in 0.19. Reshape your data either using X.reshape(-1, 1) if your data has a single feature or X.reshape(1, -1) if it co
2017-06-09 15:16:21
5451
转载 CentOS中python输入import matplotlib.pyplot提示有错误
在CentOS中安装matplotlib（使用命令yum install Python-matplotlib)后，在试图导入pyplot后报错：Traceback (most recent call last): File "", line 1, in File "/usr/lib64/python2.6/site-packages/matplotlib/pyplot.py"
2017-06-09 15:07:29
1086
转载 信号不安全引起的死锁问题
#include #include #include #include void handler(int signum){ char result[100]; time_t now; struct tm time1; now = time(NULL); localtime_r(&now, &time1); strftime(result
2017-04-19 11:12:25
514
转载 opencv cmake找不到ffmpeg动态包的问题
前些日子手动编译opencv模块的时候，一直提示找不到ffmpeg libs （例如 libswscale , libavformat 等库）。 奇怪，明明我源码安装了 ffmpeg，但为什么还是找不到呢。通过cmake的 的脚本，阅读了下cmake的一些脚本，终于找到了原因并解决。 opencv的cmake脚本使用了 CHECK_MODULE 宏， 而这个宏又调用了 pkg_check_
2017-03-16 09:40:18
10269
转载 匹配http url 正则表达式
local m, err = ngx.re.match(uri, [[^(?:(http[s]?):)?//([^:/\?]+)(?::(\d+))?([^\?]*)\??(.*)]], "jo")
2017-02-20 16:02:12
7616
转载 resume/yield
1.resume的参数resume函数除了第一个参数是协同程序外，还能继续传其他参数，如下代码：复制代码代码如下: local co = coroutine.create(function(name) print(name); end); coroutine.resume(co, "resume param");
2017-02-20 13:55:44
902
转载 lua select 用法
调用select时，必须传入一个固定实参selector(选择开关)和一系列变长参数。如果selector为数字n,那么select返回它的第n个可变实参，否则只能为字符串"#",这样select会返回变长参数的总数。例子代码：do function foo(...) for i = 1, select('#', ...) do //get the co
2017-02-20 13:36:47
1870
转载 使用一个简单的python脚本将一个本地文件以码流的形式，通过UDP协议发送到对端：
import socketimport osimport statimport structMAX_PACK_SIZE = 100DEST_IP = 'localhost'DEST_PORT = 17800filename = raw_input("input filename")filesize = os.stat(filename)[st
2017-02-04 10:24:59
3131
原创 redis keys && scan
redis 模糊匹配key，官方建议不要使用keys或smembers，他们的时间复杂度都是O(N),使用scan，zscan，hscan等。scan系列的时间复杂度都是O(1)
2017-01-16 10:41:20
1639
转载 父进程与子进程间通信的Queue问题
这样这个队列对象就可以在父进程与子进程间通信，不用池则不需要Manager，以后再扩展multiprocess中的Manager类吧关于锁的应用，在不同程序间如果有同时对同一个队列操作的时候，为了避免错误，可以在某个函数操作队列的时候给它加把锁，这样在同一个时间内则只能有一个子进程对队列进行操作，锁也要在manager对象中的锁from multiprocessing im
2017-01-11 16:02:21
1432
原创 lua mac地址转整数，去掉科学计算
--mac 转整数print(string.format("%d",tonumber("bc20ba918072",16)))--整数转macprint(string.format("%x","206848755073138"))
2016-12-15 19:29:56
2008
转载 Python之队列queue模块使用 常见问题与用法
python 中，队列是线程间最常用的交换数据的形式。queue模块是提供队列操作的模块，虽然简单易用，但是不小心的话，还是会出现一些意外。1. 阻塞模式import queueq = queue.Queue(10) #创建一个队列...... for i in range(10): q.put('A')
2016-12-09 11:04:44
6194
2
转载 待总结
FROM :https://groups.google.com/forum/#!topic/openresty/dxbBP84-hr0table.new(narray, nhash) 两个参数分别代表table里是array还是hash的 table.new(10, 0) 或者 table.new(0, 10) 这样的，后者是 hash 性质的 tableLua table 可
2016-11-10 19:33:54
728
转载 socket 实现最小化组播（多播）程序
组播是在局域网中向一个子网内加入了某个组播组的客户端发送批量发送数据，它类似于广播但并非广播，组播的地址有固定的几种，本案例中使用了239.0.0.2这个组播地址，具体实现代码分客户端和服务端，请参考：服务端代码#include #include #include #include #include #include #include #include
2016-10-21 20:12:32
1668
转载 gcc升级
今天又搞了一天，升级成功的那一刻，我都快感动得哭了。。。什么都不说了，都是泪。。。其实升级不难，真的一点都不难，重点是被自己人的文档坑了。。系统centos 6.3 32位 i386 自带gcc 4.4.6 升级到gcc 4.8参考：http://www.cnblogs.com/zhangtingkuo/archive/2013/04/06/3002982.html
2016-06-21 11:37:06
615
转载 system函数遇到的问题
这几天调程序(嵌入式linux),发现程序有时就莫名其妙的死掉,每次都定位在程序中不同的system()函数,直接在shell下输入system()函数中调用的命令也都一切正常.就没理这个bug,以为是其他的代码影响到这个,或是内核驱动文件系统什么的异常导致,昨天有出现了这个问题,就随手百了一下度,问题出现了,很多人都说system()函数要慎用要少用要能不用则不用,system()函数不稳定?
2016-05-26 10:46:21
4954
转载 lua 元方法
事件名与元方法仅表（table）类型值对应的元表可由用户自行定义。其他类型的值所对应的元表仅能通过 Debug 库进行修改。元表中的事件名均以两条下划线 __ 作为前缀，元表支持的事件名有如下几个：__index -- 'table[key]'，取下标操作，用于访问表中的域__newindex -- 'table[key] = value'，赋值操作，增改表中的域
2016-04-24 14:39:38
3531
转载 lua 元表与元方法
前言元表对应的英文是metatable，元方法是metamethod。我们都知道，在C++中，两个类是无法直接相加的，但是，如果你重载了“+”符号，就可以进行类的加法运算。在Lua中也有这个道理，两个table类型的变量，你是无法直接进行“+”操作的，如果你定义了一个指定的函数，就可以进行了。那这篇博文就是主要讲的如何定义这个指定的函数，这个指定的函数是什么？希望对学习Lua的朋友有帮助。
2016-04-24 08:35:46
511
原创 精确毫秒
#include#include#include #include int main(){struct timeval tv_now;bzero(&tv_now, sizeof(struct timeval));gettimeofday(&tv_now, NULL);//double time_in_mill = (tv_now.tv_sec)
2016-04-20 14:00:03
628
转载 Comparing the return, rewrite, and try_files Directives
https://www.nginx.com/blog/creating-nginx-rewrite-rules/
2016-04-11 17:57:20
373
转载 没看完，以后接着看
一 从TS流开始 数字电视机顶盒接收到的是一段段的码流，我们称之为TS（Transport Stream，传输流），每个TS流都携带一些信息，如Video、Audio以及我们需要学习的PAT、PMT等信息。因此，我们首先需要了解TS流是什么，以及TS流是怎样形成、有着怎样的结构。（一） TS流、PS流、PES流和ES流都是什么？ ES流（Eleme
2016-03-25 14:28:48
854
原创 Linux 访问日志统计某个字段并排序功能
cat t.log|grep 过滤条件|awk -F "分隔符" '{print $1}'| sort | uniq -c | sort -k 1 -n -r$1表示通过分隔符隔开之后你要统计的字段所在位置 经过uniq -c 处理之后的数据格式形如"2 data"，第一个字段是数字，表示重复的记录数；第二个字段为记录的内容。我们将对此内容进行排序。sort -k 1表示对于每行的第
2016-01-28 12:04:31
4374
转载 在Centos 5.x或6.x上安装RHEL EPEL Repo
epository，资源库，源的意思。RHEL EPEL(Extra Packages for Enterprise Linux) Repo是Linux发行版中最大的软件仓库之一，免费，丰富的软件包更新。安装步骤Centos 5.xwget http://dl.fedoraproject.org/pub/epel/5/x86_64/epel-release-5-4.noarch.r
2015-10-14 11:22:41
443
转载 lua 匹配
模式匹配函数在string库中功能最强大的函数是：string.find（字符串查找）string.gsub（全局字符串替换）string.gfind（全局字符串查找）string.gmatch(返回查找到字符串的迭代器)这些函数都是基于模式匹配的。与其他脚本语言不同的是，Lua并不使用POSIX规范的正则表达式[4]（也写作regexp）来进行模式匹配。主要的
2015-06-11 11:51:48
538
转载 m3u8多码率适配
在IOS device和mac上可以用http的方式进行分发，其中playlist标准为由m3u扩展而来的m3u8文件，媒体文件为MPEG2-TS或者AAC文件(audio only)。m3u8文件有两种应用场景：多码率适配流，#EXTM3U#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=1280000http://example.
2015-05-31 09:12:17
4529
svn说明文档
2012-12-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人