zc02051126-CSDN博客

原创 docker学习

将宿主docker映射到容器中docker run -it -d \–restart=always -u root -v /usr/local/bin/docker:/usr/local/bin/docker -v /var/run/docker.sock:/var/run/docker.sock –name op1 bfaa130cc8e6 /bin/bash

2021-01-24 22:46:15 268

翻译共享库：理解动态加载

https://amir.rachum.com/blog/2016/09/17/shared-libraries/#runtime-search-path

2018-03-07 11:28:23 754

原创如何将C++编译好的so文件打包到jar包中

gcc/g++命令参数中文帮助手册: http://blog.csdn.net/zc02051126/article/details/48678983Linux下so动态库查看与运行时搜索路径的设置: http://blog.csdn.net/renwotao2009/article/details/51398739cmake实战 https://www.cnblogs.com/52...

2018-03-03 00:08:20 6044 1

1 背景Xgboost在各种排序场景中有广泛的应用，离线训练一般在Spark平台或者单机环境执行。训练好的模型用到线上预测时一般要根据自己的环境重新开发预测代码，例如，如果时Java环境，则需要用Java开发预测代码。主要原因是Xgboost提供的预测模块不支持多线程，本文介绍如何修改C++代码，使其符合线上预测要求。下面将根据实际探索过程逐步介绍如何将xgboost4j的Java接口修改成符...

2018-03-03 00:04:37 4692 15

原创 Xgboost安装

1 基本环境配置Xgboost安装需要基本的环境支持，gcc，cmake，Python，它们的版本要求如下gcc>=4.8，因为需要C++11支持cmake，安装最新的即可Python，安装2.7版本2 各个环境安装gcc安装从https://gcc.gnu.org/mirrors.html下载>=4.8版的源码，解压，进入到源码所在的文件夹，编译，安...

2018-02-11 15:55:33 2011

转载 Spring教程

Spring教程：http://www.yiibai.com/spring/spring-tutorial-for-beginners.html

2018-01-20 15:54:02 926

原创 Thrift基本应用

https://www.jianshu.com/p/10b7cf0a384e https://thrift.apache.org/tutorial/java https://www.jianshu.com/p/397d7b278e65Thrift创建步骤服务端编码基本步骤实现服务处理接口impl创建TProcessor创建TServerTransport创建TProto

2018-01-20 10:25:57 410

原创 Xgboost中需要注意的点

1 简介Xgboost是目前非常流行的机器学习模型，它属于集成学习中的boosting方法，在多种竞赛场合取得非常好的成绩，在工业界也有广泛应用。它和一般教科书上的讲解的梯度树在理论推导上有较大不同，陈天奇在其分享的ppt《Introduction to Boosted Trees》和发表的论文《XGBoost: A Scalable Tree Boosting System》中详细介绍了Xgb的理

2018-01-18 12:35:21 11942 4

原创 More Effective C++在leveldb中的体现

2 构造/析构/赋值运算条款7：为多态基类声明virtual析构函数在leveldb中只要是基类的声明中，都把析构函数声明成virtual的，如MemTableIterator的基类Iterator中将析构函数声明成virtual ~Comparator();在InternalKeyComparator的基类Comparator中也将析构函数声明成虚拟的virtual ~Comparator()

2017-09-04 22:30:24 597

翻译梯度下降法概述

ref:http://sebastianruder.com/optimizing-gradient-descent/index.html#gradientdescentvariants1 三种梯度下降法2 梯度下降法存在的问题3 几种改进的梯度优化方法4 分布式随机梯度下降法5 梯度下降法常用策略

2017-06-02 16:32:00 719

原创笔记本

Protocol Buffer 序列化原理解析：https://mp.weixin.qq.com/s/YLQKkH_bV99o5U65iOGFpQ从构造函数看线程安全： https://mp.weixin.qq.com/s/O_k-ox5BgU8dTFRo4q7ZYwThe magic of python decorators：https://jasonmbaker.wordpress.com/

2017-05-14 09:29:33 508

原创笔记本

Deep Learning System: http://dlsys.cs.washington.edu/

2017-05-14 09:24:45 387

原创 Java并发编程-2 对共享资源的访问控制

如果有多个任务同时对同一个资源进行操作，如读写。那么就会存在对共享资源的访问控制问题。例如在火车购票系统中，有多个用户同时购买同一班次的火车票，如果不进行控制，就会出现提交订单时有票，付款时票被别人买走了，所以要在某个用户提交订单到交易完成这段时间内对某张票进行控制，不让其他用户再次购买，这就是并发编程中的加锁问题。在Java中常用的对共享资源的访问方式有如下几种。1 Java中的synchroni

2017-05-07 11:54:18 1105

原创 Java并发编程-1 基本线程机制

1 线程构造方法方法1：通过Runnable接口描述线程任务实现Runnable接口中的run方法public class RunnableThread implements Runnable { public void run() { //Thread.MIN_PRIORITY,Thread.NORM_PRIORITY,Thread.MAX_

2017-05-03 23:17:42 347

转载笔记本

@酷勤网-程序员的那点事《Linux进程管理之“四大名捕”》本文四大名捕由linux命令所出演无情：ps 出演；铁手：dstat 出演；追命：top 出演；冷血：htop 出演。http://www.kuqin.com/shuoit/20160524/352158.html

2017-03-27 10:57:06 429

转载笔记本

@酷勤网-程序员的那点事《高并发性能调试经验分享》在多线程和高并发环境下，如果有一个平均运行一百万次才出现一次的bug，你如何调试这个bug？http://www.kuqin.com/shuoit/20160617/352395.html@慕课网IT技术分享#【JAVA多线程和并发基础面试问答】： O网页链接多线程和并发问题是Java技术面试中面试官比较喜欢问的问题之一。在这里，从面试的角度

2017-03-27 10:55:26 439

转载笔记本

@酷勤网-程序员的那点事《「理解HTTP」之常见的状态码》状态码的职责是当客户端向服务器端发送请求时，描述返回请求结果。借助状态码，用户可以知道服务器端是正常处理了请求，还是出现了什么错误：http://www.kuqin.com/shuoit/20160530/352248.html

2017-03-27 10:53:42 471

原创 DL在推荐系统中应用

预测在线用户行为的深度学习算：https://arxiv.org/abs/1511.06247v1 《Predicting online user behaviour using deep learning algorithms》@洪亮劼今天我们来读一篇WSDM 2017的文章，作者群来自Alex Smola的实验室和Google Research。文章的核心内容很直白简单，那就是想尝试把De

2017-03-24 17:21:30 989

原创深度学习在分词上的应用

https://mp.weixin.qq.com/s?__biz=MjM5ODIzNDQ3Mw==&mid=2649966433&idx=1&sn=be6c0e5485003d6f33804261df7c3ecf&chksm=beca376789bdbe71ef28c509776132d96e7e662be0adf0460cfd9963ad782b32d2d5787ff499&mpshare=1&s

2017-03-18 18:46:03 1456

原创 nginx事件模块执行过程

1 ngx_event_core_module模块定义在如下的ngx_event_core_module模块定义中有两个回调函数，这两个回调函数就负责初始化套接口ngx_event_module_init, /* init module */：在ngx_init_cycle的ngx_init_modules(cycle)函数中调用ngx_event_process_init, /* init p

2017-03-08 22:27:37 1048

原创 nginx事件模块解析

1 事件模块基本配置static ngx_command_t ngx_events_commands[] = { { ngx_string("events"), NGX_MAIN_CONF|NGX_CONF_BLOCK|NGX_CONF_NOARGS, ngx_events_block, 0, 0, NULL }, ngx

2017-03-05 15:16:20 540

转载 Git使用指令笔记

git add ./*git statusgit commit -m "add some update"git push origin master第一次推送分支必须加--set-upstreamgit push --set-upstream origingit branch -vvgit remote -v

2017-02-09 15:46:07 334

原创机器学习基础第七章推荐系统

7.1、推荐系统概述如何在学习爆炸的时代找到自己需要的信息？搜索引擎（Google，Bing，百度等等）成为大家快速找到目标信息的最好途径。在用户对自己需求相对明确的时候，用搜索引擎很方便的通过关键字搜索很快的找到自己需要的信息。但搜索引擎并不能完全满足用户对信息发现的需求，那是因为在很多情况下，用户其实并不明确自己的需要，或者他们的需求很难用简单的关键字来表述。又或者他们需要更加符合他们个人口味和

2017-01-27 13:29:12 1030

原创机器学习基础第六章模型选择

1 模型选择方法下图是不同阶多项式回归问题，从中可以看到不同的M取值所对应的不同效果，M=0和M=1时都是欠拟合，M=9多拟合，M=3时多项式回归模型刚好合适，在实际应用中不能将每个模型都画出来进行观察。在模型选择中如何才能得到一个不过拟合也不欠拟合的模型？将数据集分为：训练集，交叉验证集，测试集。对于每个可能的模型，用训练数据训练模型然后在训练好的模型上做交叉验证，在所有的模型中选出交叉验证结果最

2017-01-27 09:47:28 796

原创机器学习基础第五章降维算法

五降维算法1 主成分分析（PCA）1.1 主成分应用从第二章的图1.1.1中能看出来哪部电影的人气指数最高吗？当然是票房比较高或者检索次数比较高的电影人气指数要高。如何用主成分来分析人气指数哪？沿着数据跨度最大的方向，即方差最大的方向画出一条坐标轴，然后将原始的数据投影在新的坐标轴上，投影后值越大代表综合人气指数最高，见下图。下面会以一个例子演示如何计算主成分，及其相关应用。图1.1.1 各个

2017-01-27 09:32:25 942

原创机器学习基础第四章聚类算法

聚类算法是无监督学习算法，对于没有打上标签的数据，可以采用聚类算法。下面介绍两种常用的算法KMeans和谱聚类。1 Kmeans假设有数据集合 {xi}\left\{ x_{i} \right\}，1≤i≤N1 \leq i \leq N ，xi∈Rnx_{i} \in \mathbb{R}^{n}，如果想把该数据集合分成k个类，应该如何划分？这就是聚类问题。例如有如下二维数据（以二维为例方便展示）

2017-01-26 20:57:06 1288

原创机器学习基础第三章分类算法

1 线性分类器-感知器1.1 感知器有如图1.1所示的两类数据希望找到，如果想把他们分开，最简单的方法就是用图中的绿线将它们分开。显然绿线的方程为t=ω0+ω1x+ω1y−−−−−（1.1−1）t = \omega_{0} + \omega_{1}x + \omega_{1}y-----（1.1-1）假设红色点为 {xr,yr}\left\{ x_{r},y_{r} \right\}，绿色点的集合为

2017-01-25 13:36:26 4004

原创机器学习基础第二章预测算法

1 一元线性回归1.1 为什么用回归图1.1.1 Google的票房与搜索量的关系图1.1显示的是Google发布的电影的搜索量与票房的关系。如何用历史的信息预测票房就是（线性）回归问题。1.2 一元线性回归模型1 数学描述图1.1.1中的横、纵轴分别用用{xi,yi}图1.1.1中的横、纵轴分别用用\left\{ x_{i},y_{i} \right\}表示，表示，1≤i≤N。假设图1.1中使

2017-01-24 18:03:55 14836 1

原创机器学习基础第一章机器学习概述

一机器学习概述1.1 统计学习1 学习方法监督学习，非监督学习，半监督学习2 统计学习三要素模型，策略，算法1.2 监督学习1 基本概念输入、输出空间，特征空间，假设空间2 监督学习过程 1.3 模型评估与选择1 训练误差与测试误差 2 过拟合与正则化 3 交叉验证4 评价指标准确率和召回率1.4 模型的泛化能力即预测模型对样本的预测能力

2017-01-24 16:47:49 812

原创 Nginx函数ngx_single_process_cycle学习笔记

ngx_cycle_t=ngx_cycle_s ngx_cycle_s的定义如下，下面介绍的函数中有一个重要的ngx_cycle_t类型的参数cycle，所一写介绍下它的类型结构。struct ngx_cycle_s {void ****conf_ctx;ngx_pool_t *pool;ngx_log_t

2017-01-19 22:54:01 1677

原创基于域的分解机(FFM)理论介绍及libFFM源码解析

符号说明：x表示样本特征数据x表示样本特征数据y表示样本目标数据y表示样本目标数据第i个训练样本为(xi,yi)，为了方便也可以用x=xi表示第i个样本第i个训练样本为\left( x_{i},y_{i} \right)，为了方便也可以用x =x_{i}表示第i个样本1 基于域的分解机模型（FFM）1.1 线性模型∅(w,x)=wTx=w0+∑j∈C1wjxj−−−−(1)\varnothi

2017-01-19 12:00:04 11506 8

原创对抗网络在文本生成图片中的应用

1 简介利用神经网络可以从文本生成图片，即将文本的语义转化为图片; 也可以从图片生成文本，即生成的文本描述图片中的内容，例如一幅图片中有一直小鸟落在枝头。最后由图片生产的文本就可以能可爱的绿色小鸟落于枝头。在计算广告中这种文本和图片之间互相生成的过程非常有用，如果可以在工业界有所突破，他们在广告创意的制作中将会发挥巨大作用，例如选定一个创意标题，立刻得到了创意图片，当制作完成了创意图片时也立刻得到了

2017-01-16 22:55:49 8664

原创 Nginx两种反向代理方式：fastcgi，upstreaming

1 简介Nginx反向代理可以通过两种方式实现，fastcgi和upstreaming2 fastcgi该部分以PHP为例介绍通过fastcgi实现反向代理。 fastcgi相关介绍见这里首先安装Nginx和PHP环境。建议使用https://lnmp.org/ 。一键安装，非常方便。安装完成后，找到配置文件/usr/local/nginx/conf/nginx.conf。在配置文件中找到in

2017-01-15 10:30:20 8069

原创 CTR模型中的频率矫正过程

1 简介在用不对称数据训练一个预测模型时，比如在训练广告的CTR模型时，训练数据就严重正负样本不对称，负样本可能是正样本的几百倍，对于这种问题，常用的做法是对负样本进行采样，将采样后的负样本和正样本一起作为训练数据。但是这样的训练数据训练出的模型预测概率会比实际的概念要打，以为对负样本采样导致训练数据的分布和原始数据的分布不一致了。所以在预测时要对模型预测出的概念进行矫正。下面介绍采样前后的概念关系

2017-01-12 16:30:48 5010 3

转载 What are the lesser known but useful data structures?

http://stackoverflow.com/questions/500607/what-are-the-lesser-known-but-useful-data-structures

2017-01-09 10:35:33 418

转载 Datastructures for external memory

http://blog.omega-prime.co.uk/?p=197

2017-01-09 10:32:01 367

转载并发编程中的术语总结

线性一致性(Linear consistency)，串行一致性(或顺序一致性Sequential consistency)，静态一致性(Quiescent consistency)。 https://jnxnj.wordpress.com/2009/01/30/%E7%BA%BF%E6%80%A7%E4%B8%80%E8%87%B4%E6%80%A7linear-consistency%EF%BC

2016-11-20 11:29:37 690

转载第3章硬件极其行为

3.1 Overview3.1.1 CPU流水线在20世纪80年代，典型的微处理器完整处理一条指令要经过，获取指令，解码指令，最后执行指令，需要花费至少三个时钟周期完成一条指令。到二十世纪90年代时，通过引入深度流水线技术控制CPU内部的指令流，CPU可以同时执行多条指令。流水线技术可以极大的提升CPU性能。为了获取CPU的高性能，流水线技术需要具有强大的控制流的预测能力。例如，矩阵和向量计算这

2016-11-19 22:38:55 482

转载微博记录

1//@phunter_lau:太厉害了//@爱可可-爱生活: //@尘绳聋: 在Ensemble大行其道的环境下，如何single model，10个特征，2000+队伍，进入Top31 @爱可可-爱生活《Home Depot Product Search Relevance, Winners’ Interview: 3rd Place, Team Turing Test | Igor, K

2016-08-31 23:08:09 625