officercat-CSDN博客

原创 Spark的RDD连续转换操作有时需要注意强行触发action执行操作，否则（Tansformation）的惰性（lazy）机制会导致结果错误

最近通过spark做一些数据处理，遇到一些诡异的现象我开发了一个随机生成海量数据点的程序，因为要保证这些点具有自增序号，不适合直接map分布式做（几十亿的数据，map计算需要分区（不主动分区估计也会自动分区，spark自带的数据累加逻辑只能对单个partition分区内有效），需要在driver里进行序号计算，所以就想通过数组分批生成数据，转换成RDD，在依次拼接（union）起来，就是...

2018-08-27 22:56:16 3475 1

原创 MyISAM和InnoDB在工程实践中的选择

在网上看到一篇文章，这个文章说的我很赞同，InnoDB适合实时读写的频率数量及差不多的情况，也需要事务性，比如电商，社交平台。对于以查询为主的服务，尤其是数据量大读并发要求高（基于几亿甚至几十亿条的数据的查询），后台数据选用MyISAM引擎支撑的MYSQL表即可，这样可以提高查询效率，同时数据可以压缩少占不少磁盘空间。类似淘宝指数，云魔方等为商家提供用户/商品画像查询的应用，就适合MyIS

2016-01-04 17:23:38 932

原创 ab和jmeter进行GET/POST压力测试的使用心得和比较

ab就是Apache Benchmark的缩写，顾名思义它是Apache组织开发的一款web压力测试工具，优点是使用方便，统计功能强大。ab作为一款非常流行的压测工具，使用细节这里就不多介绍了，直接给出个人的使用体会：首先是安装，ubuntu和centos目前都提供自动安装命令（至少ubuntu 14， centos 6可以）ubuntu:sudo apt-get i

2015-11-20 14:57:13 36553 5

原创开发调试linux服务时几个好用的进程和端口查询命令组合和简单脚本(ps netstat awk grep)

这几天在搭建flume服务并在其框架下开发，反复调试输入命令让人不厌其烦，因此在这里记录一下自己找到的一些小技巧：首先，把自己的应用程序做成一个service是一个很好的选择，一个service就需要支持start 和 stop，start能启动程序，stop能找到start所启动的程序的进程并且关掉它。可以直接根据/etc/init.d/下的服务脚本来改，但我遇到了问题：因为那些系统服务

2014-11-05 17:01:15 3986

原创执行Git命令时出现各种 SSL certificate problem 的解决办法

比如我在windows下用git SSL certificate problem: self signed certificate

2014-10-11 10:45:40 118625 16

原创 JS和JQuery中如何获取和修改控件显示内容（如lable，div，h1)

查了很多资料，发现有些不适用，不知道是不是和JS版本有关系，最早

2014-10-09 19:15:02 19724

原创基于CPPCMS的web应用启动载入.js配置文件时遇到'Invalid or unsupported char set : utf-8"

编译cppcms官方文档里“Hello World” 例子cppcms.com/wikipp/en/page/cppcms_1x_tut_hello

2014-09-28 14:56:51 1789

原创 Windows Visual Studio下安装和使用google test（gtest）

http://blog.csdn.net/officercat/article/details/39299553

2014-09-27 23:40:01 21024

原创 python多线程在socket编程中的应用（代码范例）

之前在《Python实现socket信息发送和监听的简单代码示例》

2014-09-24 23:38:00 2896

转载 "error while loading shared libraries: xxx.so.x" 错误的原因和解决办法

"error while loading shared libraries: xxx.so.x" 错误的原因和解决办法

2014-09-24 19:01:26 1495

原创 Linux/CentOS 升级C基本运行库CLIBC的注意事项（当想解决GLIBC_2.x找不到的编译问题）

在你准备升级GLIBC库之前，你要好好思考一下，你真的要升级GLIBC么？你知道你自己在做什么么？

2014-09-24 10:32:42 94760 37

原创 Linux下GLIBCXX和GLIBC版本低造成的编译错误的解决方案

最近在给编译环境centOS 6.5安装新版clang （clang 3.4/3.5)的时候，虽然已经装了gcc 4.9.1，但/usr/bin/../lib/libstdc++.so.6: version `GLIBCXX_3.4.15' not found (required by clang++)/lib/tls/i686/cmov/libc.so.6: version `GLIB

2014-09-24 09:32:29 39336 4

原创宏Macro定义代替常用语句块的示例（计时）

/** * platform: win32, visual studio2012; Linux, gcc4.8.2 * Define some macro to replace the frequently-used code block */ #ifndef _MYMACRO_H_ #define _MYMACRO_H_//Do_A

2014-09-17 14:46:11 1615

原创 Python实现socket信息发送和监听的简单代码示例

最近在研究boost C++库，用于工作中处理大规模高并发TCP连接数据xiang

2014-09-16 23:31:56 43978 3

原创 Linux下Google Test测试环境安装和使用，实战总结

google test(libgtes)是由谷歌开发的一款基于xunit框架的跨平台单元测试框架，C#上的NUnit，Java的JUnit写单元测试非常容易，也不乏可视化工具与IDE集成插件，深受喜欢测试区洞开发的程序员的喜爱。但对于C++来说，写测试就看着麻烦一些。但如果用习惯了，google test还是不错的。google test更多的信息这里就不赘述了。下面根据我的实践，总结以下安装和第

2014-09-15 22:22:21 13980

TA关注的人

officercat的专栏