- 博客(70)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 debug com对象的release计数
<br />以前没有接触过com编程，这段时间的项目用到了dshow，在调试的时候发现程序长时间运行的时候，句柄和线程数一直在不断的上涨。猜测是com对象没有释放导致的。<br />调试的时候可以跟到release函数，看汇编可以猜出来哪个地方是判断reference计数的。如果不正确，就仔细检查它的使用。我犯得错误是在createInstance里面new了一个新对象，然后又addref了，实际上createInstance的调用者会addref，在里面就没有必要了。还有使用filter graph的时候
2011-06-02 19:14:00
729
原创 db svr 终于完工
这几天终于把db svr侧的程序完全调通了。一开始测试长时间的流量，总有问题，仔细分析日志发现是mysql在执行load的时候没有关闭FIFO，导致程序下一次打开的时候（两次间隔非常短）返回成功，以为是新的load命令载入，是加上还是上一次的。等到mysql做完load关闭FIFO的时候，程序再往里面写的话就出现的errno为EPIPE的错误。解决的方法是利用两个sem来做同步。之后长时间的测试一直没有问题。 现在还得帮助leader调试reader，也是问题一大堆。只是老大很浮躁，呵呵。也是，他老人家事
2010-07-14 17:06:00
892
原创 UT
经过两个星期的奋战，代码初步完成雏形。中间由多进程改用多线程，采用同步信号处理方式，loader按需调用的方式花费了大量了精力，对了，还有FIFO的打开和关闭。最终的程序只有一个进程，主进程根据数据库的配置，起若干个station线程，然后监听网络；station线程初始化两个loader实例。当有服务请求时，主进程起service线程响应，service线程根据数据包的属性将其分发到不同的station线程上面，此时适当的loader实例会再起一个线程负责query以及和station线程进行交互。
2010-06-29 23:23:00
740
原创 澄清需求真是很痛苦的事情
特别是你的“客户”也不知道自己的需求是什么的时候！所以有了敏捷开发，唉，关键是老大允不允许在这个关键特性上来个敏捷呢？
2010-06-24 11:19:00
2716
原创 这几天用多线程
系统正式开发有大半个月了，由于有非常多的loader需要同时运行，所以选择多线程来实现。伺服进程M首先创建若干个S进程；如果有服务请求到达，M创建服务线程E。E和S之间用FIFO用以传递数据。当有数据到达之后，E通过FIFO传给S，S启动一个线程Loader（Loader和S之间也是FIFO）。由于Mysql的loader命令如果成功执行的话是一直阻塞的，只有出错的时候才立即返回，所以S主线程和loader线程很不好同步。所以我已开始使用block模式操作S与loader之间的FIFO出现了问题。当load
2010-06-21 23:55:00
668
原创 像老外学习
平时和老外打交道比较多，对老外的印象一直不错，但是对某些同事和老外交往的时候的一些方式不是很认同，觉得有些奉承。其实老外看重的还是实力，并且他们的实力确实很厉害。 前两天在弄oracle和IB的性能测试，我写的脚本比较简单，并且没有加入统计的功能，各组query的时间还得自己取几个样本，当时嫌麻烦没有写脚本自动生成。今天看到了老外在IB上测试脚本输出：真是漂亮！各种query的情况一一列
2010-05-24 22:58:00
550
原创 有道难题
网易的有道难题比赛又开始了，今天刚从家里回来，闲来没事，刚好可以看看这写东西唤醒一下记忆。 看的是09年的题目，第一道题比较简单，第二题和第三题的话就有些难度。前两道题比较有代表性吧，可以先实验几个例子，从中找出规律和特例即可。第三道题我想了一会儿，没有头绪，第一是觉得概率算得似乎不对；第二是未知量太多，觉得无从下手。稍微看了下后面的解释，有点豁然开朗的感觉。关键是思路，这个可以作为动态规划的典
2010-05-15 00:51:00
611
原创 我们正进入另一个黑暗和无知的时代----《三联生活周刊》 (转载)
美国埃默里大学的英语教授马克·鲍尔莱因写了《最愚蠢的一代》，就得罪了8700万美国年轻人。 在书中，他提出一个让美国教育界困惑不已的问题：在整个人类历史上，知识从来没有像现在这样普及过：图书馆、博物馆、大学、历史频道、维基百科、《华尔街日报》、《纽约时报》，一切都在你的鼠标下，但我们没有看到年轻人，至少是美国年轻人，包括高中生和大学生，在历史知识、公民意识、阅读成绩、国际竞争力方面的提高。为什
2010-05-02 17:41:00
1482
原创 工作中的一点小总结
1 中午同事过来问mysql里面插入二进制数据的问题。以前弄过，可惜都忘了，只好重新查了下邮件。这里还是记下来当时的调查：1) 利用api里面的prepare函数，这种方法我觉得比较适合于再程序里面批量插入数据；2) 将二进制数据转换成16进制，加上0x表示，这个因为要单个处理全部的二进制数据，但是不需要设置prepare函数的诸多参数，比较适合单个的插入。我记得当时我用的是prepare函数
2010-05-02 17:40:00
622
原创 完成大部分工作
今天一天时间，完成的数据抓取的大部分工作和数据库的自动建立工作。配置是一个问题，合理组织文件结构，让理解上更符合逻辑花了一点时间。Python好久没有用，语法又有一点忘记了。在c，c++，python，shell上跳跃真的是很累。
2010-04-25 21:25:00
724
原创 PK ACM 1021
下午闲来没事，做了到北大ACM的题目，题目不难，就是有些工作量，当然我的也没有进行进一步的优化，通过就好。下面是原题：DescriptionThe 2D-Nim board game is played on a grid, with pieces on the grid points. On each move, a player may remove any positive numb
2010-04-18 00:14:00
910
转载 摘自http://zhidao.baidu.com/question/120216130.html的const若干使用问题
#include #include using std::cout; using std::endl; void changeValue( const int *a ); int main() { //test 1 const int test = 9; changeValue( &test );
2010-04-09 12:23:00
981
转载 c++专题: const(转自http://blog.csdn.net/foxbillcsdn/archive/2006/05/24/752310.aspx）
1.1. 简述 const关键字的最初动机是取代预处理器 #define 进行值替代。用C语言进行程序设计时，预处理器可以不受限制地建立宏并用它来替代值。因为预处理器只做文本替代，它既没有类型检查思想，也没有类型检查工具，所以预处理器的值替代会产生一些微小而且往往是很难察觉而让程序员郁闷很久的问题，这些问题在C + +中可通过使用c o n s t而避免。 之后const又被
2010-04-09 10:57:00
736
原创 挖掘频繁模式、相关和关联（1）
频繁模式（Frequent Pattern）是频繁出现在数据集中的模式（如项集，子序列和子结构）。频繁模式一般可以用关联规则表示如何判断模式是否频繁，有两个基本的度量：支持度（support）：该模式在所有被考察的对象中的占比，表示了该模式（规则）的有用性；置信度（cofidence）：由规则的前因推出后果的可信度，表示了规则的确定性；设规则为A->B，则支持度和置
2010-04-07 00:07:00
7586
1
原创 生活琐事太多
这几天的生活琐事太多，预定的几个总结:Scrum开发和频繁集挖掘都没有下文，这个周末前要搞定。这几天测试了下原型在长时间大流量的情况下的处理，发现速率没有丝毫降低，性能一直很稳定。然后测试了一下删除性能，不是很理想，当然主要是IB的问题。从现有的测试来看，IB有些特性实现得似乎不是很稳定。今天美国那边的架构师建议我们测试query的性能，他发现现在的schema里面有union all，导
2010-03-30 23:35:00
1048
原创 agile开发培训
这两天得参加一个敏捷开发的培训。培训师是一个美国人，还是哈佛的研究生，这可是这辈子第一次见到一个活的哈佛人啊，呵呵！老兄一上来就和中国套近乎，再次印证了美国人“虚伪”的观点。 老师首先打击了一下原来的瀑布开发流程的弱点：很难应对需求的变更，不容易与客户澄清需求的理解，可交互性差，参与性差，很多的文档实际上发挥不了持续的作用。稍后开始了好几个游戏，可以说是玩了一天的纸飞机。PPT里面最主要的就是那
2010-03-23 23:04:00
1257
原创 进展缓慢
今天也就是把创建数据库和表的脚本完成了，因为当时授权的时候对root和user都设置的权限，所以在用脚本的时候老师提醒输入密码，也就是在解决这个的过程了，总算是实打实的学习了shell的here document和expect命令。 here document特性指的是shell可以“重定向”名列序列到一些交互式的程序，比如ftp之类的；expect命令则可以依据脚本与交互式程序交谈。两者各有千
2010-03-22 22:27:00
778
原创 多线程、多进程？
这几天在思考如何改进原型在多个客户端的情况下的性能，特地温习了一下多进程和多线程的一些知识。在linux下进程的进程和线程在内核看来区别很小，都是一个可调度单元，都拥有内存管理结构等等。但是关键的差别是进程的资源都是私有的，而线程则是和别人共享的，所以线程的上下文切换可能比进程的开销要小很多，而进程则更加的安全，因为线程有可能会破坏或者说“窃取”别人的数据。因此，进程间通信IPC的几个手段，比
2010-03-19 15:51:00
1401
原创 充满激情的斗争
中午工会组织大家开了个会，全面都很平静，只有最后一兄弟才激情昂扬地说出了我们大家的心愿，赢得热烈的掌声：我们一定要有实际的action，资本家才可能尊重我们的意见，YES! 本来打算测试oracle的存储效率，结果本地的系统被破坏了，整了半天也没弄好，只好求助那个app方面专家，等人家回复的时候已经是下班时刻了。空余时间基本上就花在报销上面。 快走的时候抓起《敏捷开发与实践？》粗略地扫了几眼，
2010-03-17 22:59:00
1381
原创 一台上面的性能出奇的好，但是为什么没有线性关系
上午将lab里面五台机器从sles9全部升到了sles10，过程还算顺利。下午开始测试IB和APP在同一台机器的情况，发现load的效率有1万多条每秒钟，而昨天6台机器往一台server上feed的效率才达到3万多，也就是说server模式下，多台机器的效率只有各自的一半左右。 分析后觉得管道是瓶颈。server模式下，多个服务进程会往一个FIFO里面写数据，各个进程在工作时是独占的。至于ser
2010-03-13 00:37:00
473
原创 nice day
一个多月的努力终于见到了成果，原型在lab上的测试结果很不错，如果将feed配置成splitter模式的话会更好，也许。下午的architecture的会议还算是成功，对数据都比较满意，不过也提出了一些新的东西需要更多的测试。这个可以等到回国以后慢慢来弄。至少DEF应该是可以过了，还好没哟延期，不然就罪责大了。 下午继续lab的升级，还是和上次一样，rpm全部装好了以
2010-03-12 02:23:00
449
原创 变化的一天
还是昨天的问题，上午和相关的人一起讨论了一下吗，还是只有一条路可走，为TM单独出一个lib，为他单独管理共享内存。经过我们的一再“挖掘”，TM的leader也总算是像我们解释清楚了为何他有这个特殊的需求：TM的两个process之间共享一大块的内存，初始部分是一个结构体，这个结构体里面含有指针。在进程A里面指针的值是A的，要想在B能正常解析出这块内存的内容，就必须使得它在A和B虚拟空间中attac
2010-02-06 02:13:00
485
原创 进展不大
上午在整lab，tester搞了半天也没有按照我的要求配置好，有点怀疑其能力了。最后用一个基本没有什么作用的配置凑合着先用，谁知道还是不行，弄了半天才发现是leader上次check in的时候多删掉了一行，简直晕倒啊！ 都弄好已经是下午3点多了，花了将近1个小时才搞定系统启动时的配置执行顺序。真正的测试时间没有多少，基本的结论就是还得再原来的方案上改。单纯利用ld的script file虽然能
2010-02-04 23:09:00
408
原创 哎，黄牛党也不可靠
今天没有什么进展，只是用“ld -- verbose”导出默认的script file，然后再section的第一句里面更改默认的起始地址。只是在更改我们的编译系统花了些时间。 回家难，找黄牛！这几年基本上都是靠黄牛党才买到回家的票。今天约好去取票，临近了交易时间却告诉我卖光了，真不守信用啊！
2010-02-03 22:10:00
685
原创 需要好好看看ld的script file了
今天按照计划把原型推翻重新写了一遍，基本上还算顺利，但还是有些问题花了我不少的时间。 首先是fork之后，父进程需要记录子进程的pid，一遍在收到SIGCHLD信号时进行跟踪管理，没想到有时候子进程异常退出非常快，使得pid没有被记录到。虽然知道fork之后父子进程间的执行顺序是没有保证的，但是以前的应用可能不是很复杂吧。最后的方法是在子进程里面先sleep(1)保证父进程先得到执行的机会。这可
2010-02-02 23:10:00
623
原创 过度设计
这几天在设计应用的原型，一直想的是如何解耦和应付后面的多进程应用，所以设计的时候用了很多的接口编程。这个还算是不错。难点在reader/writer之间的同步：writer需要在reader空闲的时候通知他可以读，reader则需要在没有任务的时候等待；两者交换数据用named pipe；reader包括一个IB（mysql）的“load”语句，使用named pipe。一开始很容易想到使用信号量
2010-02-01 22:41:00
646
原创 浪费一天时间
今天整了一天的virtualBox，ubuntu。真的是很麻烦，决定这一次以后再也不瞎整了，真麻烦！本来打算今天能把基本功能实现了的，这样看来又得拖一周时间了。
2010-01-31 22:12:00
1236
原创 看“头脑风暴”
上午偶然看到了东方财经的“头脑风暴”，里面放的是360、淘宝、互联网实验室的老大和两个VC、一个中科院的人在一起风暴：互联网存不存在免费的午餐。大家都在努力说服对方，不知道这样是否能叫交流哦（我感觉交流要相互部分接纳对方的部分观点，否则怎么叫做交呢），反正最后大家还是坚持自己的观点，说服别人真的很难。我现在也就只记得些只言片语了。 我还是同意360老总周说法的，互联网基础服务可以免费，因为这个基
2010-01-30 22:46:00
691
1
原创 另外一道题目：点菜
这个的原体比较长，方便起见，也摘抄在这里吧。饭团的烦恼 “午餐饭团“是百度内部参与人数最多的民间组织。 同一个部门的，同一间大学的，同一年出生的，用同一种型号电脑的，员工们总是以各种理由，各种借口组织各种长久的，临时的饭团。 参加饭团，不仅可以以优惠的价格尝到更加丰富的菜式，还可以在吃饭的时候和同事们唠唠嗑，吹吹水，增进感情。
2010-01-09 23:28:00
737
原创 无聊，做了几道baidu之星的题目
baidu之星以前参加过，那个时候只是懂c，对c++的stl不是很熟悉，记得当时做的时候还花了很多的时间在调试链表操作，很是狼狈。今天恰好没有什么事，也就从网上看了几道题目，尝试做了一下。下面是第一道题目：有 N 个人，分成 M 组（2比如有ABCD四个人，如果分2组，{ABC}{D}要打3场，{AB}{CD}打4场， 分3组{A}{B}{CD}打5场，分4组{A}{B
2010-01-09 22:57:00
936
原创 [Dajngo]初学
这两天把django在虚拟机上安装了下，看完了turial，感觉还不错，基本上都能理解。对django的model，url，template都有了一点点的认识。数据挖掘目前来看可以接触到得就是互联网的应用，希望自己能把设想变成现实。
2009-12-20 23:33:00
563
原创 [OT]呜呼
这几天的心思基本上都在我周末的那个创意上，前两天觉得有点意思，可以尝试做一下。这几天又突然觉得不行，干不过现有的网站。晚上在smth上瞎逛，竟然发现有位老兄在几年前就有了我这个点子，不过看了一下他的网站，却不像是有了两年开发推广的样子。执行力第一啊！我能执行下去吗？
2009-12-16 23:39:00
467
原创 [agile开发] OCP 关闭开发原则
如果程序中的一处改动导致一系列模块的改动，那么程序的设计就比较的僵化。重构就是必要的。理想的状况是只需要添加新的代码而不需要改动现有的，或者极少。现在有一些策略可以帮助我们接近这个美好的目标。 关键是抽象，如果模块依赖与一个固定的抽象，那么其对未来的改变可以是关闭的。在设计模式中，stratege 和template method模式可以做到这一点。但是这里的问题只有决定了对什么或者说怎么样抽象
2009-12-15 18:16:00
644
原创 这几天的学习
每天都得在白天的工作主题和晚上的数据挖掘主题之间切换，挺累！ 前几天花了几个晚上把SVM的简单应用看了一下，几天想起来，再去看看时发现已经忘得差不多了。而是又捡了起来，大致看了下，并且在书上面好好的记了些总结，期望以后捡起来能舒服些。
2009-12-06 19:50:00
512
原创 [_数据挖掘_] 决策树实现
参考"collective intelligence“相关章节的实现。 决策树使用广泛，对于理解内在的推理过程非常有帮助，非常适合那些属性是类别值的，或者数字属性有breakpoint的应用场景。但是缺点是不适合输出较多，元组的类别由多个属性的复杂组合决定的情况（比如说输出由两个属性的差值来决定）。 决策树由自上而下的递归算法来实现。下面是书中的实现的伪码，和经典的算法稍微有些差别，毕竟这是正
2009-11-22 15:24:00
211
1
原创 [_数据挖掘_] SVM学习
SVM也许是最近开始被人们关注的一种较有前途的分类方法。准确地说是一种算法，一般有以下两个步骤： 1）将数据映射到较高的维； 2）在新的空间搜索线性最佳分离超平面。 对于在原有空间就线性可分的数据不需要进行非线性映射，否则就需要映射到较高的维之后进行分类。因为SVM可以对复杂的非线性决策边界的建模能力是高度准确的，并且和其他的模型相比，不太容易会出现过分拟合的情况，所以被应用到许多的领域，比
2009-11-21 10:29:00
2046
原创 [_数据挖掘_] 决策树
分类是数据挖掘的一个非常重要的主题，现实中的很多问题都和分类密切相关。我们日常正是因为有了分类技巧，才能对不同的事物、场景采取不同的应对方式。 数据分类可以看做是一个两步的过程。第一步是学习过程，我们根据所需要分析的问题和数据建立一个分类器classifier。用我们选择好的训练元组对分类器进行训练，如果训练元组中已经包含了各样本的类标识号，也就是说知道了样本的类别，则称为监督学习，否
2009-11-15 23:35:00
1603
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人