苏湘的专栏

原创 大型分布式服务解决方案系统性梳理（待完善）

大型分布式服务解决方案。

原创 过往项目经验整理（搜索&存储）

1，防书籍重复入库，反作品抄袭； A，SimHash特征，计算海明距离，相对于标准向量计算余弦距离计算量小； B，基于Elastic Search的书库存量章节关键段落检索； C，基于Faiss的竞品章节向量检索； D，基于IP代理后的爬虫对百度搜索结果进行检索，并计算相似度；2，资金结算平台沙箱环境，变更可回溯性追踪； 背景：出现过这样的Case：在生产环境进行试算，并将试算数据发布出去； A，隔离环境细节。沙箱环境ECS服务器，ECS配置对DB的隔离访...

原创 基于Transformer对文本进行向量搜索

import csvfrom datetime import datetimeimport numpy as npimport pandas as pdimport osfrom pathlib import Pathfrom sentence_transformers import SentenceTransformer, CrossEncoder, utilfrom concurrent.futures import ThreadPoolExecutor, waitimport .

原创 基于KMeans根据用户APP安装列表进行用户分群

import numpy as npimport matplotlib.pyplot as pltimport csvimport osfrom pathlib import Pathimport pandas as pdfrom sklearn.cluster import KMeansfrom sklearn.decomposition import PCAdef encode_user_apps(): print("Installed apps encoder ...

转载 利息计算的方式及实现

利息计算的理论和代码实现。

原创 互联网理财产品代销平台业务架构设计

互联网金融系统业务架构。

原创 竞拍类型电商活动技术实践

竞拍类型电商技术实践。

原创 基于状态驱动的AOP技术在模块解耦中的应用

基于状态机驱动的AOP技术在模块解耦中的实践。

原创 基于Redis的伪流式计算统计PV

基于Redis的伪流式计算统计PV

原创 一次应用服务拆分架构改造过程

一次应用服务拆分架构改造过程。

原创 一次因MQ先发后置状况导致的线上故障

因MQ先发后置状况导致的线上故障分析

转载 系统平台化需要应对和处理的技术问题

大型互联网系统平台化的主要挑战在于：大量的外部对接 批量数据处理能力服务的抽象、解耦和组合（SOA化）分布式要求是刚需，要求拆分大事务和数据的弱一致性消息驱动和消息中间件数据的并发处理能力，要求分库分表 灵活多变的各种规则定时任务调度问题，包括调度框架、并发控制、同步机制、工作流引擎等。消息驱动和消息中间件技术。服务接口定义，包括接口粒度、循环依赖、幂等等。批处理逻辑和框架，包括批

原创 抽奖型电商活动后台技术实践

抢购类型电商活动后台设计。

原创 商品列表筛选排序规则可配置化管理

背景 全站若干关键位置有商品推荐位，推荐出来的商品会由于运营活动的调整，不同用户不同时间展示不同的商品。    在实际运营过程中，由于设计算法时考虑问题不能完全周到，展示出来的商品往往不完全是意图推荐的商品。 而这个时候如果需要调整算法的话也是不可能的，这就造成了用户流量的浪费。    产品需要解决几个问题： 1，推荐算法上线前可以试运行，可以

转载 JVM CMS垃圾回收算法输出的日志格式。

转载自： http://ifeve.com/jvm-cms-log/在CMS GC 时,使用参数-XX:+PrintGCDetails 和 -XX:+PrintGCTimeStamps 会输出很多日志信息，了解这些信息可以帮我们更好的调整参数，以获得更高的性能。我们来看下在JDK1.4.2_10 中CMS GC日志示例：39.910: [GC 39.910: [

原创 Python web.py开发问题之一 need more than 1 value to unpack

异常：Traceback (most recent call last):  File "/usr/lib/python2.6/site-packages/web/application.py", line 239, in process    return self.handle()  File "/usr/lib/python2.6/site-packages/web/appl

转载 Linux 各项指标性能分析工具

原创 Nginx + Tomcat + MSM + Memcached 非粘性Session共享测试

memcached-session-manager是GitHub上的一个开源项目，可以实现基于Memcached的Session共享，官网地址：http://code.google.com/p/memcached-session-manager/具有如下特性：1，Supports Tomcat 6 and Tomcat 72，Handles sticky or non-sticky s

原创 测试服务端大量生成临时String类型JVM性能

服务端： private static final int RESPONSE_SIZE = 1024; public void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException { String result = null

转载 Tenured 区并发垃圾回收器CMS介绍

转自：http://javis163.iteye.com/blog/1679059当使用CMS收集器时，当开始进行收集时，old代的收集过程如下所示：1，首先jvm根据-XX:CMSInitiatingOccupancyFraction，-XX:+UseCMSInitiatingOccupancyOnly来决定什么时间开始垃圾收集；2，如果设置了-XX:+UseCMSInitiatin

原创 jmap -histo pid 输出的[C [B [I [S methodKlass constantPoolKlass含义

JMAP 输出[hadoop@DEV logs]$ jmap -histo 24527 | head -30 num #instances #bytes class name---------------------------------------------- 1: 31939 98883072 [C 2:

原创 SpringMVC开发@Component注解类被两次实例化问题分析与解决

需要写一个Job类，思路是利用Job实例初始化的时候启动一个ScheduleExecutorTask，定时update一些东西。@Component("RefreshJob")public class RefreshJob{ @PostConstruct public void start(){ logger.info("start()". + this); ScheduledE

转载 MySQL IN 子查询 效率慢（转）

文章表article(id,title,content)标签表tag(tid,tag_name)标签文章中间表article_tag(id,tag_id,article_id)其中有个标签的tid是135，我帮查询标签tid是135的文章列表用以下语句时发现速度好慢,我文章才690篇select id,title from article where id in(selec

转载 JVM GC分析方式

转自：http://m.oschina.net/blog/133510JVM 参数：-Xms20m -Xmx20m -Xmn10m -XX:SurvivorRatio=8，新生代共计10M（Eden区10×8/(8+1+1)，From+To区10×1/(8+1+1)），Tenured区共计10M，Perm区另计。代码： public static void testAllocatio

原创 Hibernate开发常见问题的分析解决

问题：IllegalArgumentException: Unknown ordinal value for enum class com.pptv.cdn.platform.service.player.constant.PlatformEnum: 3   at org.hibernate.type.EnumType.nullSafeGet           JAVA代码中定义了P

原创 Nginx + Lua + 共享内存实现动态查询（简单例子）

Nginx 配置。 lua_package_path "/usr/local/share/luajit-2.0.2/jit?.lua;;"; lua_shared_dict devicedb 45m; location /query { default_type 'text/plain'; content_by_lua

原创 HTTP Head中的Last-Modified-Since精度只能到秒

有一需求，使用HTTP Request头中Last-Modified-Since在请求中上传请求时间。在REST服务端需要利用HTTP 200和304(SC_NOT_MODIFIED)来返回REST接口的返回HTTP响应码。比如(T1,T2,T3,T4)。如果用户连续请求，四个时间点返回200响应码，并且返回结果不同，同时将时间点写入HTTP Response中的Last-Modified中返

转载 Spring 声明式事务管理核心代码分析

org.springframework.transaction.interceptor.TransactionInterceptor.invoke(); public Object invoke(final MethodInvocation invocation) throws Throwable { // Work out the target class: may be null.

原创 Hive使用问题及技巧

1，TAB键HQL中不能有Table键，需要以空格替代； 2，与关键词重名字段查询加键盘左上角字符括起来。如果select * from table `from`='Shanghai';

原创 J2EE Listener/Servlet/Filter相关应用和问题

1，资源加载。在Listener/Servlet中实现加载资源代码，会在J2EE容器启动的时候完成资源加载。  NoSuchMethodError与Perm OOM的关系。Listener实现代码中抛出异常，导致Listener加载不成功，则会重新Classloader直至Perm OOM。

原创 SpringMVC DispatcherServlet在配置Rest url-pattern的一点技巧

SpringMVC的Controller中已经有了@RequestMapping(value = "detail.do", method = RequestMethod.GET)的方法，并且在web.xml中也配置了DispatcherServlet匹配*.do。有需要对外暴露Rest接口，URL格式如/API/product/query。于是新增了DispatcherServlet匹配/

翻译 Stackoverflow上关于if-else语句的有趣问题

Stackoverflow上有码友被人问到，如下程序结构，不改变if-else语句，如何输出Not OK。class Condition { // you can change in the main public static void main(String[] args) { int x = 0; if (x == x) {

转载 WEB开发中的字符编码问题分析与解决。

转载自：http://hi.baidu.com/sefrank/item/4e7cf73c8e9e1c24b2c0c596中文乱码是web开发初学者最头疼的问题之一。其实只要了解浏览器、web容器的编码机制，就能灵活的解决问题。一、HTTP请求/响应消息正文的默认编码    如果没有指定字符编码，Servlet规范要求，采用ISO-8859-1编码。HTTP（请求或响应）的Cont

原创 集群环境中利用Memcached CAS原子操作计数

利用Memcached CAS原子操作，确保集群/多线程环境汇总累加操作是有效的，而不会覆盖其他线程的累加结果。package org.pile.memcached;import java.io.IOException;import java.util.Random;import java.util.concurrent.atomic.AtomicInteger;import ja

原创 三种处理缓存失效的策略

缓存过期失效时，需要从持久化层获取数据。从持久化层获取数据一般耗时较长，且CPU/内存消耗较高。参考了http://www.zrwm.com/?p=7265，处理缓存失效主要有三种方式，写了个Servlet对其进行了验证。1，getDataNoLock()。缓存失效时，所有没有获取到缓存的线程均去访问持久化层；2，getDataByThreadLock()。缓存失效时，由一个线程获得锁

转载 HTTP协议状态码大全

转自维基百科：http://zh.wikipedia.org/wiki/HTTP%E7%8A%B6%E6%80%81%E7%A0%81所有状态码的第一个数字代表了响应的五种状态之一。目录  [隐藏] 1 1xx消息2 2xx成功3 3xx重定向4 4xx请求错误5 5xx服务器错误6 参考文献7 外部链接8 参见1xx消息 这一类型的

原创 从十亿数据中找出出现最多的数以及出现次数

package org.example.bigdata;import java.util.Collections;import java.util.HashMap;import java.util.LinkedList;import java.util.List;import java.util.Map;public class TopTimes { public static

原创 十亿数据中求最大一百个数字

Stackoverflow看到的问题，真是热火朝天。前期看过相关大数据处理的一些文章，有新的处理方式，于是借此机会实现了一份代码。但是Stackoverflow的Reputation过低，还无法回答问题。在此先保存下来，后期再回复。package org.example.bigdata;public class TopNumber { public static void main(

原创 Hive总结

1，

原创 MapReduce_V1总结

1，执行过程。1.1，Map/Reduce Task任务分配。根据输入文件，基本上每个文件Block对应一个MapTask（也可能多对一），而Reduce Task则较少；1.2，Map Task 执行map函数。执行map函数得到Key/Value对；1.3，Partition过程。map函数输出的Key/Value要分配到Reduce Task，默认对Key/Value进行Hash