yangna2429的博客

memlink函数，nosql数据库，天涯论坛数据库，海量数据快速存取，内存数据库 天涯社区最近开发了一款数据引擎——Memlink，并将其开源。对于为什么会出现这样一款开源项目、它的能力和市面上的其他款同类型项目相比有怎样的优势 近些年，Nosql系统非常流行，也确实对sql系统进行了合理补充，为Web应用提供多种数据解决方案。但是在开源Nosql系统中，key-value系统可选择较多，而key-list/queue系统可选择较少，因此我们开发了memlink来满足我们自己的需要。 在这里，需要强调一些key-list的概念，在实际场景中有大量需要key-list的地方。比如：论坛中的主题列表、回复列表，微博中的用户关注列表、用户feed列表、用户关注feed列表等等。如果使用key-value中的value来存储list（比如：list打包成json放入value中），其操作性能是非常低效的。 理想的Key-list通常需要如下特点： 1.list是海量的、且操作性能高效 2.list是有序的、且可动态调整顺序 Memlink是一个高性能、持久化、分布式的Key=>List/Queue数据引擎。正如名称中的Mem所示，所有数据都建构在内存中，保证了系统的高性能，同时使用块链进行内存压缩，使用redo-log技术保证数据的持久化。此外，Memlink还支持主从复制、读写分离、数据项过滤操作等功能。 特点： •内存数据引擎，性能极为高效 •List中的Node采用块链组织，精简内存，优化查找效率 •Node数据项可自定义Mask表，支持多种过滤操作 •支持redo-log，数据持久化，非Cache模式 •分布式，主从同步 •读写分离，写优先处理。