- 博客(57)
- 资源 (16)
- 收藏
- 关注
RSS订阅原创 2023年5个最好的向量数据库
向量数据库已经成为强大的工具，用于处理庞大的非结构化数据领域，如图像、视频和文本，而不过分依赖人工生成的标签或标记。配备先进的索引和搜索功能，Pinecone使数据工程师和数据科学家能够构建和实施大规模的机器学习应用程序，有效处理和分析高维数据。随着数字时代推动我们进入一个由AI和机器学习主导的时代，向量数据库已经成为存储、搜索和分析高维数据向量的不可或缺的工具。本博客旨在提供对向量数据库的全面了解，以及它们在AI中日益重要的地位，深入探讨2023年最佳向量数据库。Weaviate是一款开源的向量数据库。
2024-02-26 10:06:06
427
1
转载 数据仓库建模方法论
上述的这些方法都有自己的优点和局限性，在创建自己的数据仓库模型的时候，可以参考使用上述的三种数据仓库得建模方法，在各个不同阶段采用不同的方法，从而能够保证整个数据仓库建模的质量。方法论仅仅停留在理论层面上，落地实现的才真正决定了数仓设计的好坏，当然再好的方法，只有在合适的阶段使用，才有意义，才能发挥它最大的价值。
2023-04-10 10:07:50
165
转载 Frida Hook scripts
Frida Hook- Hook Dlopen//第一种方式（针对较老的系统版本）var dlopen = Module.findExportByName(null, "dlopen");console.log(dlopen);if(dlopen != null){ Interceptor.attach(dlopen,{ onEnter: function(args){ var soName = args[0].readCString();
2020-11-02 14:33:15
1995
转载 windows 使用docker搭建gitlab遇到坑和解决方案
I think I have a solution for running Gitlab from Docker on Windows 10; it appears to be working for me thus far.For all of the Powershell, you'll need an elevated prompt.InitThis first part gets the folders/volumes setup, then creates and starts the
2020-10-10 15:59:01
1719
原创 第一次使用docker镜像库：harbor
一、环境搭建1、安装docker和docker-compose，之前一直在使用，安装比较简单。2、从github下载最新版本harbor，https://github.com/goharbor/harbor/releases/tar xfharbor-offline-installer-v2.0.2.tgz解压后有一个harbor.yml.tpl文件，cpharbor.yml.tplharbor.yml生成harbor的配置文件，里面对于我自己测试就修改三点需求：hostnam...
2020-08-06 10:39:07
372
转载 连接Redis后执行命令错误 MISCONF Redis is configured to save RDB snapshots
连接Redis后执行命令错误 MISCONF Redis is configured to save RDB snapshots2019-03-25阅读4170今天在redis中执行setrange name 1 chun 命令时报了如下错误提示：(error) MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk. Commands that may mo.
2020-07-29 10:50:27
427
转载 负载均衡简述
1. 负载均衡的概念负载均衡建立在现有网络结构上，它提供一种廉价有效透明的方法扩展网络设备和服务器的带宽，增加吞吐量，加强网络数据处理能力，提高网络的灵活性和可用性。负载均衡有两方面的含义：首先，大量的并发访问或数据流量分担到多台节点设备上分别处理，减少用户等待响应的时间；其次，单个重负载的运算分担到多台节点服务器上做并行处理，每个节点设备处理结束后，将结果汇总，返回给用户，系统处理能力得到大幅度提高。简单来说就是：其一是将大量的并发处理转发给后端多个几点处理，减少工作响应时间；其二是将单个繁重
2020-07-22 16:00:56
1106
原创 开始使用python ffmpeg的小总结
使用python接口的ffmpeg，可以先从https://github.com/kkroening/ffmpeg-python这个git上开始。当然官方的api说明也不能缺少：https://ffmpeg.org/ffmpeg.html#Main-options上面有很多样例，我大概做下解释在python接口中跟实际命令行对应参数，分为三个input，filter，output；python的封装我个人的理解就是把你给函数的传参进行了转换，实际输出还是命令行的形式，明白这个原理我觉得很重要..
2020-07-01 09:49:48
2917
转载 docker-compose搭建私有docker registry
docker hub注册后只可以免费上传一个镜像，不过我们也可以使用其他免费docker仓库，比如腾讯云的免费docker仓库，不受上传限制。当然我们也可以创建我们自己的私有仓库，再也不用担心上传速度受到影响，并且也更加安全。示例说明使用的是win10自带的docker 服务器使用的是centos系统 服务器ip地址以182.61.60.219为例（该IP只是示例，并不可用哦） 仓库端口以8050为例 仓库访问端口以5000为例 仓库UI访问端口以5051为例 本地局域网地址以19..
2020-05-19 20:47:39
748
转载 js加密技术总结
我们在爬取网站的时候，经常会遇到各种各样类似加密的情形，比如说： 某个网站的 URL 带有一些看不太懂的长串加密参数，要抓取就必须要懂得这些参数是怎么构造的，否则我们连完整的 URL 都构造不出来，更不用说爬取了。 分析某个网站的 Ajax 接口的时候，可以看到接口的一些参数也是加密的，或者 Request Headers 里面也可能带有一些加密参数，如果不知道这些参数的具体构造逻...
2020-05-06 21:26:05
509
1
转载 针对主要使用非http协议长链接，但监控支持http协议的抓包分析流程简述
分析1、Charles抓包一开始爬美团外卖App我是直接Charles上手就干的，但我抓了一天都没抓到有用的数据我就开始找资料，遗憾的是网上没有一篇关于美团外卖App抓包分析的文章，我是真的一篇都没看到（这里指的是移动app，不是网页）不过好在在我查找资料的过程也并非无任何收获，我得知美团使用了一种叫 “移动长连接“ 的技术导致我抓不到包；接着我在网上找了关于该名词的解...
2020-05-06 20:57:39
3364
5
转载 为什么每一个爬虫工程师都应该学习 Kafka
这篇文章不会涉及到Kafka 的具体操作，而是告诉你 Kafka 是什么，以及它能在爬虫开发中扮演什么重要角色。一个简单的需求假设我们需要写一个微博爬虫，老板给的需求如下：开发爬虫对你来说非常简单，于是三下五除二你就把爬虫开发好了：接下来开始做报警功能，逻辑也非常简单：再来看看统计关键词的功能，这个功能背后有一个网页，会实时显示抓取数据量的变化情况，可以显示每分钟、...
2020-03-11 23:57:53
245
1
转载 python 简单元编程
软件开发领域中最经典的口头禅就是“don’t repeat yourself”。 也就是说，任何时候当你的程序中存在高度重复(或者是通过剪切复制)的代码时，都应该想想是否有更好的解决方案。 在Python当中，通常都可以通过元编程来解决这类问题。 简而言之，元编程就是关于创建操作源代码(比如修改、生成或包装原来的代码)的函数和类。 主要技术是使用装饰器、类装饰器和元类。 一、你想在函数...
2020-02-21 11:18:49
130
转载 Android app反调试与代码保护的一些基本方案
Java：（1）Proguard借助Android studio的proguard工具，对Java代码分别进行压缩（Shrink）、优化（Optimize）、混淆（Obfuscate）、检查（Veirfy）。压缩（Shrink）：去掉代码中无用的类、函数方法和字段。优化（Optimize）：对Android的可执行文件dex进行优化，去掉无用指令。混淆（Obfuscate）：用...
2019-12-30 16:30:01
500
转载 ARM 指令列表
ARM 指令列表 ADC 带进位的32位数加法 ADD 32位数相加 AND 32位数的逻辑与 B 在32M空间内的相对跳转指令 BEQ 相等则跳转（Branch if EQual） BNE 不相等则跳转（Bran...
2019-12-20 12:42:55
405
转载 Python 库打包分发(setup.py 编写)
Python 有非常丰富的第三方库可以使用，很多开发者会向pypi上提交自己的 Python 包。要想向 pypi 包仓库提交自己开发的包，首先要将自己的代码打包，才能上传分发。distutils 简介distutils是标准库中负责建立 Python 第三方库的安装器，使用它能够进行 Python 模块的安装和发布。distutils 对于简单的分发很有用，但功能缺少。大部分Pyt...
2019-12-11 11:31:37
792
转载 互联网那些名词～～～
DAU: daily active user，日活跃用户数量MAU:月活跃用户量ARPU: (Average Revenue Per User)即每用户平均收入，用于衡量电信运营商和互联网公司业务收入的指标。KPI:关键绩效指标法，是企业绩效考核的方法之一，其特点是考核指标 围绕关键成果领域进行选取MOU:平均每户每月通话时间(minutesof usage)OTT: “...
2019-12-03 16:44:16
174
转载 win10下安装pytorch，torchvision
电脑里以前安装了 tensorflow，现在因为学习需要，需要安装pytorch。还是在原来安装tensorflow的位置安装pytorch。由于采用在线安装太慢了，而且中途还会因为网速不稳定终端！因此，采用离线安装（真的是快啊），先将具体操作记录如下（PS：本文只讲在已经安装CUDA和CUDNN等一系列前提下，进行的）1、首先去清华镜像下载pytorchhttps://mi...
2019-08-17 23:33:34
452
转载 Matching SM architectures (CUDA arch and CUDA gencode) for various NVIDIA cards
I’ve seen some confusion regarding NVIDIA’s nvcc sm flags and what they’re used for:When compiling with NVCC, the arch flag (‘-arch‘) specifies the name of the NVIDIA GPU architecture that the CUDA f...
2019-06-20 16:42:24
2745
原创 编译报"const void *" is incompatible with parameter of type "const float *"，跟gcc版本相关
error ：/usr/lib/gcc/x86_64-linux-gnu/5/include/avx512fintrin.h(9220): error: argument of type "const void *" is incompatible with parameter of type "const float *"/usr/lib/gcc/x86_64-linux-gnu/5/i...
2019-06-20 15:57:46
3287
转载 OpenCV两种畸变校正模型源代码分析以及CUDA实现
图像算法中会经常用到摄像机的畸变校正，有必要总结分析OpenCV中畸变校正方法，其中包括普通针孔相机模型和鱼眼相机模型fisheye两种畸变校正方法。普通相机模型畸变校正函数针对OpenCV中的cv::initUndistortRectifyMap()，鱼眼相机模型畸变校正函数对应OpenCV中的cv::fisheye::initUndistortRectifyMap()。两种方法算出映射Ma...
2019-03-21 18:05:16
653
转载 ASTER ：An Attentional Scene Text Recognizer with Flexible Rectification
目录XiangBai——【PAMI2018】ASTER_An Attentional Scene Text Recognizer with Flexible Rectification 作者和论文 方法概述 1. 主要思路 2. 方法框架和流程 3. 文章亮点 方法细节 1. 背景 2. Rectification Network 3. Rec...
2019-03-08 11:21:51
1055
转载 文字检测算法
前言pixel-anchor是云从科技前几天放出来的论文，文章提出了east和Textboxes++的合体模型，通过结合anchor-based和pixel-based的检测方法的特性，达到了SOTA。不过就整个框架而言，创新点虽然不多，但是预感会带起一波检测与分割结合的文字检测方法。文章脉络anchor-based和pixel-based方法的优缺点 网络结构 结果分析 模型分...
2019-03-06 18:28:10
6389
转载 Face-Image-Quality-Assessment
Image Quality Assessment Papershistory reference VeNICE: A very deep neural network approach to no-reference image assessment. 2016ICASSP：Blind image quality assessment formultiply distorted imag...
2019-02-22 16:03:17
1725
转载 图像质量评价 指标PSNR,SSIM,SROCC,PLCC
ssim的计算里面有高斯模糊，为了快速计算，先对每个小块进行计算，然后计算所有块的平均值。可以参考源代码实现，而且代码实现有近似的在里面！matlab中中图像PSNR和SSIM的计算“在实际应用中，可以利用滑动窗将图像分块，令分块总数为N，考虑到窗口形状对分块的影响，采用高斯加权计算每一窗口的均值、方差以及协方差，然后计算对应块的结构相似度SSIM，最后将平均值作为两图像的结构相似性度量，即平...
2019-02-21 18:16:37
5654
转载 mongodb的限制规则
文章翻译自来源：http://docs.mongodb.org/manual/reference/limits/#limit-bson-document-size一、BSON 文档1、BSON文档大小，最大限制为16MB，这种限制是为了确保单个文档不会使用过多的RAM，或者在迁移期间不会占用过多的带宽。为了保存大于该限制的文档，mongodb提供了GridFS当插入的文档大于16MB时...
2019-01-28 19:02:56
3420
原创 cuda和cudnn在linux ubuntu16.04下的安装
系统如果一开始就没有装显卡驱动，那么就不用装了，直接装cuda可以顺带把显卡驱动装了。如果已经装了，那么确保已安装的显卡版本符合cuda版本要求，可以去官网查询。我个人建议直接不管原来的显卡驱动，先卸载了，直接安装cuda中的显卡驱动即可。ps：cuda包比较大，里面已经包含了显卡驱动包cuda安装：准备工作：检查自己机器的gpu信息lspci | grep -i nvidia确认...
2019-01-18 15:05:24
146
转载 人脸识别技术解密
在人类大脑中，有特定的脑区（Fusiform face area,FFA）去负责图像识别。在识别人脸的过程中，会先观察照片上的人脸特征，例如鼻子两侧、嘴角、耳朵等等，然后记住这些特征，再进行匹配。相比之下，人工智能的识别有怎样的不同？通常情况下，人脸识别主要包括人脸检测、人脸图像预处理、人脸图像特征提取、人脸图像匹配与识别四个步骤。目前百度人脸测试集有200万人的2亿张图片作为训练样本数据。...
2019-01-16 17:25:48
1012
转载 全面布局3D视觉 OPPO新机将搭载TOF技术
泡泡网原创 作者:宋海健 2018年08月07日 15:22 OPPO在北京举办想小型的媒体沟通会，正式向外接展示了TOF技术以及OPPO对未来TOF技术发展的理解。目前业内有两种不同的解决方案，除了TOF技术外，还有OPPO不久前发布的旗舰新品Find X上所搭载的3D结构光技术，两种技术有不同领域的应用和构想，沟通会上，OPPO的技术专家也与在场媒体充分沟通分享TOF技术的前景和优势，在...
2019-01-10 09:46:24
255
转载 安装opencv-cuda版本
安装opencv-cuda有好事之徒（好心人）已经编译了opencv3.4.2带cuda的版本，直接用env的控制台安装conda install -c oddconcepts opencv-cuda 在spyder IDE里 import cv2会提示，找不到libjasper.so.1这是因为ubuntu 在17.04之后取消了libjasper-dev了，（按其他教程...
2019-01-09 09:32:40
4076
转载 无参考图像的清晰度评价方法
在无参考图像的质量评价中，图像的清晰度是衡量图像质量优劣的重要指标，它能够较好的与人的主观感受相对应，图像的清晰度不高表现出图像的模糊。本文针对无参考图像质量评价应用，对目前几种较为常用的、具有代表性清晰度算法进行讨论分析，为实际应用中选择清晰度算法提供依据。 （1）Brenner 梯度函数Brenner梯度函数是最简单的梯度评价函数，它只是简单的计算相邻两个像素灰度差的平方，该函数定义...
2018-12-21 22:55:22
1038
转载 目前CV相关的开源数据集
Images Analysis数据集 介绍 备注 网址 Flickr30k 图片描述 31,783 images，每张图片5个语句标注 链接 Microsoft COCO 图片描述 330,000 images,每张图片至少5个语句标注 链接 ESP Game 多标签定义图像 20,770 images，268 ta...
2018-12-19 14:10:36
1332
4
转载 搭建高可用mongodb集群—— 分片
转自：http://www.lanceyan.com/还有两个问题没有解决：从节点每个上面的数据都是对数据库全量拷贝，从节点压力会不会过大？ 数据压力大到机器支撑不了的时候能否做到自动扩展？在系统早期，数据量还小的时候不会引起太大的问题，但是随着数据量持续增多，后续迟早会出现一台机器硬件瓶颈问题的。而mongodb主打的就是海量数据架构，他不能解决海量数据怎么行！不行！“分片”就用这个...
2018-12-19 09:51:16
115
转载 搭建高可用mongodb集群—— 深入副本集内部机制
转自：http://www.lanceyan.com/带着副本集的问题来看吧！副本集故障转移，主节点是如何选举的？能否手动干涉下架某一台主节点。 官方说副本集数量最好是奇数，为什么？ mongodb副本集是如何同步的？如果同步不及时会出现什么情况？会不会出现不一致性？ mongodb的故障转移会不会无故自动发生？什么条件会触发？频繁触发可能会带来系统负载加重？Bully算法 mon...
2018-12-19 09:49:58
82
转载 搭建高可用mongodb集群—— 副本集
转自：http://www.lanceyan.com/mongoDB官方已经不建议使用主从模式了，替代方案是采用副本集的模式，点击查看 ，如图：那什么是副本集呢？打魔兽世界总说打副本，其实这两个概念差不多一个意思。游戏里的副本是指玩家集中在高峰时间去一个场景打怪，会出现玩家暴多怪物少的情况，游戏开发商为了保证玩家的体验度，就为每一批玩家单独开放一个同样的空间同样的数量的怪物，这一个复制的场景...
2018-12-19 09:48:13
142
原创 windows python 使用dlib gpu版本的编译和安装
默认的dlib版本是不支持gpu计算的。工具：win10系统，cmake，vs2017使用gpu的版本步骤其实很简单：1、从官网下载dlib source包2、使用cmake gui工具进行编译一下 1）设置source code路径和build的路径 2）点击 configure，生成的版本是32位或64位的，如果是64位就选择带 Win64的即可，点击fin...
2018-12-05 12:51:59
2641
转载 OpenCV3的GPU模块编译
【摘要】OpenCV3的GPU模块需要手动重新编译才可以使用。本文介绍了编译OpenCV3 + GPU模块的方法。【本文使用的操作系统、软件版本】OS：Windows10OpenCV 3.0.0 CMake 3.4.0-rc CUDA v7.5 for windows10 x86_64 Visual Studio 2013 Community【正文】1.前言1.1....
2018-12-05 12:39:14
1953
原创 解决 import cv2 出现 ImportError:DLL load fail:找不到指定模块
自己亲试了很多种方法，此方法有效，所以记录下：原因：python版本与opencv版本不匹配导致找不到模块解决方法：尝试离线安装多个版本，找到合适的尝试清华镜像文件的其他版本：https://pypi.tuna.tsinghua.edu.cn/simple/opencv-python/ 我用的是anaconda3 5.2.0，python自带是3.6.5版本的，选择了opencv ...
2018-11-28 13:59:32
350
Ambari-2.7.5.0和HDP-3.1.5.0离线包网盘地址-给点积分意思下就行
2022-10-20
ippicv_2019_win_intel64_20180723_general.zip
2018-12-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人