- 博客(34)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Elastic Stack
Elasticsearch其实是一个数据库。是基于java的开源分布式搜索引擎。拥有分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等功能Logstash基于java，是一个开源的用于收集，分析和存储日志的工具。收集到数据之后可以通过Kibana来进行大数据的可视化Kibana基于nodejs，也是一个开源和免费的工具。也是一个展示数据的可视化组件，可以理解为它是mysql的navicate。可以为Logstash和Elasearch提
2021-04-29 00:01:33
278
转载 如何画架构图
什么是架构方法软件架构，是有关软件结构与组件的抽象描述，用户指导大型软件系统各个方面的设计对于架构的组成部分架构元素、元素间关系、架构、系统、架构文档、架构视图、相关方、关注点关系描述，一个系统应该有个架构，架构是架构元素和元素间关系组成的；元素就是服务器、组件、模块、子系统、类等元素；元素之间有两种关系，静态关系和动态关系，静态关系就是组合、聚合、关联、依赖、继承、泛化；动态关系，表示的它们是如何依赖交互的，以及如何相互调用整个系统运行的，比如一个用户登录不同的子系统是如何写协作的，元素、元素
2021-04-29 00:00:43
811
转载 架构设计文档模板
在软件设计的不同阶段应该设计不同的UML模型，将不同阶段输出的UML模型图放在一个文档中，对每张模型图配以适当的文字说明，就构成一篇设计文档。对于规模不太大的软件系统，我们可以将概要设计文档和详细设计文档合并成一个设计文档。 这里，我会展现一个设计文档示例模板，你可以参考这个模板编写你的设计文档。文档开头是设计概述，简单描述业务场景要解决的核心问题领域是什么。至于业务场景，应该在专⻔的需求文档中描述，但是在设计文档中，必须要再简单描述一下，以保证设计文档的完 整性，这样，即使脱离需求文档，阅读者也能
2021-04-29 00:00:01
390
原创 换种方式玩手机
adbuiautomator2设备管理查询已连接设备/模拟器$ adb devicesList of devices attachedcf264b8f deviceemulator-5554 device10.129.164.6:5555 device查看设备信息d.info{'currentPackageName': 'com.ss.android.ugc.aweme', 'displayHeight': 1280, 'displayRotation':.
2020-11-22 15:11:17
760
原创 抖音后台spider
# coding=utf-8# coding=utf-8import timeimport osfrom io import BytesIOimport randomimport cv2import cv2 as cvimport numpy as npfrom hashlib import md5import requestsfrom selenium import webdriverfrom selenium.webdriver import ActionChainsfr.
2020-10-27 11:41:29
1408
1
原创 python opencv破解滑动验证码之获取缺口位置
破解滑块验证码的思路主要有2种：一张完整的背景图和一张有缺口的图片的场景，解决思路：两张图片同一个坐标位置进行像素上的一一对比，找出不一样的坐标。 一张有缺口的图片和需要验证的小图，解决思路：1.两张图片进行二极化以及归一化，确定小图在图片中间的坐标。这种办法我没有验证通过，可以参考这里。2.通过opencv获得缺口位置 之后就要使用初中物理知识了，使用先加速后减速模仿人手动拖动通过opencv获得图片的缺口位置#coding=utf-8import cv2import numpy as
2020-10-15 15:52:52
2445
原创 mac下的rabbitmq的安装及使用
安装brew install rabbitmq安装成功后位于/usr/local/Cellar/rabbitmq/启动brew services start rabbitmq或者进入文件中依次执行./rabbitmq-plugins enable rabbitmq_managementnohup ./rabbitmq-server &打开UI界面浏览器访问：http://127.0.0.1:15672...
2020-10-14 10:58:35
627
原创 使用scrapy开启爬虫
scrapy的模块scrapy engine：负责各模块的通信信号和数据的传递，像一个联络员scheduler调度模块：简单来说就是队列，负责接受引擎发送过来的request请求，然后将请求排队，当引擎需要请求数据的时候，就将请求队列中的数据交给引擎downloader下载器：负责发送请求并下载数据，负责下载引擎发送过来的所有request请求，并将其获得response交还给引擎，然后再由引擎将数据交还给spider来进行解析spider是爬虫模块：就是平常写的xpath或正则表达式组件，会写很
2020-10-13 16:03:18
419
原创 通过PubSubHubbub实现YouTube订阅功能
详细资料参考官方的这篇文档https://developers.google.com/youtube/v3/guides/push_notifications第一步：在下面这个网址中添加订阅频道和回调地址https://pubsubhubbub.appspot.com/subscribe在Subscribe/Unsubscribe项中填写Callback UR...
2020-04-10 15:56:59
1593
6
原创 每日将b站top100视频下载到本地
定时将b站top视频下载到本地简要说明简要说明目标是每日爬取b站当日top100的视频并下载到本地，网址：http://vc.bilibili.com/board/p/eden/rank#/?tab=全部
2019-11-13 21:56:15
618
1
原创 定时任务工具apscheduler
定时任务工具apschedulerApscheduler基于Quartz的一个python定时任务框架，实现Quart的所有功能，相关的接口调用起来比较方便，目前其提供了基于日期、固定时间间隔以及corntab类型的任务，并且同时可进行持久化任务；同时它提供了多种不同的调用器，方便开发者根据自己的需求进行使用，也方便与数据库等第三方的外部持久化储存机制进行协同工作，非常强大。基本原理Apsche...
2019-11-13 14:54:25
379
原创 下载b站指定博主视频到本地
# coding=utf-8import requestsimport reimport urllibimport hashlibimport osimport sys# 访问API地址def get_play_list(start_url, cid, quality): entropy = 'rbMCKn@KuamXWlPMoJGsKcbiJKUfkPF_8dABsc...
2019-11-11 11:36:03
843
原创 python获得在线视频时长
# coding:utf-8import structimport requestsclass Mp4info: def __init__(self, file): self.file = file self.seek = 0 self.duration = 0 self.s = requests.session()...
2019-11-11 11:31:38
2933
原创 Python虚拟环境--virtualenv
Python虚拟环境简要说明安装使用简要说明在使用Python语言的时候我们使用pip来安装第三方包，但是由于pip的特性，系统中只能安装每个包的一个版本。但是在实际项目开发中，不同项目可能需要第三方包的不同版本，Python的解决方案就是虚拟环境。顾名思义，虚拟环境就是虚拟出来的一个隔离的Python环境，每个项目都可以有自己的虚拟环境，用pip安装各自的第三方包，不同项目之间也不会存在冲突...
2019-11-11 10:36:53
147
原创 bearychat和trello的协同工作
bearychat和trello的协同工作在bearychat中添加trello机器人配置机器人配置Target Channel配置Trello Board配置Notify Events在trello中创建任务在bearychat中添加trello机器人文档地址：https://bc98061105010.bearychat.com/dashboard/robots/all/add?type=...
2019-11-09 15:55:04
220
原创 安装elasticsearch的插件elasticsearch-head
为什么要使用elasticsearch-headelasticsearch服务返回的是json界面，这样看起来并不是很直观，而head可以提供友好的界面，同时还可以实现基本信息的查看，rest请求的模拟以及数据的基本检索下载，github上搜索elasticsearch-head，找到下载链接，并下载wgethttps://github.com/mobz/elasticsearch...
2019-06-30 16:16:21
169
原创 安装并启动elasticsearch
下载，官网下载找到安装包地址，命令行执行wgethttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.2.0-darwin-x86_64.tar.gz，解压，tar zxvf elasticsearch-7.2.0-darwin-x86_64.tar.gz启动，cd elasticsearch-7....
2019-06-30 15:49:58
531
原创 涉及跨域cookie 两个需要登录的系统相互嵌入网页
背景：目前公司有两个后台系统，后台a和后台b，登录会话是通过cookie建立的。现在需要在不经过大改造的情况下，做成看起来像是一个系统解决思路：将后台b的网页嵌入后台a中，后台b准备一个接口1（入参是用户名，输出是该用户名所属角色所拥有的菜单），后台a拿到菜单后将菜单它的左侧菜单中，在点击菜单之前，请求接口2（入参是用户名，实现的功能是为该用户种下cookie，这样就是登录了，resp...
2019-04-30 17:21:23
2770
原创 使用iframe的网页在子窗体中打开modal并将遮罩遮住父窗体
背景：目前公司有两个后台系统系统a和系统b，现在的需求是将系统b中网页嵌入到系统a中，所以使用了iframe，开始在子窗口中打开的modal并不能遮住父窗口，现在已经解决。解决思路：包括两部分：1.打开modal，在子窗体中给要打开modal的按钮绑定事件，触发事件后将准备好的modal部分和遮罩部分插入到父窗体的body中，这样modal就能打开了(这个是在子窗体的代码中实现) 2....
2019-04-30 15:32:22
2765
原创 docker容器之间连接方式
创建一个容器就会创建一个它的network netspace查看当前机器有哪些docker网络：docker network ls结果：默认创建容器会默认连接到默认的bridge查看指定网络的元数据（可以看到连接到这个网络的容器以及这个容器的ip）docker network inspect NETWORKID在得到的结果中，Contai...
2019-04-16 21:34:13
5164
原创 如何开始区块链联盟链hyperledger fabric
首先说下hyperledger fabric参与的对象有哪些：1.CA信息及相关的证书文件（客户端发起交易要先通过CA进行注册登记）2.通道（各个组织将通过通道进行通信）3.排序节点4.Peer节点，Peer节点可以包括主节点（负责和order节点通信）、背书节点（处理客户端提交的提案）、结账节点（用来记录order节点排序好的交易）、锚节点（锚节点是在一个channel上可以被所...
2019-04-16 15:55:51
548
原创 使用Dockerfile构建一个镜像
通用步骤：1.准备需要运行命令所需要依赖的环境2.将要运行的命令添加到要构建的镜像中3.运行命令例如：FROM python:2.7LABEL maintainer="[email protected]"RUN pip install flaskCOPY app.py /app/WORKDIR /appEXPOSE 5000CMD ["python", "a...
2019-04-16 15:54:36
289
原创 对于nginx配置中listen 和server_name 的理解
当nginx接到请求后，会匹配其配置中的service模块，匹配方法就是靠请求携带的host和port正好对应其配置中的server_name 和listen。如果做过ip和域名绑定，ip和域名二者是对等的比如：server { listen 8080; server_name www.abc.com; access_log /...
2019-03-07 19:19:41
107976
1
原创 如何使用grpc
第一步，先把环境安装好官网的安装命令:go get -u google.golang.org/grpc貌似用不了，连不上服务器，即便我挂上vpn也没有用，没办法只有迂回安装了, 反正代码在github上都有，就从github上clone下来， 需要的库包括grpc-go, golang/net, golang/text, protobuf/proto, protobuf/proto...
2019-03-05 15:43:13
439
原创 如何开始编写EOS智能合约
先说下大致流程（方便掌握大致方向，方便记忆）：1.创建钱包，目的：钱包将用来存放公钥和私钥密钥对2.创建公钥和私钥密钥对，并将密钥对导入钱包用来保存3.拿出创建好的两个密钥对来创建用户(合约只有部署到账户才可以使用，而且一个账户最多只能部署一个合约， 当你将一个新的合约部署到一个账户，该账户之前部署的合约将不再可用)4.编写智能合约5.编译智能合约6.部署智能合约（将编译好...
2019-02-25 11:13:27
277
原创 nginx搭建虚拟主机内网可以访问外网无法访问
在阿里云服务器配置的虚拟主机，通过curl可以访问，通过浏览器网址无法访问，也可以ping通。说明内网无法访问，外网可以访问，nginx配置没问题。一般情况下是外网无法连接该端口, 检查安全组和防火墙 .小建议:保证开放安全组中的相应端口开放了参考：http://bbs.qcloud.com/thread-25860-1-1.html...
2018-07-16 17:30:20
7106
原创 下拉控件之Select2的使用案例
<script src="https://cdn.bootcss.com/jquery/3.3.1/jquery.js"></script><link href="https://cdnjs.cloudflare.com/ajax/libs/select2/4.0.6-rc.0/css/select2.min.css" rel="stylesheet" /> ..
2018-06-15 17:15:31
1261
原创 PHP strtotime()与时区的问题
先看手册上册上的定义本函数预期接受一个包含美国英语日期格式的字符串并尝试将其解析为 Unix 时间戳。本函数将使用 TZ 环境变量（如果有的话）来计算时间戳。举个例子：一般情况下时间拾缀获得的时间拾基于当前电脑所在时区获得的，若要将前端传递过来的数据和存入到数据库中的数据保存一致，就需要后端在接收到数据后，将时区调整成和前端一致后再存入到数据库如果前端传过来的时间是$time = '2018-06...
2018-06-08 14:51:09
4340
原创 使用require.js加载laydate.js插件
文件名：comm.js，内容如下//配置内容require.config({ paths: { "laydate": "./laydate/laydate" }, shim: { "laydate": { exports: 'laydate' } }});//加载这个插件require(['laydate'],...
2018-06-07 12:24:58
1175
原创 phpstrom中配置服务器并指定启动目录在浏览器中访问
举例：如果在phpstrom中打开的项目是tuts_files,项目中有目录my_laravel/public,要想指定pulic为启动目录，只需在phpstrom中的Terminal中输入php -S 127.0.0.1:8080 -t my_laravel/public 在浏览器中输入:127.0.0.1:8080就可以访问public下的启动文
2017-10-25 15:22:12
1475
转载 api 和sdk 有什么区别
在概念上，SDK是一系列文件的组合，包括lib、dll、.h、文档、示例等等；API是对程序而言的，提供用户编程时的接口，即一系列模块化的类和函数。可以认为API是包含在SDK中的。
2015-06-18 10:39:27
1379
原创 CSS id/class选择器以id/class和CSS属性选择器以为属性作为筛选条件在格式上的介绍
1）、CSS id/class选择器在为属性为条件筛选相同标签的元素上的使用的格式为td.fancy{ color:#f60; background:#666; }2)、CSS属性选择器在为条件筛选相同标签的元素上的使用的格式为input[type="button"]{ width:120px; margin-left:35px; display:block; font-family:Verdan
2014-09-26 15:07:27
1377
统计建模与R软件
2014-07-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人