自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

巨魔战将

聚焦大数据 算法 数仓 微服务

  • 博客(111)
  • 资源 (10)
  • 收藏
  • 关注

原创 科创板和创业板股票字母N、U、W、V分别代表什么含义?上证和深证股票字幕N,ST,*ST,G,XD,XR,DR,S的含义?

N:对于创业板首次公开发行上市的股票及存托凭证,上市首日证券简称首位字母为“N”。C:上市后次日至第五日,其证券简称首位字母为“C”。U:发行人尚未盈利的,其股票或存托凭证的特别标识为“U”;发行人首次实现盈利的,该特别标识取消。W:发行人具有表决权差异安排的,其股票或存托凭证的特别标识为“W”;上市后不再具有表决权差异安排的,该特别标识取消。V:发行人具有协议控制架构或者类似特殊安排的,其股票或存托凭证的特别标识为“V”;上市后不再具有相关安排的,该特别标识取消。...

2020-08-03 11:27:35 37160

原创 Preface

THE APPRENTICE CARPENTER may want only a harmer and a saw,but a master builder employs many precision tools.Computer programming likewise requires sophisticated tools to cope with the complexity of real applications,and only practice with these tools will

2024-02-27 22:22:35 893

原创 DATA STRUCTURES AND PROGRAM DESIGN IN C++

学习《数据结构与程序设计—C++语言描述》,可以把英语也学了。

2024-02-27 21:52:04 352

原创 【数学计算】使用mathematica计算圆周率π

使用mathematica计算圆周率π

2023-09-23 09:27:33 746

原创 【2023年1月·第四周】-单词学习记录(1月23日-1月29日)

第四周学习。

2023-01-30 09:01:13 653 1

原创 【2023年1月·第三周】-单词学习记录(1月16日-1月22日)

第三周学习。

2023-01-30 09:00:56 641

原创 生词提取方法,学以致用(用于生成学习计划)

为了能够更加便捷的吸收英文文章的养分,从下周开始,计划边读文章,边学习。在拿到一片英文材料后,首先识别其中已经知道的单词,然后识别自己不会的单词。根据不会的单词制定单词学习计划。单词掌握以后,学习内容,既确保学以致用,又确保能够吸收到优秀文章的养分。

2023-01-18 17:16:22 358

原创 【2023年1月·第二周】-单词学习记录(1月9日-1月15日)

第二周学习任务,从2023年1月9日至1月15日。本周对第四次和第五次的复习任务做了调整,去掉了单词造句、词串、近义词、反义词的积累,将更多时间花在单词造句和文章精读上。

2023-01-09 13:56:54 338

原创 【2023年1月·第一周】-单词学习记录(1月2日-1月8日)

2023年1月第一周学习任务。

2023-01-05 22:46:38 932

原创 【年月】-单词学习记录(模板)

单词学习标准,督促自己保质保量完成学习任务。通过学习记录卡、学习确认卡、单词卡、词串和造句、近义词和形近词等标准模板,来约束自己的学习行为。学习的精髓在于重复,重复的效率在于图像和联想,通过1次学习和5次复习,来确保记忆效率,确保不被遗漏。

2023-01-05 15:19:32 131

原创 【小工具】 - 解决postgres数据库remaining connection slots are reserved for non-replication superuser connectio

psycopg2.OperationalError: FATAL: remaining connection slots are reserved for non-replication superuser connection报错信息Traceback (most recent call last): File "/opt/wavepoint/agent/main.py", line 9, in <module> from monitor import moduleMonit

2021-10-20 16:16:14 8245

原创 【小工具】 - 修复软raid阵列状态为inacitve的方法

软盘状态为inactive问题现象[root@master data]# mdadm --detail /dev/md5/dev/md5: Version : 1.2 Creation Time : Tue Jun 15 18:19:06 2021 Raid Level : raid5 Array Size : 39069470720 (36.39 TiB 40.01 TB) Used Dev Size : 7813894144

2021-10-20 16:13:23 1749

原创 【小工具】 - linux内存碎片检查和清理

服务环境CentOS Linux release 7.9.2009 (Core)kernel: Linux xxxx 3.10.0-1160.el7.x86_64 #1 SMP Mon Oct 19 16:18:59 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux内存碎片检查方法  检测linux碎片,这里介绍buddyinfo工具,来进行内存碎片分析。  buddyinfo是linuxbuddy系统管理物理内存的debug信息。在linux中使用buddy算法解

2021-10-15 18:42:14 4197

原创 【小工具】- linux如何查看内存硬件信息(包含卡槽数量和每块内存条参数)

环境信息OS: CentOS Linux release 7.9.2009 (Core)dmidecode: 3.2!!! dmidecode工具为系统自带。工具介绍dmidecode用于在linux下获取硬件信息,遵循SMBIOS/DMI标准,可获取包括BIOS、系统、主板、处理器、内存、缓存等等硬件信息。查看内存信息dmidecode|grep -A16 'Memory Device'输出Memory Device Array Handle: 0x001D Error I

2021-10-15 16:27:45 8599

原创 clickhouse-client显示问题

安装环境os: centos 7.6clickhouse: 21.5.5.12 (official build).安装方式: rpm问题现象使用SecureCRT通过ssh连接centos服务器,用clickhouse-client进入客户端,执行命令时,出现命令重复的情况。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xcMaw8tD-1621581280766)(media/16215775243690/16215776928986.jpg)]问题分析由

2021-05-21 15:15:43 1364

原创 【异常处理】 - airflow python报 ImportError: cannot import name ‘resolve_types‘异常问题分析和处理方案

错误说明在安装airflow后,执行airflow的命令时,提示不能导入resolve_types,详细错误说明如下:$ airflow --helpTraceback (most recent call last): File "/usr/local/bin/airflow", line 26, in <module> from airflow.bin.cli import CLIFactory File "/usr/local/lib/python3.6/site-pa

2020-12-09 13:06:11 961 1

原创 【构建PB级准实时分析引擎】 - 对比druid,clickhouse,kylin,KAWQ,presto,spark sql,impala等主流开源离线数据分析引擎

文档说明  对于每日10TB+的数据增量,应该选择什么样的离线分析引擎,才能既高效,有低成本?  追求性能极限的同时,也需要兼顾向后扩展性,比如人才招聘,运维成本,部署成本,分析场景变化等,那么如何才能选择最适合自己的离线分析引擎呢?  本文从自身需求的视角出发,综合对比目前主流的开源离线分析方案,以寻找最合适的离线分析方案,来满足自己的需求。  对于目前较为主流的druid,clickhouse,kylin,KAWQ,presto,spark sql,impala进行了多方面的评比,仔细分析,以寻

2020-11-28 14:44:52 1434

原创 【构建PB级准实时分析引擎】 -- azkaban、airflow、dolphinscheduler、quartz、xxl-job 、oozie调度方案评测

评测说明  本评测方案主要从自身实用的角度出发,对比主流的开源任务调度方案,评选出最适合自己的方案,以作为自己的调度工具。评测目标短期目标可调度多台机器的shell/python脚本;可管理有依赖的任务执行;支持mysql/postgresql数据库;支持接口管理任务(定时,取消定时);中长期目标任务运行状态和完成状态容易获得;支持秒级调度;支持任务分片;支持任务可视化;Hadoop,Spark生态支持;选型范围软件理由dolphinschedule

2020-11-28 14:37:11 3167

原创 clickhouse如何做冷,热数据分级存储?

准备目录和权限sudo chmod -R 777 /etc/clickhouse-*sudo mkdir /data1/clickhousesudo mkdir /data2/clickhousesudo mkdir /data3/clickhousesudo mkdir /data4/clickhousesudo chown -R clickhouse:clickhouse /data1/clickhousesudo chown -R clickhouse:clickhouse /dat

2020-11-28 08:56:23 1479

原创 【小工具】 -- clickhouse数据库连接客户端

dbeaverdbeaver是一款免费的数据库桌面连接工具,基于Apache-2.0协议开源,支持常见的数据库连接,如MySQL/MariaDB, PostgreSQL, Greenplum, Oracle, DB2 LUW, Exasol, SQL Server, Sybase/SAP ASE, SQLite, Firebird, H2, HSQLDB, Derby, Teradata, Vertica, Netezza, Informix等.对于使用clickhouse的同学来说,dbeaver可以直

2020-11-28 08:53:38 1763 1

原创 【小工具】- Ubuntu如何查看cpu支持的指令集

Ubuntu如何查看cpu支持的指令集# 查看cpu支持的所有指令集cat /proc/cpuinfo |grep -i 'flags'# 查看cpu是否支持SSE指令集cat /proc/cpuinfo |grep -i 'sse'

2020-11-28 08:46:16 3337

原创 【小工具】-- Centos如何查看支持的指令集?

Centos如何查看cpu支持的指令集# 查看cpu支持的所有指令集cat /proc/cpuinfo |grep -i 'flags'# 查看cpu是否支持SSE指令集cat /proc/cpuinfo |grep -i 'sse'

2020-11-28 08:44:23 1864

原创 【运维小工具】 - Mac OS 如何查看cpu支持的指令集?

方法一 直接查看cpu支持的指令集# macos查看cpu支持的指令集sysctl -a | grep machdep.cpu.features# macos 查看cpu是否支持SSE 4.2sysctl -a | grep machdep.cpu.features | grep SSE方法二 查看cpu的所有支持参数# 查看支持的所有的指令集sysctl machdep.cpu ...

2020-11-28 08:36:50 4269

原创 【clickhouse】 -- clickhouse如何即时删除表中的数据?

clickhouse默认无法实时删除表中的数据  clickhouse默认是不支持实时删除表中的数据,数据的删除通常是异步进行。若是在同写同读的场景,有可能会查询到已经被删除的数据,这可能会导致一些逻辑上的错误,或者误解。  来看下面的示例,可以看出,虽然执行了删除语句,但数据实际没有被删除。是什么原因导致数据没及时删除呢?ALTER TABLE … DELETE Statement ALTER TABLE [db.]table [ON CLUSTER cluster] DELETE WHER

2020-11-21 17:54:21 10372 1

原创 【高效工作】 - 一招带你快速复制表格到markdown文档

引出问题以《kafka和rabbitmq对比》为例,如何能快速将页面里的表格复制到markdown编辑器中呢?复制到markdown猜测方法方法一,直接复制,替换tab键对比项 kafka rabbitmq开发语言 scala,Java erlang是否支持多租户 2.x.x支持多租户 支持多租户是否支持topic优先级 不支持 支持是否支持消息全局有序 不支持 支持是否支持消息分区有序 支持 支持是否内置监控 无内置监控 内置监控是否支持多个生产者 一个topic支持多个生产者

2020-11-17 13:51:19 3889

原创 2020年程序员日,是个特别的日子

大家调侃2020年是程序员的本命年,因为今年刚好碰上了2020-1024=996的公式,发图纪念下。

2020-10-24 21:31:20 329

原创 【Java小工具】 - 判断ipv4和ipv6

java内置的IPAddressUtil可以完成常用的Ipv4和ipv6的截取,判断方法,可直接使用。java判断ipv4和ipv6代码import sun.net.util.IPAddressUtil;public class ipCheck { public static void main(String[] args) {// String ip = "127.0.0.1";// String ip = "abcd::abcd:abcd:abcd:ab

2020-10-20 14:52:46 2801

原创 【构建PB级准实时分析引擎】- 构建PB级准实时分析的挑战有哪些?

海量异构数据存储在哪?海量异构数据的冷暖热如何区分?如果有BI、report,遇到复杂的分析怎么办?

2020-10-16 11:55:28 248

原创 【构建PB级准实时分析引擎】- clickhouse国内应用案例(持续更新完善中。。。)

中国电信今日头条快手虎牙直播腾讯喜马拉雅百分点携程爱奇艺

2020-10-14 14:30:50 525

原创 【构建PB级准实时分析引擎】-clickhouse初探

clickhouse介绍  clickhous是开源的OLAP数据库管理系统,为面向列式的准实时数据查询分析引擎,由yandex于2016年开源。最大的特点就是快,相比传统的数据仓库引擎,如hive,greenplum,vertica等,clickhouse性能均将它们远远的甩在身后;clickhouse comparisionclickhouse特性快clickhouse在配置较高的物理服务器上,每秒可扫描数十亿数据。验证表明,clickhouse在同样配置下,分析性能优于同类mpp分析引擎(通

2020-10-14 14:09:55 424

原创 【网络小知识】之TCP IP 五元组(five-tuple/5-tuple)

为什么要分享TCP IP 5元组(five-tuple/5-tuple的知识?  最近在进行深度分析过程中,听到某些资深人士提到了5元组这个概念,觉得很高大尚,去搜索了一圈,发现都是些非常浅显的知识,而且没有提及到五元组的英文怎么拼写,因此饶了一圈。费了一番功夫,最终了解了4元组,5元组,7元组,觉得很有意思,因此分享出来,希望能帮到大家。什么是5元组?  如今互联网大部分请求都承载与tcp/ip之上,IP属于网络层协议,TCP属于传输层协议,每个请求主要通过ip数据包来进行传输和交互。在ip数据包头

2020-08-31 13:02:05 41079 2

翻译 HTTP Status Codes

HTTP Status CodesCodeReason-PhraseDefined in…100ContinueSection 6.2.1101Switching ProtocolsSection 6.2.2200OKSection 6.3.1201CreatedSection 6.3.2202AcceptedSection 6.3.3203Non-Authoritative InformationSection 6.3.4

2020-08-31 12:12:22 143

原创 【docker小工具】之删除<none>名称容器

经常有些docker rmi $(docker images | awk '/^<none>/ { print $3 }')

2020-08-21 16:10:36 432

原创 【linux小工具】之shell控制台打印带颜色的文字或背景

说明在生产环境中,通常需要以醒目的问题提醒操作注意事项,需要通过背景色和字体颜色来渲染;含义和方法字体颜色3/4色码表8bit色码表示例色码打印效果:参考链接

2020-08-17 18:14:49 523

原创 【python小工具】之visdom深度学习可视化利器

说明visdom是facebook开源的一个可视化框架,由于出色的可视化效果和3d的良好支持,在深度学习领域被广泛应用。安装方法pip install visdom常见问题requests.exceptions.ConnectionError: HTTPConnectionPool(host=‘localhost’, port=8097):报错明细:During handling of the above exception, another exception occurred:Tra

2020-08-16 23:21:39 619

原创 【python小工具】之使用Python在控制台打印进度条

打印进度条代码import timefor i in range(0, 101): sys.stdout.flush() time.sleep(0.001) x = "{}>".format((i//2)*"=") print("\r|{:<52}|{:>3}%".format(x, i), end="") 打印效果:|==================================================> |100%

2020-08-15 12:50:59 408

原创 为您奉上Dicom文件格式属性清单,不谢!

DICOM文件格式在临床医学和学术界都非常常用,下面是Dicom文件中的元标签,也叫元属性供大家参考,方便大家作对照。TagAttribute Name0002,0000FileMetaInfoGroupLength0002,0001FileMetaInfoVersion0002,0002MediaStorageSOPClassUID0002,0003MediaStorageSOPInstanceUID0002,0010TransferSyntaxUI

2020-07-26 19:47:04 5417 1

原创 linux centos磁盘格式化和永久挂载方法

磁盘挂载系统信息## OS: CentOS Linux release 7.6.1810 (Core)格式化磁盘# 查看磁盘列表lsblk [root@slave1 /]# lsblkNAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTsda 8:0 0 7.3T 0 disk /data1sdb 8:16 0 7.3T 0 disk /data2sdc 8:32 0 7.3T 0 di

2020-06-28 13:20:29 4642

原创 spark scala maven打包方式,基于maven的spark项目配置(坑太多,只有自己来了)

介绍  最近有个spark集群压测时小任务,因为习惯了用maven,所以打算用maven的scala依赖来写spark程序。很久没写scala代码有些生疏,代码写好了,打包一直运行不起来,网上搜了很多材料发现没用,有的用ide打包,体验不是很好。  因此找了个之前自己写的一个项目,贴出来供大家参考和爬坑。maven配合如果要用maven依赖写scala程序,那么需要做相关的依赖,并且在build里面做一些配置才能打出可直接用spark-submit运行的jar。pom.xml<?xml v

2020-06-24 18:23:37 3651 1

原创 解决linux du -sh *统计不到的问题

在linux中执行du -sh发现文件夹有4GB,但执行du -sh *缺智能看到800MB,和df -h统计到的差异很大。在linux上执行下面的命令即可统计隐藏文件大小:# 统计当前目录下所有文件大小du -hs * .[^.]*

2020-06-23 17:22:47 2682

mac-UFRII-LIPSLX-v101910-10.dmg

macos通用打印机驱动

2021-11-03

Microsoft Remote Desktop For Macos 10.6.7.zip

Microsoft Remote Desktop For Mac软件是微软官方发布的mac版连接windows的远程桌面客户端工具,可在mac上安装后连接windows(包含server版本)操作系统桌面。 已亲测可用,欢迎大家使用。

2021-05-19

智能脊柱疾病诊断MR数据集(带医生症状描述和预诊内容的数据库).zip

附件内容为来自国外研究机构的脊柱核磁共振临床图片数据集,并带有医生诊断介绍和预诊内容,非常珍贵,可用于深度学习模型训练,进行智能诊断。

2020-06-02

全球最新机场三字码信息csv

新获取的全球机场三字码文件,包含全球5万5千多个机场三字码信息,所在省市国家,坐标等信息,可以说是非常全面,字段如下:ident,type,name,elevation_ft,continent,iso_country,iso_region,municipality,gps_code,iata_code,local_code,coordinates

2020-05-21

OCR:图文结构理解探索和实践.pdf

阿里2019年云栖大会材料,关于计算机视觉如何通过OCR实现图文结构的理解和探索。同时是图片数据结构化的基础,端到端的低成本标注方案 结合空间和语义的结构理解,通用kv模板:提取各式卡证结构;用户输入: 100-200张标注样本;

2020-05-10

openldap2.4.48-centos7部署日志

此文件为centos7部署openldap全过程的日志文件,非常详细,照此操作基本无误 ######################################## #### OS:CentOS Linux release 7.3.1611 (Core) #### db:berkeleydb-5.1.29 #### lpad:openldap-2.4.48 ########################################

2019-07-31

firefox1.6.2——debug

调试javascript,调试extjs,调试jquery,让编程来的更轻松

2011-10-23

五笔打字游戏

五笔打字游戏,古老游戏,演绎现代版风情,非常给力,不容错过

2011-10-23

东芝SATELLITE Win7 M600显卡驱动

东芝Satellite M600驱动第一部分

2011-10-13

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除