- 博客(250)
- 资源 (4)
- 收藏
- 关注
RSS订阅
转载 转载-微信公众号 低并发编程
文章目录首页通讯-网络基础通讯-tcp计算机基础-门电路文件系统IO计算机处理tcp线程池多线程共享变量算法动态规划中间件redisredis哨兵RDB架构设计方案[可扩展架构的方法论AKF 可扩展立方体](https://mp.weixin.qq.com/s?__biz=Mzk0MjE3NDE0Ng==&mid=2247495798&idx=1&sn=669cdc9d268fbc363741f06ef8808065&chksm=c2c58adbf5b203cd0bae850
2022-05-20 15:27:14
2747
转载 ChatGPT 入门原理技巧
ChatGPT可以 【编辑】 问题，重新【save & submit】，相当于重置 context window。Context window: 是指多轮对话中模型在生成回复时所考虑的上下文范围,第一反应——更多聊天 = 更多更混乱的context window = 无法修复。Alignment: 是指模型的输入和输出之间的一致性，将问题与回答对齐。超长聊天 > 超长的context window = 健忘。混乱聊天 > 混乱的context window = 懒惰。需要花费算力在识别与理解需求上。
2024-04-24 13:58:36
3
原创 【AWS】step-functions服务编排
同步，至少执行一次workflows，最多可以运行五分钟。异步，仅执行一次workflows，可以运行长达一年。任务状态可以调用任何 AWS 服务或 API。配置工作流，工作流中的每个步骤称为一个状态。
2024-02-05 14:51:40
783
原创 读书笔记【程序员修炼之道-务实的最高境界 v2】
你有选择权软件开发不限地域，可以选择改变组织，换组织，对组织提出要求学习新技术不害怕错误承认错误，不找借口，提供解决方案选择不要放任：软件熵，技术债，破窗不做破窗的那个人石头汤: 渐进的骗局正向思考：做催化剂，吸引、欺骗人参与渐进反向思考：牢记全景，不要做被欺骗的温水青蛙够好即可的软件就是最好的让用户参与权衡，知道何时止步把质量视为 需求问题管理知识组合知识有时效性，会过时。管理知识组合 类似 管理金融投资：- 定期投资（持续学习）- 长线成功关键是 多样化投资（扩展技能）
2024-01-26 17:46:26
167
转载 JSON Path
JSONPath 之于 JSON，就如 XPath 之于 XML。JSONPath 可以方便对 JSON 数据结构进行内容提取。在JsonPath表达式执行后进行调用，其输入值为表达式的结果。
2023-11-13 13:54:57
106
原创 测试工具：hurl
Hurl 是一个命令行工具，它运行以简单的纯文本格式定义的 HTTP 请求。它可以发送请求、捕获值并评估对标头和正文响应的查询。从 HTTP 响应中提取可选值，并存储在命名变量。官网：https://hurl.dev/
2023-10-30 14:08:13
589
原创 influxDB
用户（user）、保留策略（retention policy）、连续查询（continuous query）和时序数据的逻辑容器。Bucket 结合了 database 和 retention period 的概念。最佳实践：（ 时间/毫秒，数据条数，当其中一个先达到时批量插入）InfluxDB 数据模型将时间序列数据 存储到存储桶和测量中。Measurement、tage相同的一组数据。InfluxDB 数据都存储在存储桶中。类似 SQL 的查询语言。时间序列数据的逻辑分组。存储 随时间变化的值的。
2023-08-09 09:45:30
236
翻译 clickhouse
ALTER 仅支持 *MergeTree ，Merge以及Distributed等引擎表。在集群设置中，可以使用ON CLUSTER子句以分布式方式运行此类查询。数据导入到ClickHouse是通过INSERT INTO方式完成。单机性能不差（占用资源多、建议单机单应用）包含有当前正在处理的请求列表。能通过http请求直接查询。可用mysql驱动连接。OLAP离线数据处理。
2023-07-29 16:52:25
133
原创 k3s安装使用
在某些Linux发行版中，SELinux可能会阻止K3s的正常运行，使用该环境变量可以显示SELinux警告信息，以便进行调试和排除故障。在某些Linux发行版中，安装K3s时可能会出现container-selinux软件包版本不匹配的问题，使用该环境变量可以跳过安装该软件包。从 Kubernetes Dashboard 版本 v3 开始，底层架构发生了变化，需要全新安装。AutoK3s 是用于简化 K3s 集群管理的轻量级工具，您可以使用 AutoK3s 在任何地方运行 K3s 服务。
2023-07-28 11:54:59
798
原创 HTTP MIME/Content-Type (Body 类型)
HTTP MIME/Content-Type (Body 类型)原始格式：raw 文本：text/xxx text/plain text/html text/css text/javascript text/xml application/xxx application/octet-stream binary msgpack application/json GraphQL application/xml application/pdf application/zip 表单相关
2023-06-28 16:47:16
1370
翻译 java feign接口调用
后端HTTP库技术：（在后端服务器端发送HTTP请求和处理HTTP响应的工具）RetrofitOkhttpFeignFeign是声明式Web Service客户端使用了注解和反射机制来生成HTTP客户端代码，使得开发者可以通过简单的接口定义来调用HTTP服务，而无需编写大量的样板代码。Feign还提供了负载均衡和服务发现等功能，使得开发者可以更加方便地使用分布式系统。
2023-05-06 17:53:58
680
1
原创 Terraform
编写一些 配置文件 就可以管理多个云平台上的基础设施。//resource块 resource "" "" {//resource块体 < 资源参数 > = "参数值" < 资源参数 > = "参数值" //metadata块 metadata {//metadata块体 参数 = "参数值" } }: 每个 Terraform 提供者都有自己的文档，描述其资源类型及其参数。
2023-04-28 15:08:09
1273
原创 prometheus 实践
计算范围向量中时间序列的增加量算法：第一个样本 - 最后一个样本计算范围向量中时间序列的每秒平均增长率算法：（第一个样本 - 最后一个样本）/ 时间(秒)源数据粗粒度，用rate按秒计算会有很多空值，形成断点、断链rate比increase适合 源数据细粒度的情况长尾效应：使用了平均值，很容易把峰值削平。体现不出访问量激增的情况不够灵敏，适合做分期长期趋势或告警规则计算范围向量中时间序列每秒的瞬时增长率算法：取最后两个数据，算差值最多可向后查询 5分钟：灵敏，适合短期predict_linear
2023-03-29 16:17:22
380
翻译 Prometheus 监控系统
时间序列中某个时间点的单个值（包含一个 float64 值和一个毫秒精度的时间戳）主要用作监控，基于时序，主动对指标抓取、存储、查询、绘图，并根据规则发警报。Prometheus 的维度数据模型, 标识相同指标的特定维度实例。更改任何标签值，包括添加或删除标签，都将创建一个新的时间序列。数据支持float64，对字符串和毫秒分辨率时间戳的支持有限。从其他系统（例如长期存储）透明读取时间序列作为查询的一部分。将所有数据存储为时间序列【时间戳，指标数据】通过一个指标+一组标签，表示时间序列。
2023-03-23 11:36:10
217
转载 Flink
概念：数据 流与批无界数据流有界数据流Flink安装批处理 DataSet API（略）流处理 DataStream APISource算子流式分析核心概念时间语义使用 Event Time 事件时间WaterMark 水位线迟到元素Window 窗口时间窗口计数窗口State 状态状态管理CheckPoint
2023-02-28 17:16:06
94
原创 Spark入门概念
Spark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARN。原理是把输入数据以某一时间间隔批量的处理，当批处理间隔缩短到秒级时，便可以用于处理实时数据流。防止故障：在程序发生崩溃的时候，Spark可以恢复此数据，并从停止的任何地方开始。单机使用时，Spark还可以采用最基本的local模式。，需要上一个RDD全部分区处理完成操作后才能计算。窄依赖：当前RDD的计算只依赖上一个RDD的。宽依赖：当前RDD的计算依赖上一个RDD的。
2023-02-07 17:32:53
450
原创 HBase入门概念
所以更新与删除操作 需要用追加（Timestamp，Type）来特殊实现。一行row， 实际物理存储的是一个个cell（kv）HBase基于HDFS存储，只能顺序读写，追加记录，存储在HDFS集群中的HBase表的目录结构是…Get, Put, Scan, 和 Delete。在逻辑视图里，表可以被看成是一个稀疏的行的集合。增加、修改、删除 column family。，拆分文件夹，一个store一个文件夹。在物理上，它的是区分列族 存储的。逻辑上数据是稀疏的，有空值。创建、删除 table。
2023-02-02 17:28:03
265
原创 Hive入门概念
元数据包括：表名、字段名、字段类型、关联HDFS文件路径等这些数据库的Meta信息。将SQL语句转为 MapReduce Job查询HDFS。删除：元数据与HDFS都会删除。数据：存储在HDFS。
2023-02-01 17:01:50
152
原创 java时间处理
Date对象里存的是自 格林威治时间 (GMT、 UTC) 从1970年1月1日0点至Date对象所表示时刻所经过的毫秒数。它有ZoneOffset和ZoneRegion两个子类，分别代表偏移量表示法和区域表示法。但 Sysytem.out.println函数在打印时间时，会取操作系统当前所设置的时区。Java中和时区相关的类有TimeZone、ZoneId。和最基本的String一样，是不变类型，不单。只是 年、月、日、时分秒，纳秒这样的数字。包含日期，时间，还有毫秒数。使用Calender计算。
2023-01-06 17:07:34
623
原创 spinnaker 持续部署
Jenkins 从来就不是为云部署而设计的，因此需要外部脚本来推动流程向前发展。在云原生的环境下，比如k8s集群部署，这些CD缺点会更加明显。Spinnaker 可以使部署阶段更加灵活。Jenkins是CI工具。从Jenkins说起。
2022-11-24 10:40:29
494
翻译 5. 设计即时消息服务
程序将通过“hash（UserID）%1000”找到分区号，然后从中存储/检索数据。如果一个DB分区是4TB，五年将拥有 “3.6PB/4TB~=900” 个分区。由于我们决定将用户的所有消息存储在一个碎片上，因此用户的缓存也应该完全驻留在一台机器上。则获取用户的一系列聊天消息需要对多个分区io，将非常缓慢，因此我们不应采用此方案。目前client只能向活动用户发送消息，如果向脱机状态用户发消息将会返回失败。5亿用户，广播给所有相关的活动用户，将消耗大量资源。不同的客户端，页面大小可能不同，
2022-11-23 14:23:15
125
转载 避免长时间gc
垃圾回收gc削峰填谷Peak cutJava的安全点 safepoint可数循环（Counted Loop）、不可数循环（Uncounted Loop）
2022-11-17 15:04:28
303
原创 树结构概述
只拿 叶子节点 保存指针数据，构成了一个有序链表，查询速度更高、更稳定。缺点：追求平衡苛刻，插入时出现不满足的情况，需要花时间去做一些变换。兄弟节点之间有指针。节点满时会向兄弟节点转移关键字。放弃了追求完全平衡，追求大致平衡。插入节点的变换会更少。思路：采用二分法和数据平衡策略来提升查找数据的速度；缺点：有可能退化成列表，树的深度差距大。缺点：容量有限，节点满时就会分裂。缺点：一个节点只能2路查找。树的深度 差距不超过1。缺点：查询速度不稳定。
2022-11-15 11:23:58
200
原创 Kerberos
验证Client端的身份（确定你是身份证上的本人），验证通过就会给一张票证授予票证（Ticket Granting Ticket，简称 TGT）给 Client。通过 TGT（AS 发送给 Client 的票）获取访问 Server 端的票（Server Ticket，简称 ST）。对于某个 principal 个体而言，他的 credential 就是他的 password。在 kerberos 认证的环节中，credential 就意味着各种各样的 ticket。像编程语言中的namespace。
2022-11-02 17:57:52
167
原创 系分：系统设计、业务分析
提需求 -> 需求评审 -> 研发做系分 -> 系分评审 -> 编码 -> MR -> 代码效能检测 -> CR -> ….系分的全称是“系统设计、业务分析1，工作任务拆解更细化，工时评估更精准；2，更容易发现未知问题，并提前确定解决方案；3，减少开发过程中不必要的沟通成本；4，便于后期项目的迭代和维护；通过系统分析设计文档可以降低编码的不确定性，系分做的越详细，编码时不确定性就越小，因为所有问题、边界、流程、数据处理你都提前想清楚了，文档就是一种
2022-11-02 17:10:04
1007
原创 EclipseLink
EclipseLink框架实现多租户EclipseLink对多租户支持优秀参考官方文档：https://www.eclipse.org/eclipselink/documentation/2.7/jpa/extensions/annotations_ref.htm#BABIEJGD@Multitenant：添加在实体类上，表明可以被多个租户间共享。@TenantDiscriminatorColumn：配合@Multitenant 来定义租户区分列。需注意的是使用此注解时，Multitenant中的策
2022-11-02 17:06:46
141
翻译 3.照片分享服务
假设系统年限 10年总用户5亿，活跃用户100万，每个用户关注500个平均每人每天2张照片，每天200万照片，每秒23张每张照片 200kb每天容量 = 2M * 200KB => 400 GB10年 = 400GB * 365 * 10（年）~= 1425TB。
2022-10-28 17:22:00
147
翻译 2.web粘贴板
创建key = addPaste（账号，data，自定义url，过期时间）查询getPaste（账号，key）删除deletePaste（账号，key）
2022-10-28 17:19:23
143
翻译 1. 短地址服务
写请求/s = 5 亿 /（30 天 * 24 小时 * 3600 秒）= ~200 URLs/s。服务会确保只删除过期的链接，虽然有些过期的链接可以存活更长的时间但永远不会退还给用户。每天缓存热门url = 20% * 17 亿 * 500 字节 = ~170GB。访问者所在的国家/地区、访问日期和时间、指向点击的网页、浏览器或访问页面的平台。请求带宽 = 20K * 500 字节 = ~10 MB/s。存储对象数量 = 5亿 * 5年 * 12月 = 300亿。记录url使用次数，用户位置。
2022-10-28 17:14:52
164
原创 系统设计 流程概述
系统设计 步骤计算指标File sizesTimeQPSDesign Gurus 的 6Step 六步解题法：九章总结的 4S 分析法：
2022-10-28 17:08:46
669
BCclassSettings.bcpkg
2019-12-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人