titake-CSDN博客

原创 hbase 设置超时参数

hbase设计的目标是成为一个高可用集群，能够在失败的时候快速响应，当出现网络抖动等偶发情况时，能快速重试，让用户可以快速拿到结果。而不是一直卡着，使得上层应用阻塞等待。这个功能可以通过设置下面的3个超时参数、超时重试次数来实现。在超时的时候，立即主动断开，并重试。可以在当前集群上重试，也可以切换集群重试。

2023-04-28 15:03:27 1915 1

背景描述：从kafka消费的数据落到Hbase中，源表的数据量较大，因此采用了mutator缓存1000条，或者累积1秒后，一起put。避免短时间内大量访问hbase regionServer，把hbase 干废了。由于mutator的flush操作是在invoke()方法中触发的，而invoke方法只在数据达到sink算子时，才会被触发。因此在夜间数据比较稀疏时，数据的时效性取决于两条数据到达的时间间隔。为解决这个问题，在open函数中初始化了一个Timer定时器，设置每秒中调用一次Invok

2022-03-17 11:44:16 3747

原创为什么β＞1 时 F-score中召回率越重要

模型训练中根据precision 和 recall计算F-score进而全面考虑准确率和召回率。如果认为准确率和召回率同等重要，就让β = 1，这就是F-1 score如果认为召回率更重要，就设定 β > 1。如果认为精确率更重要，就设定 β < 1这是因为，当 β 趋近于正无穷时，F-Score趋近于Recall rate；而当 β 趋近于 0 时，F-Score趋近于 Precision。...

2021-11-18 14:54:12 688 2

原创 Config file not exist: /var/lib/milvus/conf/server_config.yaml

docker模式安装milvus，最后创建并启动容器时，没有启动起来，日志中有一条报错：Config file not exist: /var/lib/milvus/conf/server_config.yaml但是明明/var/lib/milvus/conf/目录下有 server_config.yaml这个文件。再看创建容器的命令$ sudo docker run -d --name milvus_cpu_1.1.1 \-p 19530:19530 \-p 19121:1912

2021-11-04 14:52:44 1275

原创 java 程序包org.junit.jupiter.api不存在

编译执行的时候，报下面的错误：报错原因是找不到这个java程序包，估计是依赖没有加载成功。1. 在pom.xml 中检查是否添加了junit的依赖，如果没有手动加上<dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> </dependency>如果有&lt..

2021-06-17 09:21:51 33915 13

原创 Error：java：无效的源发行版：11

编译运行时，报错Error:java:无效的源发行版：11报这个错误的原因是编译的jdk和发行版不一致，检查如下几个配置项1、File - settings - Build,Execution,Deployment - Compiler - Java Compiler2、File - project structure以上全部修改一致后，编译运行成功。...

2021-06-17 09:18:25 441

原创 Model was constructed with shape for input Tensor(). but it was called on an input with incompatible

:Model was constructed with shape (None, 9, 7, 1) for input Tensor("input_1:0", shape=(None, 9, 7, 1), dtype=float32), but it was called on an input with incompatible shape (1, 9, 28, 1).在构建深度模型，并进行训练的过程中

2021-06-02 11:00:21 3204 4

原创一致性哈希和哈希槽--数据定位节点

在分布式存储系统中，数据会分布存放在各个数据节点上。那么数据来的时候，应该选择哪个节点存储数据，查询时又应该去哪个节点上找是一个很重要的问题。除此之外，增加新节点或老节点挂掉后，如何转移数据，也是需要关注的问题。一致性hash 和哈希槽就是为了解决上述的两大问题。一、一致性哈希1.1 基本原理一致性hash是一个2^32位的圆环，节点按照ip 哈希后，映射到环上。数据按照 key哈希后，也映射到环上。然后每个数据沿顺时针方向，在环上找最近的节点。1.2 雪崩当一个节点挂掉.

2021-05-26 09:16:41 559

原创 Hbase简介-hbase结构与hbase表结构、存储

HBase 是HDFS上的一个nosql数据库。HDFS本身是一个分布式文件管理系统，提供海量数据的分布式存储。但是对小文件和查询不友好。Hbase在HDFS之上提供了高并发的随机写和支持实时查询。一、Hbase数据结构与存储：首先，我们先了解一下hbase是怎么存数据的。Hbase作为nosql的列存储数据库，不再像mysql那种关系型数据库中的表。mysql中表中数据是一行一行存储的，如果某一行中有空值，也会占地方存NaN。比如下表，bob 那一行中 job 是空的，但是依旧..

2021-04-22 17:56:14 760

原创 attention机制

文章有点看不下去了，所以先来输出一波吧。唠一唠attention机制。一、背景：attention机制出家自NLP中的文本翻译。最朴素的翻译是，一个单词一个单词的蹦。翻译出来的效果那就是七零八落，能稍微明白个意思。那要想翻译好怎么整呢，长难句老师教我们，先看一遍整个句子，然后找出定语从句.... 反正大概就这么个意思。那就是说要关注单词和单词之间的联系了。那这个单词和单词之间的联系要怎么度量呢？attention 机制！我们都知道单词可以用word2vec学习到其向量表示。seq2seq模型中，

2021-01-13 18:07:36 759

原创 CM agent 发送heartbeat给CM server 不断发生 connection refused：timed out

1、首先测试 cm agent 连接至 cm server 7182端口，看是否联通（是连通）2、然后尝试 hard_restart agent 后依旧无法修复3、观察到许多 hive bdr 依旧和 cm server 保持通信，开始怀疑是同步任务压力过大。强制停掉此agent后，kill 掉后台所有的hive进程，再启动这个 cm agent）service cloudera-scm-agent next_stop_hard service cloudera-scm-agent st

2020-11-30 23:37:56 431

原创 hive replication的报错总结

这几天在做hive数据同步，来唠唠遇到过的报错1、java.io.IOExeption: Checksum mismatch between hdfs://distcpSourceNS/user/hive/warehouse/edmp_db.db/xxxx and hdfs://dsep-namservice1//user/hive/warehouse/edmp_db.db/xxxx这个报错看不出是为啥校验和会不同，接着往下翻其他的报错，看到：The DiskSpace quota of .

2020-11-30 23:25:24 1150 3

原创 windows无法更新geckodriver（selenium 报错Expected “handle“ to be a string, got [object Undefined] undefine）

问题：在用selenium做爬虫的时候，切换windows handle时，出现了问题：Expected "handle" to be a string, got [object Undefined] undefinedgoogle发现，是因为geckodriver版本太低了，需要更新。从github上下载最新的包https://github.com/mozilla/geckodriver/releases/tag/v0.27.0解压后，放到python/Scripts目录下或Ana.

2020-10-30 09:49:53 415

翻译 Cloudera Security（随心翻译）

Cloudera Security原文连接：https://docs.cloudera.com/documentation/enterprise/latest/topics/security.htmloverviewsecurity requirement 目标数据管理系统安全的目标可以分为以下四个方面：perimeter（边界）：我们必须保护集群的连接，免于外部和内部网络的攻击，以及各种角色的攻击。我们可以通过防火墙、路由、子网、以及合理利用公有与私有IP地址，来提供网...

2020-10-10 15:24:32 184

原创 HAProxy 原理 & dash board 各指标含义

rate分了：connection rate per second ：clients连接至HAProxy的频率（还没有创建完整的sessions） session rate per second：session 作为一个持有端到端连接（client到HAProxy，HAProxy到后端服务器）状态的实体，被创建的速率 request rate per second：在建立的连接上，HTTP请求被接收的频率Session rate描述client连接到HAProxy的速率。...

2020-09-23 17:45:19 851 1

原创 anaconda环境相关问题总结（环境迁移，不同python环境的创建）

环境迁移：https://zhuanlan.zhihu.com/p/87344422python3.6和python3.7共存：https://zhuanlan.zhihu.com/p/36538425

2020-08-06 10:53:50 451

原创 The current user does not have write permissions to the target environment. environment location:

通常都可行的方法：将这个目录的所有权转给当前用户$ sudo chown -R titake /path/to/anaconda3

2020-08-04 19:29:42 773

原创 sudo: conda: command not found

问题用conda命令安装包的时候，出现当前用户没有写权限，使用如下sudo命令$sudo conda create -c conda-forge -y -p /opt/jupyterhub/envs/example又出现如下错误：sudo: conda: command not found而且，使用chown命令将目录转给当前用户也不行。解决方法让root和普通用户共享环境变量，参考了此篇blog首先打开sudoers文件$sudo vi /etc/sud.

2020-08-04 18:11:51 1601

原创 CondaHTTPError: HTTP 000 CONNECTION FAILED for url ＜https://mirrors.tuna.tsinghua.edu.cn/anaconda/

用conda命令打包环境，出现了如下错误：CondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/linux-64/current_repodata.json>Elapsed: -An HTTP error occurred when trying to retrieve this URL.HTTP erro

2020-08-04 17:46:28 17432 18

原创 leetcode75. Sort Colors

Given an array withnobjects colored red, white or blue, sort themin-placeso that objects of the same color are adjacent, with the colors in the order red, white and blue.Here, we will use the in...

2020-03-29 20:47:09 101

原创 leetcode - 55. Jump Game

题目Given an array of non-negative integers, you are initially positioned at the first index of the array.Each element in the array represents your maximum jump length at that position.Determine i...

2020-03-26 00:00:45 100

原创 2020/3/25 华为笔试题

题目1：判断两个ip地址是否在同一个网段内。这个很简单，就不说了题目2给一个m*n的矩阵，矩阵中的元素要么为1，要么为0。求最大正方形面积。例：Input:[ ["1","0","1","0","0"], ["1","0","1","1","1"], ["1","1","1","1","1"], ["1","0","0","1","0"]]Output:...

2020-03-25 22:53:16 503

原创 leetcode - 53. Maximum Subarray

题目Given an integer arraynums, find the contiguous subarray(containing at least one number) which has the largest sum and return its sum.Example:Input: [-2,1,-3,4,-1,2,1,-5,4],Output: 6Expla...

2020-03-25 18:42:15 87

原创 leetcode 82. Remove Duplicates from Sorted List II

题目Given a sorted linked list, delete all nodes that have duplicate numbers, leaving onlydistinctnumbers from the original list.Return the linked list sorted as well.Example 1:Input: 1->2...

2020-03-25 17:41:48 89

原创 leetcode84. Largest Rectangle in Histogram

题目：Givennnon-negative integers representing the histogram's bar height where the width of each bar is 1, find the area of largest rectangle in the histogram.Above is a histogram where width ...

2020-03-25 12:17:28 90

原创手推线性回归与逻辑回归（两个LR，linear regression；logistic regression）

一开始看统计学习方法上的手推LR，那个最大似然函数那看的晕晕乎乎的。这两天又看了这个大哥讲的空间和概率上定义LR的目标函数，以及求解。清晰很多1、线性回归 Linear Regression1.1、目标函数的定义1.1.1 空间角度和SVM一样，首先定义目标函数。SVM是从空间考虑，点到超平面的最小距离最大。LR的空间考虑很直观，最小各点到回归线的距离之和。min∑i=1N∣∣wTxi−...

2020-03-25 11:45:36 247

原创 SVM手推求解

看了这个up主讲的白板推SVM，来总结一下。哇靠，刚刚又去看了一下up主之前发的视频，真的是大神。慢慢补完吧。毕竟拉格朗日乘子我都不明白是啥。SVM 硬间隔硬间隔和软间隔的区别在于，硬间隔要求把N个样本点都准确的分到超平面两边。软间隔可以有被误分类的点。1、svm定义首先根据svm的定义（所有的“正类点”都被分到超平面 wTx+b=0w^Tx+b=0wTx+b=0上方，所有的“负类点”...

2020-03-23 00:51:31 377

原创剑指offer - 数据流的中位数

题目描述如何得到一个数据流中的中位数？如果从数据流中读出奇数个数值，那么中位数就是所有数值排序之后位于中间的数值。如果从数据流中读出偶数个数值，那么中位数就是所有数值排序之后中间两个数的平均值。我们使用Insert()方法读取数据流，使用GetMedian()方法获取当前读取数据的中位数。思路每次插入的时候，用二分法，将数值插入到正确的位置上。每次获取中位数的时候，只需要判断数组长...

2020-03-20 10:05:48 67

原创剑指offer - 二叉搜索树第k小的节点

题目描述给定一棵二叉搜索树，请找出其中的第k小的结点。例如，（5，3，7，2，4，6，8）中，按结点数值大小顺序第三小结点的值为4。思路其实就是中序遍历下，第k个遍历到的节点# -*- coding:utf-8 -*-# class TreeNode:# def __init__(self, x):# self.val = x# ...

2020-03-20 09:38:51 46 1

原创剑指offer - 链表中环的入口

题目描述给一个链表，若其中包含环，请找出该链表的环的入口结点，否则，输出null。要求：空间复杂度为 O(1)思路用两个指针，快指针一次走两步，慢指针一次走一步。如果有环，他们一定会相遇相遇后，可以通过固定一个指针，移动另一个指针，获得环的长度 n然后将两个指针都指向头，快指针先走 n 步，然后慢指针再走。两个指针都是一次走一步，则会在环开始的地方相遇。# -*- c...

2020-03-20 00:39:37 65

原创剑指offer - 表示数值的字符串

题目描述请实现一个函数用来判断字符串是否表示数值（包括整数和小数）。例如，字符串"+100","5e2","-123","3.1416"和"-1E-16"都表示数值。但是"12e","1a3.14","1.2.3","+-5"和"12e+4.3"都不是。思路这个没啥说的，注意边界就好class Solution: def isNumeric(self, s): ...

2020-03-19 22:37:20 62

原创剑指offer - 构建乘积数组

题目描述给定一个数组A[0,1,...,n-1],请构建一个数组B[0,1,...,n-1],其中B中的元素B[i]=A[0]*A[1]*...*A[i-1]*A[i+1]*...*A[n-1]。不能使用除法。（注意：规定B[0] = A[1] * A[2] * ... * A[n-1]，B[n-1] = A[0] * A[1] * ... * A[n-2];）思路B 的乘积分为两部分...

2020-03-19 21:45:33 60

原创剑指offer - 孩子们的游戏（圆圈中剩下的数）

题目描述每年六一儿童节,牛客都会准备一些小礼物去看望孤儿院的小朋友,今年亦是如此。HF作为牛客的资深元老,自然也准备了一些小游戏。其中,有个游戏是这样的:首先,让小朋友们围成一个大圈。然后,他随机指定一个数m,让编号为0的小朋友开始报数。每次喊到m-1的那个小朋友要出列唱首歌,然后可以在礼品箱中任意的挑选礼物,并且不再回到圈中,从他的下一个小朋友开始,继续0...m-1报数....这样下去.....

2020-03-19 21:24:26 73

原创剑指offer：获取最小的k个数

思路1：用一个长度为k的list存放k个最小数字，遍历数组，每来一个数，将这个数和list中的最大数比较，如果比最大数小，那就把最大数换出来。这个思路是对的，不过可以接着优化。不用list，而是用一个大根堆。大根堆的定义：一棵满二叉树；根 > left , right数组中大根堆的存放方式： index 为 i 的节点的roo...

2020-03-13 09:01:10 96

原创剑指offer - 是否为连续牌

题目描述LL今天心情特别好,因为他去买了一副扑克牌,发现里面居然有2个大王,2个小王(一副牌原本是54张^_^)...他随机从中抽出了5张牌,想测测自己的手气,看看能不能抽到顺子,如果抽到的话,他决定去买体育彩票,嘿嘿！！“红心A,黑桃3,小王,大王,方片5”,“Oh My God!”不是顺子.....LL不高兴了,他想了想,决定大\小王可以看成任何数字,并且A看作1,J为11,Q为12,K...

2020-03-12 14:59:53 71

原创剑指offer - 和为s的两个数

题目描述输入一个递增排序的数组和一个数字S，在数组中查找两个数，使得他们的和正好是S，如果有多对数字的和等于S，输出两个数的乘积最小的。思路双指针。这个题和剑指offer的第一个题很像。第一个题是在一个二维的排序矩阵中找到target，也是用的双指针class Solution: def FindNumbersWithSum(self, array, tsum):...

2020-03-12 14:41:10 71

原创剑指offer - 和为s的连续数列

题目描述小明很喜欢数学,有一天他在做数学作业时,要求计算出9~16的和,他马上就写出了正确答案是100。但是他并不满足于此,他在想究竟有多少种连续的正数序列的和为100(至少包括两个数)。没多久,他就得到另一组连续正数和为100的序列:18,19,20,21,22。现在把问题交给你,你能不能也很快的找出所有和为S的连续正数序列? Good Luck!输出所有和为S的连续正数序列。序列内按...

2020-03-12 14:35:22 106

原创剑指offer - 找到数组中两个只出现一次的数

题目描述一个整型数组里除了两个数字之外，其他的数字都出现了两次。请写程序找出这两个只出现一次的数字。思路这个题我本来打算用暴力来解决的，弄一个dictionary，然后对每个数计数。优化空间复杂度为O(1)用异或，相同数字的异或为0，0与任何数异或为任何数。这样所有数异或的结果，为那两个只出现一次的数然后根据这个异或结果，找出两个数二进制位不同的一...

2020-03-12 12:56:28 119

原创剑指offer- 求树的深度

题目描述输入一棵二叉树，求该树的深度。从根结点到叶结点依次经过的结点（含根、叶结点）形成树的一条路径，最长路径的长度为树的深度。思路用递归。找到最长的路，相当于加上当前的根节点，然后从左右子树中选择出最深的路。# -*- coding:utf-8 -*-# class TreeNode:# def __init__(self, x):# self....

2020-03-12 12:11:02 65