- 博客(30)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 北京车展第二天-20240426
阿斯顿·马丁发布2025款DBX官图，新车对内饰设计进行了大幅度调整。风云T9预售仅7天订单超两万，厂商慷慨降价两万回馈消费者！BJ40刀锋英雄版·攀登者以亲民价重塑越野格局。科技与美学交融：享界S9，一款改写智能驾驶历史的热销车型。山海捷途引爆SUV市场，预计销量会冲到2024年冠军。第五代胜达与全新途胜L共塑SUV市场新标杆。超越期待：新一代迈腾的外观与内饰全面升级。红旗EHS7：电动SUV市场的璀璨明星。
2024-04-26 14:17:44
93
原创 监控MySQL数据库的方案
1. 性能监控：可以使用各种工具来监控MySQL的性能，包括查询响应时间、锁等待时间、事务处理速度等。例如，`SHOW STATUS`命令可以提供大量有关服务器状态的信息，`SHOW PROCESSLIST`可以显示当前正在运行的进程信息。3. 查询慢查询日志，通常可以通过`tail -n 100 /path/to/your/slow-query.log`命令查看最近的慢查询（请替换为实际的日志路径）。关于慢日志的查询，MySQL提供了一个名为"慢查询日志"的功能，用于记录执行时间超过一定阈值的查询。
2024-04-26 10:37:26
156
原创 监控MySQL数据库以及查询慢日志常用的系统命令和工具
同时，不同的数据库环境和业务需求可能需要不同的监控和优化策略。：此命令可以查询数据库的当前状态信息，包括连接数、缓存命中率、锁等待时间和数据缓存的读写情况等。监控MySQL数据库以及查询慢日志是数据库管理中的重要环节，有助于及时发现问题并进行优化。使用MySQL自带的mysqldumpslow工具来分析慢查询日志，它可以帮助你快速识别出最耗时的查询。根据慢查询日志的分析结果，对SQL语句进行优化，如添加合适的索引、优化查询逻辑等。处理监控数据，对采集到的数据进行处理，以便得到有意义的信息。
2024-04-26 10:34:28
304
原创 Percona Toolkit工具之pt-table-checksum
数据块checksum值的计算：pt-table-checksum会基于binlog_format=row的模式，在主库和从库上分别执行checksum的SQL语句。这个过程中，pt-table-checksum会检查表结构，获取每列的数据类型，并将所有类型转换为字符串，然后把一整行数据或整个数据块拼接成一个长字符串，并计算出一个校验值。由于MySQL的异步复制架构，从库可能会慢于主库，因此在比较主库和从库的表时，可能会出现数据不一致的情况，这种不一致并非由工具本身造成，而是由于从库的延迟导致的。
2024-04-26 10:28:10
219
原创 pt-table-checksum工作原理
pt-table-checksum`的基本工作原理是通过在主库和从库上对指定同步的表执行checksum操作，然后比较两边的结果来确定数据是否一致。在使用这些工具时，需要注意一些特殊情况可能会导致主从数据不一致，例如在Master端使用了不确定的函数、不正确的故障转移流程、直接在Slave进行DML操作等情形都可能引起数据同步问题。总之，通过合理运用像`pt-table-checksum`这样的工具，可以有效地监测和维护MySQL数据库的主从数据一致性，及时发现并解决可能出现的问题。
2024-04-26 10:25:38
62
原创 MySQL主从校验工具之 pt-table-checksum
pt-table-checksum 通过分块计算数据校验和、利用主从复制机制传播校验操作、并在主从服务器间比较校验结果，实现了对MySQL主从复制环境中数据一致性的高效在线校验。- pt-table-checksum 在从服务器上再次运行，这次它不再计算校验和，而是直接从主从两方的临时表或目标表中提取已计算好的校验和数据进行比较。pt-table-sync 依据pt-table-checksum 的报告，将主服务器上的正确数据同步到从服务器，以恢复数据一致性。因此，从服务器上也会生成对应的校验和信息。
2024-04-26 10:23:15
228
原创 MySQL主主复制环境在生产环境遇到问题如何解决
MySQL主主复制环境，即双主复制（Master-Master replication），是一种高可用和负载均衡的部署方式，其中两个MySQL服务器互为主从，每个节点都可以接受写入，并将变更同步到对方节点。- 写冲突：如果两个主节点同时接受针对同一数据项的并发更新，且这些更新无法自动合并（例如，对同一行进行不同的修改），可能会导致数据冲突。- 应用程序需能够适应主主环境的特点，如理解写操作可能在任一节点完成、读取可能返回的数据不一致（在同步延迟期内），以及如何处理可能遇到的冲突。
2024-04-26 09:43:01
202
原创 MySQL双主复制环境常见的问题
1. 网络延迟和分区：网络问题可能导致主服务器之间的同步延迟，甚至出现网络分区，这可能会导致数据不一致。在处理这些问题时，建议采取谨慎的方法，并在可能的情况下，先在非生产环境中测试解决方案。12. 监控和报警：建立有效的监控系统和报警机制，可以帮助及时发现和解决生产环境中的问题。2. 数据冲突：在双主复制环境中，如果两个管理员同时对两个主服务器进行写入操作，可能会发生数据冲突。在这种情况下，需要仔细执行操作，并确保有适当的备份和恢复计划。在修改配置之前，应该进行充分的测试，并确保理解每项配置的含义和影响。
2024-04-26 09:40:45
65
原创 MySQL的主主（Master-Master）生产环境中遇到的常见问题
在MySQL的主主（Master-Master）生产环境中，由于涉及到数据的双向同步，可能会遇到一系列问题。：由于两个主服务器都在写入数据，当它们几乎同时更新同一行数据时，可能会导致数据冲突或不一致。例如，如果复制用户没有足够的权限访问所需的数据库或表，或者权限被意外修改，都可能导致问题。：在Master-Master配置中，如果两个主服务器都使用自增字段，并且自增值设置不当，可能会导致主键冲突。：如果两个主服务器的MySQL版本不同，可能会导致不兼容问题，影响到复制的稳定性。
2024-04-26 09:26:39
71
原创 MySQL 主主复制在生产环境常见的问题有哪些
延迟问题：由于网络延迟或硬件性能等原因，主库之间的同步可能存在延迟。在读写分离场景下，如果读操作仅在一个主库上执行，那么该主库的数据可能比另一个主库旧。安全问题：在主主复制环境下，如果没有正确配置用户权限和网络安全策略，可能会导致数据泄露和黑客攻击等安全问题。一致性问题：在主主复制环境下，如果某个主库出现故障，可能会导致两个主库之间的数据不一致。为了保证数据的一致性，可以使用心跳检测和自动故障转移等技术手段。数据冲突：在主主复制环境下，两个主库同时写入相同的数据，可能会导致数据冲突。
2024-04-26 09:20:24
23
原创 北京车展-2024-04-25
市场风向标：坦克700逆袭，揭示45.98万普拉多面临的挑战与机遇。【轩逸销量热点】稳健前行，荣获季军殊荣，打造智慧出行新标杆！宋PRO DM-I勇攀高峰，再创销量第五的新能源奇迹。技术革新与市场认可并驱，海鸥车型斩获销量第四佳绩！东风日产轩逸：再创销量第三佳绩，究竟有何魅力？丰田皇冠如何破局，再现昔日市场辉煌？
2024-04-25 10:50:52
124
原创 存储过程异常日志写法
values(v_batchid,in_yymm,in_comm,'data_share','fr_pro_distribution_result',0,1,'系统进入的阶段：'||ls_exception,to_char(sysdate,'yyyy-mm-dd hh24:mi:ss'),in_optid,in_funid);(FR_fun_base_getid,'fr_pro_distribution_result', '项目调整',v_batchid,sysdate,in_optid);
2023-06-01 16:17:47
124
1
原创 浅谈B端产品与C端产品
浅谈B端产品与C端产品B是Business,商业机构主体。主要是一类组织，有一群不同角色、不同工作职能、不同工作场景、不同需求的群体构成。常见的有钉钉、企业微信、阿里巴巴等。C是Customer,个人主体。主要是面向一类具有高度相似的共性属性（相似特征）、场景、痛点和需求的人群。如微信、支付宝等。TO B 经过长时间的积累，有一套相对科学的管理方法和稳定的成型流程。并被实践经过打磨和验证，具有很强的自身特征。因此有很强的历史沉淀、不能随意的进行主观的修改。TO B 主体分为不同的行业，.
2020-11-13 13:38:19
554
原创 hadodop之hive 第一章 hive原理及如何使用Mysql作为hive的metastore元数据库
hive是什么？体系结构简洁 Hive的安装与管理 HiveQL 数据类型，表以及表的擦欧洲哦 HiveQL 查询数据 Hive Java客户端 Hive的自定义函数 UDF --- 加深拓展 hive是facebook 应用的。 1、Hive 建立在Hadoop上的数据仓库基础架构。是一种可以存储、查询和分析存储在hadoop中的 大规模数据...
2019-06-16 19:42:04
254
原创 hadodop之MR 第一章 MR原理
3、 Mapreduce 原理[K1,v1]----Map----[K2,V2]------Group--------Reduce----[K3,V3]1）文件上传后，被物理切分了。2）在块的基础上打标记。3)Shuffle...
2019-06-16 15:34:48
200
原创 hadodop之HDFS 第一章 hdfs原理
1、HDFS架构：name nodeData nodeSecondary name node1）客户端选读取数据。 和Name node 获取元数据。2）Name node 查询元数据信息。 元数据信息放在二维数据库如mysql。 内存和磁盘分别保存一份。3）返回Metadata数据给Name node，然后返回给 客户端。4） 数据就近原则。5） Name node...
2019-06-16 11:09:02
159
原创 hadodop之HDFS 第二章 hdfs的shell命令
hdfs shell 通过hdfs命令来操作hdfs的文件。第一、hadoop V1.0 和 hadopp V2.0及以上具备的命令jps 查看角色hadoop fs -ls hdfs://itcast02:9000/1)hadoop fs -ls name node2) hdfs的根存放什么信息。3）命令： cat，checkhadoop fs -copyF...
2019-06-16 10:28:26
104
原创 无法使用的公积金
已经在西安缴纳公积金4年多了，2019年4月刚好离职去新公司，公积金缴纳在北京。 这个时候想在老家贷款买房，结果老家公积金中心无法贷款。真实醉了。希望有同样经历的也晒一晒。...
2019-05-07 09:44:09
158
原创 大数据项目实施风险（一）
1、SOW和招标文件要反复确认。确保项目的实施范围。2、人员要给充分。3、测试环境和生产环境相关。测试环境：1）、测试环境数据测试那个时间段的数据？ 建议测试2019年1月到3月数据2）、大数据平台如何获取生产数据？是通过DBlink、物化视图、视图等？3）、特别敏感的数据可以考虑，由专人处理后，放到中间库。大数据平台通过中间表获取数据。生产环境：除了以上相同的问题...
2019-04-27 11:16:48
336
原创 数据仓库技术完成的功能
数据仓库技术：主要是将各个生产系统的数据，根据约定的数据规格（需要有10年左右的扩展性）汇总到一个平台。亦成为数据处理中心、中央存储。同时根据需要，需要支持从其他数据市场（数据集市）获取数据。保证数据储备的充足性。数据仓库的数据：1）管理需求：系统管理员需要监控硬件、软件资源。 仓库功能管理员需要完成仓库的系统稳定。2）根据角色，操作员、业务主管需要预处理应用中的数据，特别是需要支...
2018-12-24 18:05:36
444
原创 大数据项目实施案例
第一、项目目标将超过30个核心系统数据，实施同步复制，统一集中到大数据平台。1）将数据实施同步，数据量很大。---数据比较复杂2）数据复制的实时性、准确性3）复制数据需要增加标签（操作时间、操作类型、操作人等），便于后端识别数据。4）如何抽取数据，减轻对生产库的影响。如视图、临时表、dg库等手段。5）如何更好的适配后端应用，保证数据规格灵活，预留字段充足。可以考虑建立编...
2018-12-24 17:42:34
14131
1
原创 windows 下备份数据库脚本
rem ---------------------------------------------------------------------------rem windows环境下Oracle数据库的自动备份脚本。rem 可以将本批处理设成windows任务计划下自动执行。@echo off@echo =========================================...
2018-12-24 16:28:11
805
转载 运维面试题
序号问题答案1、在一台WWW服务器上将端口号设定为8000，默认的网页文件index.html，服务器 网页的根目录/www。在本机访问服务器时，正确的用法是（）BDE A 浏览器访问该服务器的URL 地址http://localhost/ B 浏览器访问该服务器的URL 地址http://loc
2017-11-20 14:46:07
2217
1
原创 从开发和维护项目角度探究开发项目前的工作-------开发项目经理
一直接触的项目大都缺少需求调研，大多的环境是：没有准确的需求、实现过程不清晰、主要解决的问题不明确。项目管理者更多关注界面、功能和数据，经常忽略功能之间的联系即业务过程。 因此就需要业务建模。第一种情况，业务本来就存在，它按照传统模式存在，或者有一些小的系统存在。但是用户只知道如何处理业务，需要将这个业务做一个系统的调研。当项目立项时候，需要结合业务、需求来完成建模工作。第二种情况
2017-10-31 15:49:47
187
原创 项目管理的经验（4年项目管理经验）
目前已经实施过5个省级项目，1个国家级项目，总结了一下项目经验：1、梳理公司结构、管理体系2、项目组织架构，建立团队。赋予助理权利与责任，荣辱与共。培养团队。3、项目目标：需求与范围定位，设计原型图。客户同意，上司支持，研发经理调整确认4、日常留意项目中所有事情，善于整合和利用资源。5、引入绩效和考核机制，适当的奖励和报酬，分享团队成员自己的知识和经验6、项目关键路径上的成
2017-07-12 14:21:53
4735
原创 expdp和impdp导入导出的脚本
导出：dba权限的用户，可以导出某个用户的数据库对象。expdp property/[email protected]:1521/orcl directory=filedump dumpfile=property515200.dmp logfile=property515200.log schemas=property导入：将property用户改为wec
2017-06-26 13:51:34
684
原创 oracle 游标常见应用
游标常见在存储过程中create or replace procedure proc_base_test(in_mode in varchar2,outvalue out sys_refcursor) isv_cursor sys_refcursor; --声明游标v_user varchar2(20);v_dept varchar2(20);begin --打开游
2017-03-16 13:04:31
369
原创 基础篇----linux 软件安装（待补充）
1、安装依赖包；2、解压tar.gz文件3、编译安装 4、配置.conf文件5、验证配置成功：进程是否启动或者是否占用了端口6、设置开机自启动。
2017-02-10 10:04:39
242
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人