小马哥博客

原创 01.音视频高手之H264详解

01.音视频格式封装原理02.帧内预测03.切片04.H264分层05.手写H264编码器06.H264解码流程07.H264与H265的区别差异

原创 音视频01-音视频格式封装原理.png

原创 01.音视频开发之课程大纲_第1课

课程介绍:        大家好啊，我是你们的马哥，我是已经工作多年资深开发工程师，主要研究领域是各平台的音视频开发，爬虫，产品研发等等。小伙伴们你们呢？？ 新的一年已经到了你们准备好了吗，有没有在新的一年设立些目标，有没有对新的一年进行规划呢，还是在为未来而感觉到迷茫呢?哈哈哈不要紧的，如果你不知道未来该怎么走，不要紧的，一起来学习音视频把，5g时代已经到来，我们的网速又有了质的提升，各行各业都在用5g技术从构自己。伴随而来的是我们进入了视频时代，各式各样的

原创 音视频开发之音频编码原理

音频编码原理本篇博客为面向大众的科普性文章。涉及声音原理、音频文件属性、音频格式等方面。预计阅读时间为10分钟。1.何为声音中学物理中我们知道，声音是物体振动产生的声波。声音通过介质（空气、固体、液体）传入到人耳中，带动听小骨振动，经过一系列的神经信号传递后，被人所感知。声音是一种波。物体振动时会使介质（如空气）产生疏密变化，从而形成疏密相见的纵波。既然声音是波，那么我们就可以用图的形式来表示它。给定空间中某一点，该点的空气疏密随时间的变化如下：波形图下图是一个正弦波，其周期为0.002s，

原创 音频编码之aac编码原理

AAC基本概况：l AAC（Advance Audio Coding）：即高级音频编码，出现在1997年，基于MPEG-2的音频编码技术，当时被称为MPEG-2 AAC,因此把其作为MPEG-2(MP2)标准的延伸。是由Fraunhofer IIS、杜比实验室、AT&T、Sony等公司共同开发，目的是取代MP3格式，随着MPEG-4(MP4)标准在2000年的成型，则为AAC也叫M4A。l 和AC3编码关系:和AC3关系不大，AC3早于AAC，是由AAC的发起单位杜比实验室和日本先锋合作研制

原创 windows10 ffmpeg使用clion采集视频(yuv420数据)

//// Created by 克来 M on 2021/1/21.//#include "libavutil/avutil.h"#include "libavdevice/avdevice.h"#include "libswresample/swresample.h"#include <stdio.h>int main() { int ret = 0; AVFormatContext *fmt_ctx = NULL; AVDictionary

原创 windows10 ffmpeg使用clion采集音频(pcm数据)

//// Created by 克来 M on 2021/1/21.//#include "libavutil/avutil.h"#include "libavdevice/avdevice.h"#include "libswresample/swresample.h"#include <stdio.h>int main() { int ret = 0; AVFormatContext *fmt_ctx = NULL; AVDictionar

原创 10_深度探秘搜索技术_多shard场景下relevance score不准确问题大揭秘

课程大纲需求：搜索标题中包含java的帖子，同时呢，如果标题中包含hadoop或elasticsearch就优先搜索出来，同时呢，如果一个帖子包含java hadoop，一个帖子包含java elasticsearch，包含hadoop的帖子要比elasticsearch优先搜索出来知识点，搜索条件的权重，boost，可以将某个搜索条件的权重加大，此时当匹配这个搜索条件和匹配另一个搜索条件...

原创 09_深度探秘搜索技术_基于boost的细粒度搜索条件权重控制

课程大纲需求：搜索标题中包含java的帖子，同时呢，如果标题中包含hadoop或elasticsearch就优先搜索出来，同时呢，如果一个帖子包含java hadoop，一个帖子包含java elasticsearch，包含hadoop的帖子要比elasticsearch优先搜索出来知识点，搜索条件的权重，boost，可以将某个搜索条件的权重加大，此时当匹配这个搜索条件和匹配另一个搜索条件...

原创 08_深度探秘搜索技术_基于term+bool实现的multiword搜索底层原理剖析

课程大纲1、普通match如何转换为term+should{ "match": { "title": "java elasticsearch"}}使用诸如上面的match query进行多值搜索的时候，es会在底层自动将这个match query转换为bool的语法bool should，指定多个搜索词，同时使用term query{ "bool": { "...

原创 07_深度探秘搜索技术_在案例中体验如何手动控制全文检索结果的精准度

课程大纲1、为帖子数据增加标题字段POST /forum/article/_bulk{ "update": { "_id": "1"} }{ "doc" : {"title" : "this is java and elasticsearch blog"} }{ "update": { "_id": "2"} }{ "doc" : {"title" : "this is java ...

原创 06_结构化搜索_在案例中实战基于range filter来进行范围过滤

课程大纲1、为帖子数据增加浏览量的字段POST /forum/article/_bulk{ "update": { "_id": "1"} }{ "doc" : {"view_cnt" : 30} }{ "update": { "_id": "2"} }{ "doc" : {"view_cnt" : 50} }{ "update": { "_id": "3"} }{ "doc"...

原创 05_结构化搜索_在案例中实战使用terms搜索多个值以及多值搜索结果优化

课程大纲term: {"field": "value"}terms: {"field": ["value1", "value2"]}sql中的inselect * from tbl where col in ("value1", "value2")1、为帖子数据增加tag字段POST /forum/article/_bulk{ "update": { "_id": "1"}...

原创 04_结构化搜索_在案例中实战基于bool组合多个filter条件来搜索数据

课程大纲1、搜索发帖日期为2017-01-01，或者帖子ID为XHDK-A-1293-#fJ3的帖子，同时要求帖子的发帖日期绝对不为2017-01-02select *from forum.articlewhere (post_date='2017-01-01' or article_id='XHDK-A-1293-#fJ3')and post_date!='2017-01-02'...

原创 03_结构化搜索_filter执行原理深度剖析（bitset机制与caching机制）

课程大纲（1）在倒排索引中查找搜索串，获取document listdate来举例word doc1 doc2 doc32017-01-01 * *2017-02-02 * *2017-03-03 * * *filter：2017-02-02...

原创 02.结构化搜索_在案例中实战使用term filter来搜索数据

课程大纲1、根据用户ID、是否隐藏、帖子ID、发帖日期来搜索帖子（1）插入一些测试帖子数据POST /forum/article/_bulk{ "index": { "_id": 1 }}{ "articleID" : "XHDK-A-1293-#fJ3", "userID" : 1, "hidden": false, "postDate": "2017-01-01" }{ "i...

原创 大数据技术体系

文件存储：Hadoop HDFS、Tachyon、KFS离线计算：Hadoop MapReduce、Spark流式、实时计算：Storm、Spark Streaming、S4、HeronK-V、NOSQL数据库：HBase、Redis、MongoDB资源管理：YARN、Mesos日志收集：Flume、Scribe、Logstash、Kibana消息系统：Kafka、Stor...

原创 01 es高手进阶系列课程说明

深度讲解搜索，数据分析，数据建模特色：纯手工画图剖析各种原理，纯实战驱动讲解各种知识点，知识体系的细致和完整怎么实战驱动？核心知识篇，上半季，我们也是纯实战驱动，但是之前没有一个统一的案例背景IT技术论坛，发各种IT技术的帖子：一种是自己研究了一个技术，就发出来一些研究心得；自己遇到了问题，发个帖子问一问。帖子会有人回复，还会有人浏览。当然了，还有一些论坛会提供简单社交的一个功能，...

原创 ElasticSearch6.2.5使用说明

第一章 ElasticSearch入门篇第一节 ElasticSearch概述1.1ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。ElasticSearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装...

原创 CentOS 6.5 安装远程桌面工具 xrdp + gnome

linux 远程桌面工具中，除了 vnc ，xrdp也是很不错的，连接速度很快，直接使用微软的远程桌面工具mstsc即可链接。下面整理一下安装配置步骤。使用root用户进行以下操作安装依赖包yum upgrade yum install gcc pam-devel openssl-devel libXfont pixman libX11-devel libXfixes-devel a...

原创 股票代码

list000007.SZ000001.SZ000002.SZ000004.SZ000005.SZ000006.SZ000008.SZ000009.SZ000010.SZ000011.SZ000012.SZ000014.SZ000016.SZ000017.SZ000018.SZ000019.SZ000020.SZ000021.SZ000022.SZ00002...

原创 wind__质押股份

# coding=utf-8from WindPy import *import pandas as pdimport timefrom sqlalchemy import create_engineimport pymysqlimport datetimedef pledged_shares(): # 质押股份 # 本代码已经经过测试 数据收取无误 质押...

原创 用python读取word中的表格

import docximport pymysqlimport osimport redef scan_files(directory, prefix=None, postfix=None): files_list = [] for root, sub_dirs, files in os.walk(directory): for special_fi...

原创 20180601 解决ubuntu 16 更新导致系统无法启动问题

直接开机选择高级模式 选择以前一个版本 进行恢复即可

原创 抓取投机岛期货论坛 并写入数据库

# -*- coding: utf-8 -*-import scrapyimport pymysqlimport datetimeimport refrom scrapy.selector import Selectorclass JiaoyizheSpider(scrapy.Spider): name = 'jiaoyizhe' start_urls = ['htt...

原创 使用jieba对词语进行分词并进行统计

import pandas as pdimport pymysqlfrom sqlalchemy import create_enginefrom collections import Counterimport jieba.analyseimport jiebaimport timeimport pynlpirimport datetimedef getYesterday(...

原创 History_value 2018-05-14

-- coding: UTF-8 --import os.path import os import time import datetime import pandas as pd from sqlalchemy import create_engine import pymysql import datetime import numpy as npdef histor...

原创 爬取好买 20180516

# -*- coding: utf-8 -*-import scrapyfrom scrapy.http import Request, FormRequestimport pymysqlclass HowbuySpider(scrapy.Spider): name = 'howbuy' # 爬取网址,只适于不需要登录的请求，因为没法设置cookie等信息 st...

原创 判断文件创建时间 并存入数据库__将公司绩效存到数据库

# -*- coding: UTF-8 -*-import os.pathimport osimport timeimport datetimeimport pandas as pdfrom sqlalchemy import create_engine# 先获取到一级目录def traversalDir_FirstDir(path):

原创 浅谈mysqldump使用方法(MySQL数据库的备份与恢复)

mysqldump –help1.mysqldump的几种常用方法：（1）导出整个数据库(包括数据库中的数据）mysqldump -u username -p dbname &gt; dbname.sql （2）导出数据库结构（不含数据）mysqldump -u username -p -d dbname &gt; dbname.sql mysqldump -h19...

原创 python csv 转 hdf

# coding: utf-8import osimport pandas as pdimport numpy as npimport redef scan_files(directory, prefix=None, postfix=None): files_list = [] for root, sub_dirs, files in os.walk(directo...

原创 python3.6 从ftp中下载文件并存入mysql数据库

from ftplib import FTPfrom sqlalchemy import create_engineimport pymysqlimport osimport pandas as pdimport timeimport datetimedef upload_1day_1min(date='null'): ftp = FTP(host='192.456.12...

原创 MySQL主从复制(Master-Slave)实践

MySQL主从复制(Master-Slave)实践MySQL数据库自身提供的主从复制功能可以方便的实现数据的多处自动备份，实现数据库的拓展。多个数据备份不仅可以加强数据的安全性，通过实现读写分离还能进一步提升数据库的负载性能。下图就描述了一个多个数据库间主从复制与读写分离的模型(来源网络)：在一主多从的数据库体系中，多个从服务器采用异步的方式更新主数据库的变化，业务服务器在执行写或者相关修改数据库...

原创 Windows Server R2下 安装Mysql5.7.16多个实例

一、前提条件：下载 MySQL安装包（zip包） 下载地址 https://downloads.mysql.com/archives/community/二、安装修改根目录下的my-default.ini文件，在[mysqld]下配置：数据库根目录 basedir = D:/mysql-5.7.16-3306数据存放目录 datadir = D:/mysql-5.7.16-...

转载 Linux下出现Read-only file system的解决办法

亲测有效！

转载 Centos 提示 mount: unknown filesystem type 'LVM2_member'的解决方案

挂载硬盘，提示 mount: unknown filesystem type ‘LVM2_member’的解决方案 问题现象：由于重装linux，并且加了固态硬盘，直接将系统装在固态硬盘中。启动服务器的时候，便看不到原来机械硬盘的挂载目录了，不知如何访问机械硬盘了。直接用命令 mount /dev/sda3 /store 挂载，提示 mount: unknown filesystem t...

原创 Ubuntu14.04 设置开机自启动方法

方法:apt-get install sysv-rc-confsysv-rc-conf用鼠标点击，也可以用键盘方向键定位，用空格键选择， “X”表示开启该服务。 用Ctrl+N翻下一页，用Ctrl+P翻上一页，用Q退出。也可以用命令：sysv-rc-conf –level 2345 mysql off注意：Ubuntu系统中服务的运行级别0 系统...

原创 Ubuntu16.04 挂载nfs服务

mount -t nfs 192.168.0.22:/home/chensiwei /home/chensiwei/ftpserver/

原创 Mysql5.7设置字符集设置为UTF-8

01.打开Navicat,单击右键新建数据库 02.使用Mysql语句创建数据库CREATE DATABASE database CHARACTER SET ‘utf8’;

原创 ubuntu14.04 --如何设置固定IP

问题:如何在ubuntu14.04中配置静态IP1.sudo vim /etc/network/interfaces加入下列内容auto eth0iface eth0 inet staticaddress 192.168.238.161netmask 255.255.255.0gateway 192.168.238.2