Foreword 记录数据结构特点、适用场合。 一级类别 二级类别 存储类型 查询复杂度 更新复杂度 链表 单链表 链表 O(n) O(n) 链表 双链表 链表 ...
data-mining-distribution
Foreword 这里介绍数据挖掘中如何对数据进行分布检测。 示例数据iris import os import random import pandas as pd import numpy as np import statsmodels.api as sm import statsmodels.stats.multicomp from statsmodels.formula....
data-mining-p-norm
Foreword 这里介绍数据挖掘中的正则化技术。 定义 Given a vector space V over a field F of the real numbers $\mathbb {R}$ or complex numbers $\mathbb {C}$ , a norm on V is a nonnegative-valued function p: V → $\mat...
Python包推荐
Foreword 这里记录一些使用的模块。 图形类 SciencePlots 一个Matplotlib的补充包，增添scatter、notebook等其他软件常用的绘图工具，还支持一键调用符合IEEE等不同期刊要求的图表格式。 import numpy as np import matplotlib.pyplot as plt def model(x, p): retu...
data-mining-preprocessing
Foreword 数据挖掘中数据预处理方法介绍。数据预处理主要使用以下几种手段： 归一化（normalization）：归一化是将样本的特征值转换到同一量纲下，把数据映射到[0,1]或者[-1, 1]区间内。 标准化（standardization）：标准化是将样本的特征值转换为标准值（z值），每个样本点都对标准化产生影响。 以下以MinMaxScaler为例，介绍sklearn中...
jupyter-notebook-tips
输出格式转换 转换为markdown格式： jupyter nbconvert --to markdown solution.ipynb 转换为pdf格式： jupyter nbconvert --to pdf solution.ipynb 其他支持格式列表： ['asciidoc', 'custom', 'html', 'html_ch', 'html_embed', '...
machine-learning-nni
Foreword 自动调参可以极大的提升模型构建自动化程度，NNI是微软提供的优秀框架，帮助用户自动的进行特征工程，神经网络架构搜索，超参调优以及模型压缩。 官方网站：https://github.com/microsoft/nni/blob/master/README_zh_CN.md 原理介绍 开始之前一些术语介绍： 概念 说明 ...
database-mysql-innodb
Foreword 待续。 B+ Tree / B-link Tree 查询优化 Reference 更多信息，请参考： https://mysqlserverteam.com/innodb-tablespace-space-management/ https://dev.mysql.com/doc/internals/en/ https://zhuanlan.zhihu.co...
machine-learning-sklearn-search-cv
Foreword sklearn模块提供了自动调参功能，这里调整的参数是模型的超参，而非训练过程中特征的权重参数。这些超参数需要在训练前先验的设置，因此可以使用对应方法进行自动调参。 官方网站：https://scikit-learn.org/stable/modules/grid_search.html GridSearchCV GridSearchCV包含了两个概念，网格搜索（G...
machine-learning-feature-engineering
Foreword 在机器学习领域，整个行业朝着准入门槛更低、研发流程更敏捷方向发展，Auto-ML的出现意味着整个流程更加自动化。Auto-ML主要集中在特征工程自动化，模型选择自动化，模型训练及参数优化自动化，数据偏移检测自动化等。以下以python sklearn等模块，示例各个阶段如何进行自动化数据数据。 Feature Engineering 特征工程自动化指通过一些方法手段，...