Derek

Thoughts, imaginations, and stories.

机器学习|Feature Engineering

1. Feature Selection We could delete some existing columns by using feature importance. 2. Feature Generation/Extraction We could add some new columns. For example, generating new attributes usi...

机器学习|Model-Agnostic Interpretation Methods

1. Direct Relationship Analysis Direct relationship analysis includes partial dependence plot, individual conditional expectation, feature interaction, feature importance, and etc. 1.1 Partial De...

机器学习|Imbalanced Classes

1. Way to Handle Collect more data. Use appropriate evaluation metrics: (1) scale_pos_weight in XGBoost ($\frac{\mathrm{Number\ of\ negative\ instances}}{\mathrm{Number\ of\ positive\ instanc...

机器学习|Data

1. One-Hot Encoding As we mentioned before, we could use one-hot encoding for categorical data: pandas.get_dummies or sklearn.preprocessing.OneHotEncoder. Here is an examples. from numpy import ...

机器学习|Ensemble Learning

1. Introduction Here is the definition of ensemble learning (集成学习). Given base (weak) learners $\lbrace f_b \rbrace_{b=1}^B$ and their weights $w_b$, $$f(x)=\sum\limits_{b=1}^Bw_bf_b(x).$$ If ...

实分析|实数(三)

1. 实数的指数运算 关于实数的最后一个部分是指数运算,之前我们定义了$x^n,$ 其中$x\in\mathbb{Q}, n\in\mathbb{N}.$ 类似地,我们可以定义实数的指数运算. 定义 1.1(实数的自然数次幂)    设$x$是一个实数,定义$x^0:=1.$ 现在递归地假设对于某个自然数$n$已经定义了$x^n,$ 那么我们定义$x^{n+1}:=x^n \times ...

实分析|实数(二)

1. 实数排序 在对实数进行排序之前,我们要先定义正、负以及零. 定义 1.1    设$\lbrace a_n \rbrace$是一个有理数序列,我们称该序列是正远离$0$的,当且仅当存在一个正有理数$c>0$使得$a_n \geq c$对所有的$n \geq 1$均成立. 称该序列是负远离$0$的,当且仅当存在一个负有理数$-c<0$使得$a_n \leq -c$对所有的...

实分析|实数(一)

1. 柯西序列 实际上,在学习微积分的时候,我们会提到实数的构造. 然而关于这一部分内容我们需要一个更严谨的说明,这就涉及到了一个我们在学习微积分的时候同样接触过的概念,柯西序列. 首先,我们定义有理数序列(注意,当我们清空了关于大学以前所有的数学记忆时,我们的数系现在只扩充到有理数系). 定义 1.1(有理数序列)    设$m$是一个整数. 有理数序列$(a_n)_{n=m}^\in...

实分析|整数和有理数

0. 说明 关于整数和有理数部分,仅整理一些关于线性代数里的知识. 1. 整数 定理 1.1(整数的代数定律)    设$x, y, z$是整数,那么 (1.1.1)$x+y=y+x.$ (1.1.2)$(x+y)+z=x+(y+z).$ (1.1.3)$x+0=0+x=x.$ (1.1.4)$x+(-x)=(-x)+x=0.$ (1.1.5)$xy=yx.$ (1.1.6...

实分析|自然数

1. 皮亚诺公理 假设    存在一个数系$\mathbb{N},$ 我们称$\mathbb{N}$中的元素为自然数,且关于自然数的皮亚诺公理对$\mathbb{N}$均成立. 其中,关于自然数的皮亚诺公理包括: 公理 1.1    $0$是一个自然数. 公理 1.2    如果$n$是一个自然数,那么$n++$也是一个自然数. 其中$++$是增量运算.     命题1.2.1  ...