Overview
Implement Linear Regression Using IPython notebook
Overview
Overview Logistic Regression
Overview Loss Function
Overview
feature normalization:特征规范化，是用来对数据的独立特征进行范围标准化的一种方法，一般用于数据处理的前期工作中。
Overview
在给定的loss function情况下，采用一种算法帮我们找到该loss function的最小值或者接近最小值。
即：minimize loss(X,y,\(\Theta\))。
机器学习的问题最终都会归结为对一个优化问题进行求解，而优化问题可以分为无约束优化问题和有约束优化问题。有约束的优化问题是指对于目标函数中的变量有显式约束条件的，比如0<=x<=100。
无约束优化问题是指对于目标函数的变量没有显式约束的，或者说可以将约束转化成目标函数的惩罚项的，比如说正则化项。
大多数机器学习问题最终都要解一个无约束的优化问题，因此本文主要对无约束优化问题及其优化算法做一个概述。下文提到的优化问题都指无约束优化问题。