%matplotlib inline import sympy import numpy as np import matplotlib.pyplot as plt from sympy.abc import x as a,y as b
# 模擬函數(shù) y=3x-1 #自變量 x=np.linspace(-5,5,num=1000) #加入噪聲 noise=np.random.rand(len(x))*2-1 #因變量 y=3*x-1+noise
plt.figure(figsize=(10,10)) plt.scatter(x,y,s=1)
y=ax+b #目標(biāo)函數(shù) e=1/2*Σ([axi+b]-yi)^2 #代價函數(shù)，求使得代價函數(shù)為最小值時，對應(yīng)的a和b 對a求偏導(dǎo)->Σ(axi+b-yi)*xi 對b求偏導(dǎo)->Σ(axi+b-yi)
我們知道當(dāng)在a,b處的偏導(dǎo)為0時，代價函數(shù)e達到最小值，所以得到二元一次方程組
Σ(axi+b-yi)*xi=0
Σ(axi+b-yi)=0
該方程組是關(guān)于未知數(shù)為a,b的二元一次方程組，通過求解該方程，得到a，b
result=sympy.solve([
np.sum((a*x+b-y)*x),
np.sum(a*x+b-y)],[a,b])
print(result) #{x: 3.01182977621975, y: -1.00272253325765}
通過sympy庫解方程組，得出了a= 3.01182977621975，b= -1.00272253325765，已經(jīng)與我們真實的a，b很接近了，下面進行作圖
plt.figure(figsize=(10,10)) plt.scatter(x,y,s=1) plt.plot(x,result[a]*x+result[b],c='red') print(type(a),type(b)) #class 'sympy.core.symbol.Symbol'> class 'sympy.core.symbol.Symbol'>
我們注意到最小二乘法最后一步要求p個方程組，是非常大的計算量，其實計算起來很難，因此我們就有了一種新的計算方法，就是梯度下降法，梯度下降法可以看作是 更簡單的一種 求最小二乘法最后一步解方程 的方法
# 注意這里覆蓋了sympy.abc的a和b # 設(shè)定a和b的起始點 a,b=0.1,0.1 #步長，也稱作學(xué)習(xí)率 alpha=0.00001 #循環(huán)一千次結(jié)束 for i in range(1000): a-=alpha*np.sum((a*x+b-y)*x) b-=alpha*np.sum(a*x+b-y) print(a,b) #3.0118297762197526 -1.002674927350334
通過梯度下降法，得出了a= 3.0118297762197526，b= -1.002674927350334，也是很接近真實的a，b值了，作圖看看
plt.figure(figsize=(10,10)) plt.scatter(x,y,s=1) plt.plot(x,a*x+b,c='black') print(type(a),type(b)) #class 'numpy.float64'> class 'numpy.float64'>
到此這篇關(guān)于利用Python實現(xiàn)最小二乘法與梯度下降算法的文章就介紹到這了,更多相關(guān)Python最小二乘法與梯度下降內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
標(biāo)簽：烏蘭察布 海南 大慶 哈爾濱 烏蘭察布 平頂山 郴州 合肥
巨人網(wǎng)絡(luò)通訊聲明：本文標(biāo)題《利用Python實現(xiàn)最小二乘法與梯度下降算法》，本文關(guān)鍵詞 利用,Python,實現(xiàn),最小,二,；如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題，煩請?zhí)峁┫嚓P(guān)信息告之我們，我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò)，涉及言論、版權(quán)與本站無關(guān)。
