在深度學(xué)習(xí)中，`lr`通常指的是學(xué)習(xí)率（Learning Rate），它是用于控制模型參數(shù)更新速度的一個超參數(shù)。學(xué)習(xí)率關(guān)聯(lián)函數(shù)通常指的是如何根據(jù)訓(xùn)練過程中的信息動態(tài)調(diào)整學(xué)習(xí)率的策略。以下是一些常見的學(xué)習(xí)率關(guān)聯(lián)函數(shù)：

1. 固定學(xué)習(xí)率：

這是最簡單的情況，學(xué)習(xí)率在整個訓(xùn)練過程中保持不變。

2. 學(xué)習(xí)率衰減：

指數(shù)衰減：學(xué)習(xí)率按照指數(shù)函數(shù)衰減，例如 `lr = initial_lr decay_rateepoch`。

余弦退火：學(xué)習(xí)率按照余弦函數(shù)衰減，通常用于訓(xùn)練的最后階段，例如 `lr = 0.5 (1 + cos(π epoch / num_epochs)) initial_lr`。

步進(jìn)衰減：每過一定數(shù)量的訓(xùn)練周期（或步驟），學(xué)習(xí)率會乘以一個衰減因子。

3. 自適應(yīng)學(xué)習(xí)率：

Adam優(yōu)化器：自動調(diào)整每個參數(shù)的學(xué)習(xí)率，結(jié)合了動量（momentum）和自適應(yīng)學(xué)習(xí)率（Adaptive Learning Rate）。

RMSprop：基于均方誤差（Mean Squared Error）的自適應(yīng)學(xué)習(xí)率方法。

Adagrad：為每個參數(shù)分配一個累積梯度，并相應(yīng)地調(diào)整學(xué)習(xí)率。

4. 學(xué)習(xí)率預(yù)熱：

在訓(xùn)練初期使用較小的學(xué)習(xí)率，隨著訓(xùn)練的進(jìn)行逐漸增加學(xué)習(xí)率，這有助于在訓(xùn)練初期避免過擬合。

5. 學(xué)習(xí)率懲罰：

如果某個參數(shù)的更新沒有達(dá)到預(yù)期的效果，可以減少其學(xué)習(xí)率。

以下是一個簡單的學(xué)習(xí)率衰減的示例代碼，使用指數(shù)衰減策略：

```python

import torch

初始化學(xué)習(xí)率

initial_lr = 0.01

decay_rate = 0.99

num_epochs = 100

初始化一個列表來存儲每個epoch的學(xué)習(xí)率

learning_rates = []

for epoch in range(num_epochs):

計算當(dāng)前epoch的學(xué)習(xí)率

current_lr = initial_lr (decay_rate epoch)

learning_rates.append(current_lr)

這里可以添加訓(xùn)練代碼

...

print(f'Epoch {epoch+1