灰狼优化算法(GWO)优化BP神经网络(BP)回归预测代码包括GWO-BP和基础BP的对比——可改为其他优化算法如SSA,GEO,WOA,SMA等。 模型评价指标包括:R2、MAE、MSE、RMSE和MAPE等代码质量极高方便学习和替换数据。在机器学习的领域里回归预测是一项至关重要的任务。BP神经网络Back Propagation Neural Network作为一种经典的算法在回归预测中有着广泛的应用。然而BP神经网络容易陷入局部最优解的问题这时候就需要借助一些智能优化算法来帮忙啦今天咱就来唠唠用灰狼优化算法GWO优化BP神经网络进行回归预测顺便也提提其他像SSA、GEO、WOA、SMA等优化算法再对比对比基础BP算法看看究竟谁更胜一筹。一、BP神经网络基础BP神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络。它的核心思想就是通过不断调整网络的权重和阈值使得预测值和真实值之间的误差最小化。下面是一段简单的Python实现BP神经网络回归的基础代码示例import numpy as np # 激活函数 def sigmoid(x): return 1 / (1 np.exp(-x)) # BP神经网络类 class BPNeuralNetwork: def __init__(self, input_size, hidden_size, output_size): self.input_size input_size self.hidden_size hidden_size self.output_size output_size self.W1 np.random.rand(self.input_size, self.hidden_size) self.b1 np.zeros((1, self.hidden_size)) self.W2 np.random.rand(self.hidden_size, self.output_size) self.b2 np.zeros((1, self.output_size)) def forward_propagation(self, X): self.z1 np.dot(X, self.W1) self.b1 self.a1 sigmoid(self.z1) self.z2 np.dot(self.a1, self.W2) self.b2 self.a2 sigmoid(self.z2) return self.a2 def back_propagation(self, X, y, output): self.m X.shape[0] self.dZ2 output - y self.dW2 np.dot(self.a1.T, self.dZ2) / self.m self.db2 np.sum(self.dZ2, axis0, keepdimsTrue) / self.m self.dZ1 np.dot(self.dZ2, self.W2.T) * (self.a1 * (1 - self.a1)) self.dW1 np.dot(X.T, self.dZ1) / self.m self.db1 np.sum(self.dZ1, axis0, keepdimsTrue) / self.m def update_weights(self, learning_rate): self.W1 self.W1 - learning_rate * self.dW1 self.b1 self.b1 - learning_rate * self.db1 self.W2 self.W2 - learning_rate * self.dW2 self.b2 self.b2 - learning_rate * self.db2这段代码定义了一个简单的BP神经网络类包含了初始化网络结构、前向传播、反向传播以及更新权重的方法。不过呢单纯的BP神经网络在面对复杂问题时很容易因为陷入局部最优而导致预测效果不佳。二、灰狼优化算法GWO优化BP神经网络灰狼优化算法是一种基于灰狼群体捕食行为的元启发式优化算法。它模拟了灰狼群体中不同等级的分工协作来寻找最优解。用GWO来优化BP神经网络就是通过GWO寻找最优的网络权重和阈值从而提升BP神经网络的性能。import numpy as np # 适应度函数这里以均方误差MSE为例 def fitness_function(weights, X, y, input_size, hidden_size, output_size): W1 weights[:input_size * hidden_size].reshape(input_size, hidden_size) b1 weights[input_size * hidden_size:input_size * hidden_size hidden_size].reshape(1, hidden_size) W2 weights[input_size * hidden_size hidden_size:input_size * hidden_size hidden_size hidden_size * output_size].reshape(hidden_size, output_size) b2 weights[input_size * hidden_size hidden_size hidden_size * output_size:].reshape(1, output_size) z1 np.dot(X, W1) b1 a1 1 / (1 np.exp(-z1)) z2 np.dot(a1, W2) b2 a2 1 / (1 np.exp(-z2)) mse np.mean((a2 - y) ** 2) return mse # 灰狼优化算法 def gwo(X, y, input_size, hidden_size, output_size, max_iter, num_wolves): dim input_size * hidden_size hidden_size hidden_size * output_size output_size alpha_pos np.zeros(dim) beta_pos np.zeros(dim) delta_pos np.zeros(dim) alpha_score float(inf) beta_score float(inf) delta_score float(inf) positions np.random.rand(num_wolves, dim) for t in range(max_iter): for i in range(num_wolves): fitness fitness_function(positions[i], X, y, input_size, hidden_size, output_size) if fitness alpha_score: alpha_score fitness alpha_pos positions[i].copy() elif fitness beta_score: beta_score fitness beta_pos positions[i].copy() elif fitness delta_score: delta_score fitness delta_pos positions[i].copy() a 2 - t * (2 / max_iter) for i in range(num_wolves): r1 np.random.rand(dim) r2 np.random.rand(dim) A1 2 * a * r1 - a C1 2 * r2 D_alpha np.abs(C1 * alpha_pos - positions[i]) X1 alpha_pos - A1 * D_alpha r1 np.random.rand(dim) r2 np.random.rand(dim) A2 2 * a * r1 - a C2 2 * r2 D_beta np.abs(C2 * beta_pos - positions[i]) X2 beta_pos - A2 * D_beta r1 np.random.rand(dim) r2 np.random.rand(dim) A3 2 * a * r1 - a C3 2 * r2 D_delta np.abs(C3 * delta_pos - positions[i]) X3 delta_pos - A3 * D_delta positions[i] (X1 X2 X3) / 3 best_weights alpha_pos return best_weights这段GWO的代码首先定义了适应度函数这里以均方误差MSE作为衡量标准用来评估不同权重组合下BP神经网络的性能。然后在GWO的主循环中不断更新灰狼的位置即BP神经网络的权重和阈值最终找到最优的权重组合。三、模型评价指标为了更全面地评估模型的性能我们采用了R2、MAE、MSE、RMSE和MAPE等指标。R2决定系数反映了模型对数据的拟合优度取值范围在0到1之间越接近1表示模型拟合效果越好。计算公式为$R^2 1 - \frac{\sum{i 1}^{n}(yi - \hat{y}i)^2}{\sum{i 1}^{n}(y_i - \bar{y})^2}$MAE平均绝对误差计算预测值与真实值之间绝对误差的平均值能直观反映预测值与真实值的平均误差大小。$MAE \frac{1}{n}\sum{i 1}^{n}|yi - \hat{y}_i|$MSE均方误差计算预测值与真实值之间误差平方的平均值加大了对较大误差的惩罚力度。$MSE \frac{1}{n}\sum{i 1}^{n}(yi - \hat{y}_i)^2$RMSE均方根误差是MSE的平方根与MAE相比RMSE同样对较大误差更为敏感但它与数据具有相同的量纲更直观反映误差的平均大小。$RMSE \sqrt{\frac{1}{n}\sum{i 1}^{n}(yi - \hat{y}_i)^2}$MAPE平均绝对百分比误差计算预测值与真实值之间绝对误差的百分比的平均值能反映预测误差的相对大小。$MAPE \frac{1}{n}\sum{i 1}^{n}\frac{|yi - \hat{y}i|}{yi} \times 100\%$下面是一段计算这些评价指标的Python代码def evaluate_metrics(y_true, y_pred): from sklearn.metrics import r2_score, mean_absolute_error, mean_squared_error r2 r2_score(y_true, y_pred) mae mean_absolute_error(y_true, y_pred) mse mean_squared_error(y_true, y_pred) rmse np.sqrt(mse) mape np.mean(np.abs((y_true - y_pred) / y_true)) * 100 return r2, mae, mse, rmse, mape四、其他优化算法简介及应用思路除了GWO像SSA麻雀搜索算法、GEO引力搜索算法、WOA鲸鱼优化算法、SMA正弦余弦算法等优化算法也能用于优化BP神经网络。它们各自都有独特的搜索机制和特点。SSA模拟了麻雀觅食和反捕食的行为通过发现者、追随者和侦察预警者之间的协作来寻找最优解。GEO基于牛顿万有引力定律和质量相互吸引的原理将每个个体看作是空间中的一个有质量的物体通过引力的作用来引导搜索。WOA模仿了座头鲸的气泡网捕食策略通过收缩包围、螺旋更新位置等方式搜索最优解。SMA利用正弦和余弦函数的周期性和波动性来更新个体位置在搜索空间中进行全局和局部搜索。这些算法的实现思路和GWO类似都是通过不断迭代寻找最优的权重和阈值来优化BP神经网络感兴趣的小伙伴可以自己尝试实现一下。灰狼优化算法(GWO)优化BP神经网络(BP)回归预测代码包括GWO-BP和基础BP的对比——可改为其他优化算法如SSA,GEO,WOA,SMA等。 模型评价指标包括:R2、MAE、MSE、RMSE和MAPE等代码质量极高方便学习和替换数据。通过对比GWO - BP和基础BP以及尝试不同的优化算法我们可以根据具体的数据集和问题找到最合适的回归预测模型。而且本文提供的代码质量极高方便大家学习和替换数据进行自己的研究和实践。希望大家在机器学习的探索之路上越走越远发现更多有趣的成果