非线性能量汇(nonlinear energy sink,NES)在宽频减振中易诱发系统不稳定响应,导致有效工作频带变窄。为抑制不稳定动力响应,本文以NES-有限长梁为研究对象,分析简谐激励下有限长梁的动力响应并开展稳定性优化设计研究。首先,利用建立的非线性动力学模型,分析阻尼系数、外激励幅值和非线性刚度系数等对系统动力稳定性的影响;其次,利用响应面法,结合Box-Behnken设计构建目标函数的二阶代理模型,建立遗传算法(GA)全局寻优与粒子群算法(PSO)交叉验证的稳定性优化设计方法。结果表明,优化后系统的不稳定频率范围由ω≈9.13~12.88收缩至ω≈9.64~10.41,动力响应中不稳定频率占比从37.6%降至7.0%,显著拓宽了NES的减振频带,为宽频减振系统的稳定性设计提供了理论依据和优化方法。