プラグインの
「Fixed Widget and Sticky Elements」をダウンロード。

ウイジェットの「Fixed widget」にチェックを付けると
スクロールに追従するようになります。
参考サイト

ウィジェットを追尾表示させてサイドバーを有効活用できるプラグイン「Fixed Widget and Sticky Elements」 – ワードプレステーマTCD
メインカラムに本文、サイドカラム(サイドバー)にバナーやウィジェットを設置しているレイアウトの場合、記事本文が長いとサイドカラムが空白になってしまいます。