httpd.conf に設定すればいい。
custom_httpd.conf というファイルを別に作って、それを httpd.conf が読み込む形にしているから、custom_httpd.conf に書けばいい。
ちなみに適用時は再起動ではなく、reloadで良いらしい。
Apacheの設定ファイル（httpd.conf）を安全に読み込む方法 | エンジニア足立のコーディング日記
例
<IfModule mod_expires.c>
ExpiresActive On
<FilesMatch "\.(jpg|jpeg|gif|png|ico|tiff|bmp)$">
ExpiresDefault "access plus 2 days"
</FilesMatch>
<FilesMatch "\.(js|css)$">
ExpiresDefault "access plus 2 days"
</FilesMatch>
</IfModule>
【Webサイト高速化】ブラウザキャッシュについてまとめてみた - 株式会社クイックのWebサービス開発blog
Apacheのmod_expiresでファイルタイプごとにキャッシュをコントロールする方法 | OXY NOTES
Apache httpd の mod_expires でキャッシュ有効期限を設定しよう |
mod_expires - Apache HTTP サーバ バージョン 2.4
