findで空のディレクトリを検索するには -empty オプションをつければいい。

find / -type d -empty

これで検索できたものを消すためにxargs rm -rfとしてしまうと、再帰的に削除ができない。

find / -type d -empty | xargs rm -rf

再帰的に消すには -delete オプションをつけるといい。

find / -type d -empty -delete