lsmodには、ロードされているすべてのモジュールが一覧表示され、Used by列があります。それがモジュールAの0である場合、他のロードされたモジュールはそれに依存していません。
これは、モジュールの取り外しが安全であることを意味するものではありません。
モジュールが「使用中」であるかどうかを判断できると私が考える方法はありません。デバイスドライバモジュールは、（通常）実際にデバイスを処理しているときにUsed byカウントを増やします。 （これは仮想デバイスにも当てはまります。）しかし、それを当てにすることはできないと思います。
例えば現在、coretempモジュールとlm90モジュールがロードされています。それらのUsed byカウントはゼロですが、「使用中」です（温度監視）。
未使用とはどういう意味ですか？モジュールがlsmodで示されているという事実は、おそらくそれをロードする正当な理由があったことを意味します。コンパイルされているが使用されていないモジュールを見つけるために、カーネルバージョンのlsmodの出力を/lib/modulesと比較できます。