気にする

夫に言われたことがやたらと気になります。夫は自分が何を言おうと、好きなようにすれば良い、気にする私がおかしいと言いますが、そんなものでしょうか？