旦那さんはお子さんを可愛がりますか？
お子さんに手を上げたことはないですか？

この２つとも答えが「はい」なら旦那さんと話し合いの余地はある、でもどちらか１つでも「いいえ」なら役所の女性相談センターなどに相談したほうがいいのではないかと思います。