平安保险的保单贷款，贷款人去世后，被投保人是否有义务支付去世前后的罚息和利息？

我父亲，2018年6月因病去世，去世前的2005、06年用给我的寿险分红保单贷款了平安保险的一万一千余元（原因是我哥之前借款赖账不还钱，多次催要不给，已经构成诈骗），去世前一年多，曾问询平安保险还有没有借款没还，由于平安保险没有查到，误认为已经还清了，也就没有再还，后来不知道又怎么回事，又发短信说还有部分借款没有还清，让我支付罚息和利息，共计2.6万余元，本人认为不合理，也没有相关法律依据。因为之前本人也退了两个保险，保险公司已经实际扣除了2万多元的手续费，保险公司没有实际损失，还有盈利，我父亲的贷款如果归还，我还要起诉我哥一起还，非常麻烦。但是平安保险还是不依不饶，依旧非让我归还本金和利息，还有罚息，简直不讲道理。本人实际并不知情，之前的签字也认为是续保就签了，并不知道是保单贷款，请问这种情况，平安保险非要让本人支付我父亲的全部保单贷款罚息和利息合理合法吗？（包含去世后的利息和罚息）