自己接手从A那租了一套房子，里面四个房子都是我招租的房客，现在我把房子退还给了A，他在跟我结清的时候，从中将四个房客当时在我这的押金一并扣除，当时说要重新和房客们签合同，他后面又反悔没签合同，现在几个房客要搬走，他不认账，不退这个押金，现在房客们全部找我退，当时和我签的合同，，现在怎么办