四川内江房屋租赁纠纷

我在去年7月通过中介租了一套房子，跟房东签定了一年的合同，房租半年付。签订当时就征求房东意见，房东同意在不影响房租情况下可以转租。两月后我有事搬出，再次征得房东同意后，通过中介将房屋转租给别人。与别人签订合同时房东不愿出面，由我跟他签的，但签订当时电话告知了房东。合同的时间是接着我租的时间，签了后十个月。并且我收了押金和前四个月的房租。（房东曾经口头同意她收我的押金和房租，我收他的）后来那人又想搬，逼我退押金，说我没有权力收他押金，因为我不是房东。所以我去找房东补签了一份委托书，写明我有转租的权力，并全权委托我办理转租事宜（但没有明确写明有收租金和押金的权力，因为我认为全权委托已经包含了）。现在转租出去的那人找我退押金，说我虽然有委托书，但还是没有收钱的权力。请问是否是他无理取闹。