湖南长沙的 租赁合同违约金

我的房屋出租给承租人，租期5年，每月租金是650元，双方签定了协议，协议上签定的违约金是一万。开始合同上违约金写的是500，后来他把原合同收回，给了我现在的这张《违约金1万》当时我曾说，违约金怎么写那么高，他说他要在房屋里装空调什么的，《其实现在他是没装空调什么的，这样我也就同意了他写一万违约金的事，现在因我儿子另外的房屋拆迁，儿子要住这房子了，所以我想收回那出租的房屋，我违约在先，我想违约金肯定是要付的，但觉得这一万元违约金实在太高了，我想咨询下，我们当时约定的这违约金是不是太高了？谢谢了！