老板是以非法集资为目的。请问我应该怎样规避法律责任，我可以避免责任吗？

认识几年的一个老板准备办一个贷款公司，老板出资让我当法人，并将5%的股份分给我，开始我以为是老板准备弄一家正规的贷款公司，就答应了，并在公司当一个打工的主管，实际控制人和决策者都是老板。但是，当公司正式运营后才发现，老板是以非法集资为目的。而我又是法人，可是5%的股份只是空头挂在我名下而已，在公司我没有任何权限，就是一个傀儡法人，知道这样的情况后我立即要求更换法人，但是老板答应下个月就去办理，可却一直拖延时间，我想请问我应该怎样规避法律责任，和老板签订一个免责协议，或者协议里面说明如果公司出现法律责任，又公司承担。可以吗？请诸位律师给我一个建议。。。或者我现在去律师事务所做好情况说明，如果这段时间出现法律责任，我可以避免责任吗？