合同约定付款前卖方保留所有权，买方能以此为由拒绝付款吗？

2008年3月，我公司与乙公司签订木材买卖合同，合同约定：“我公司向乙公司发货，乙公司收到货物即付清货款；在乙公司付款以前，该批木材的所有权仍归我公司所有”。我公司发货后，乙公司没有按照约定付款，在支付了应付款项的一部分后，其余部分一直没有付。我公司多次索要未果。考虑到因时间问题该批货物已经贬值，我公司便没有要求乙公司返回货物，而是直接起诉乙公司，希望继续履行合同，并且承担违约责任。乙公司认为，由于合同条款中约定了所有权保留条款，此时该批货物的所有权仍然归我怕所有，因此，我公司可以取回货物，其不须继续履行合同。请问：乙公司能以所有权属我公司为由拒绝付款吗？