法律分析：
出资给小三购房可以要回房屋。投资购房款给小三买房，赠与的目标是购房款，而不是房子，所以能要回房子。配偶给小三买房款的赠与是违反社会公共秩序和良好习俗，损害社会公共利益的行为。因此，赠与合同的效力无效，合同无效，已履行的部分应予以返还。出轨者是无效赠与合同的赠与人。因为出轨者支付出资的行为构成非法理由。
法律依据：
《中华人民共和国民法典》
第一百四十六条 行为人与相对人以虚假的意思表示实施的民事法律行为无效。
以虚假的意思表示隐藏的民事法律行为的效力，依照有关法律规定处理。
第一百五十三条 违反法律、行政法规的强制性规定的民事法律行为无效。但是，该强制性规定不导致该民事法律行为无效的除外。
违背公序良俗的民事法律行为无效。