对于行政机关作出的责令退回决定，当事人是可以申请人民法院进行强制执行的。如果被处罚人在法定期限内不申请行政复议或者提起行政诉讼，又不退回的，有执行权的行政机关可以依法强制执行；如果行政机关无执行权的，则可在期限届满之日起三个月内申请法院予以执行。
二、行政诉讼案件如何执行
当事人必须履行人民法院发生法律效力的判决、裁定、调解书。
公民、法人或者其他组织拒绝履行判决、裁定、调解书的，行政机关或者第三人可以向第一审人民法院申请强制执行，或者由行政机关依法强制执行。
行政机关拒绝履行判决、裁定、调解书的，第一审人民法院可以采取下列措施：
(一)对应当归还的罚款或者应当给付的款额，通知银行从该行政机关的账户内划拨;
(二)在规定期限内不履行的，从期满之日起，对该行政机关负责人按日处五十元至一百元的罚款;
(三)将行政机关拒绝履行的情况予以公告;
(四)向监察机关或者该行政机关的上一级行政机关提出司法建议。
（五)拒不履行判决、裁定、调解书，社会影响恶劣的，可以对该行政机关直接负责的主管人员和其他直接责任人员予以拘留;情节严重，构成犯罪的，依法追究刑事责任。
公民、法人或者其他组织对行政行为在法定期限内不提起诉讼又不履行的，行政机关可以申请人民法院强制执行，或者依法强制执行。
【本文关联的相关法律依据】
《行政处罚法》第七十二条
当事人逾期不履行行政处罚决定的，作出行政处罚决定的行政机关可以采取下列措施：
（三）根据法律规定，采取其他行政强制执行方式；
（四）依照《中华人民共和国行政强制法》的规定申请人民法院强制执行。
《中华人民共和国行政强制法》第五十三条
当事人在法定期限内不申请行政复议或者提起行政诉讼，又不履行行政决定的，没有行政强制执行权的行政机关可以自期限届满之日起三个月内，依照本章规定申请人民法院强制执行。