某年6月5日，A公司为支付B公司的货款，给B公司开出一张20万元的银行承兑汇票。B公司获此汇票后，因向C公司购买一批钢材而将该汇票背书转让给C公司，但事后不久，B公司发现C公司根本无货可供，完全是一场骗局。于是，立即通知付款人停止向C公司支付票款。C公司获此票据后，并未向付款人请求支付票款，而将该汇票又背书转让给D公司，以支付其所欠工程款。D公司获此汇票时，不知道C公司以欺诈方式从B公司获得该汇票，B公司已通知付款人停止付款的情况，即于1996年7月1日向付款人请求付款。付款人在对该汇票进行审查之后拒绝付款，理由是： ①C公司以欺诈行为从B公司获取票据的行为是无效票据行为，B公司已通知付款人停止付款， ②该汇票未记载付款日期，为无效票据。随即，付款人作成退票理由书，交付于D公司。 本案付款人可否以C公司的欺诈行为为由拒绝向D公司支付票款？为什么？