张某与用人单位签订的劳动合同的终止时间为2011年4月31日，但张某产假应于2011年6月23日结束，那么用人单位有权与张某终止劳动关系的时间是2011年6月23日。