违法发放贷款罪与违法向关系人发放贷款罪的区别在于违法发放贷款的对象不同，前者的对象不是特定的，后者的对象只限于关系人。