新附军主要由南宋降兵组建，听命于蒙古、汉军将领指挥。