海口市陈某驾驶货轮在我国内海航运时，被上海市海关缉私队查获，货轮上载有我国禁止进口的货物。上海市海关对该货轮作出处罚决定：该货轮载有国家禁止进口的货物，无合法证明，认定该货物为走私货物，依《海关法》给予该货轮罚款2万元，拘留10日，并没收上述走私货物。陈某以处罚决定认定事实不清、证据不足为由，向海关总署申请复议，请求海关总署撤销该处罚决定。海关总署经复议，除没收走私物品的决定予以维持外，将罚款改为5万元，并决定对陈某处以15日的拘留。如果陈某不经过复议而直接提起行政诉讼，由谁管辖？谁是被告？为什么？