对外付汇超过5万美金应该去外管局哪个部门备案，需要带什么东西？

普通企业是不需要去备案的啊，除非你公司是属于不在外汇名录的企业，每次付汇就要去备案。
原则上预付款不论金额大小都要去核销的（但2009年之后，国内少数几个省份还是试行总量监管，即不需要核销，我不清楚你们当地属于哪种）。