對外付匯超過5萬美金應該去外管局哪個部門備案，需要帶什麼東西？

普通企業是不需要去備案的啊，除非你公司是屬於不在外匯名錄的企業，每次付匯就要去備案。
原則上預付款不論金額大小都要去核銷的（但2009年之後，國內少數幾個省份還是試行總量監管，即不需要核銷，我不清楚你們當地屬於哪種）。