遷移數(shù)據(jù)效率問題?
問題描述如下
100萬數(shù)據(jù)從A機房的一個表遷移到B機房的一個表,兩個表結構不一樣。我的實現(xiàn)方法如下:查出數(shù)據(jù)來,java層面進行數(shù)據(jù)的轉義,然后開了30個線程,進行分頁同步數(shù)據(jù)。即每次查詢500條數(shù)據(jù),然后插入B機房的表。線程池中有30個線程。
現(xiàn)在的<愛尬聊_百科詞條>問題是:
遷移到效率很慢,很慢。17萬數(shù)據(jù)就用了一個多小時,還沒有跑完數(shù)據(jù),請問有什么方案可以提高效率的么???