我現在需要對一個網站的文章列表和列表里面的實際內容進行自動化數據采集，列表里面能夠取得每個文章的id，而每個文章又是通過一個統一的接口（參數帶上那個文章id即可獲取到對應的json）里面又有一部分數據需要采集然后進行數據分析。

目前有什么<愛尬聊_讓生活聊出新高度>比較成熟的框架或者輪子能夠實現我的需求嗎？（要多線程，而且可以7x24小時穩定運行，因為采集數量巨大）

另外問一下，采集到的內容如何存儲（百萬到千萬），數據里面有一些數字數據，需要進行統計分析，用mysql可以嗎？或者說還有其他更加成熟簡便的輪子可以用嗎？

---

mbgg2797 23小時前

你沒說什么語言什么環境。多線程的話，目前一般用nodejs、python。這兩個都可以使用mysql之類的存儲數據。幾百萬上千萬不成問題。

---