最近在做文本統計,用 Python 實現,遇到了一個比較有意思的難題——如何保存統計結果。
直接寫入內存實在是放不下,十幾個小時後內存耗盡,程序被迫關閉。如果直接寫入數據庫吧,每次寫入又太慢了,本來就十幾個小時了,這樣下去就要往星期上數了,也不是個辦法。
最後,我想到了一個兩者兼顧的方案[……]
最近在做文本統計,用 Python 實現,遇到了一個比較有意思的難題——如何保存統計結果。
直接寫入內存實在是放不下,十幾個小時後內存耗盡,程序被迫關閉。如果直接寫入數據庫吧,每次寫入又太慢了,本來就十幾個小時了,這樣下去就要往星期上數了,也不是個辦法。
最後,我想到了一個兩者兼顧的方案[……]