国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

Python使用稀疏矩陣節省內存實例

2020-02-23 05:30:45
字體:
來源:轉載
供稿:網友

推薦系統中經常需要處理類似user_id, item_id, rating這樣的數據,其實就是數學里面的稀疏矩陣,scipy中提供了sparse模塊來解決這個問題,但scipy.sparse有很多問題不太合用:

1、不能很好的同時支持data[i, ...]、data[..., j]、data[i, j]快速切片;
2、由于數據保存在內存中,不能很好的支持海量數據處理。

要支持data[i, ...]、data[..., j]的快速切片,需要i或者j的數據集中存儲;同時,為了保存海量的數據,也需要把數據的一部分放在硬盤上,用內存做buffer。這里的解決方案比較簡單,用一個類Dict的東西來存儲數據,對于某個i(比如9527),它的數據保存在dict['i9527']里面,同樣的,對于某個j(比如3306),它的全部數據保存在dict['j3306']里面,需要取出data[9527, ...]的時候,只要取出dict['i9527']即可,dict['i9527']原本是一個dict對象,儲存某個j對應的值,為了節省內存空間,我們把這個dict以二進制字符串形式存儲,直接上代碼:
代碼如下:

'''
Sparse Matrix
'''
import struct
import numpy as np
import bsddb
from cStringIO import StringIO
 
class DictMatrix():
    def __init__(self, container = {}, dft = 0.0):
        self._data  = container
        self._dft   = dft
        self._nums  = 0
 
    def __setitem__(self, index, value):
        try:
            i, j = index
        except:
            raise IndexError('invalid index')
 
        ik = ('i%d' % i)
        # 為了節省內存,我們把j, value打包成字二進制字符串
        ib = struct.pack('if', j, value)
        jk = ('j%d' % j)
        jb = struct.pack('if', i, value)
 
        try:
            self._data[ik] += ib
        except:
            self._data[ik] = ib
        try:
            self._data[jk] += jb
        except:
            self._data[jk] = jb
        self._nums += 1

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 临漳县| 涿鹿县| 楚雄市| 韶山市| 曲沃县| 桦甸市| 禄劝| 卓尼县| 莱阳市| 准格尔旗| 绩溪县| 阳东县| 临高县| 资中县| 宜黄县| 洪湖市| 临武县| 宣威市| 常山县| 深泽县| 和政县| 丹阳市| 高清| 宜章县| 钟山县| 芜湖县| 都兰县| 邵阳市| 青海省| 双江| 宜黄县| 饶平县| 察哈| 临洮县| 克东县| 海盐县| 施秉县| 六安市| 固原市| 奉化市| 内乡县|