资讯专栏INFORMATION COLUMN

通过Python的__slots__节省9GB内存

EastWoodYang / 801人阅读

摘要:我们之前提到过,基于的服务器缓存了大量字典哈希表的静态内容。好啦,我们最近使用一行代码在我们的类中使用,使得每个的服务器在处理中都节省超过内存。一般说来,这很不错,而且还支持完全动态性,比如在运行时设置任意新的属性。

我们之前提到过,Oyster.com基于Python的web服务器缓存了大量Python字典(dicts)(哈希表(hash tables))的静态内容。好啦,我们最近使用一行代码——在我们的Image类中使用__slots__,使得每个6GB的服务器在处理中都节省超过2GB内存。

这是使用前和使用这一改变后再部署的RAM用量截图:

我们大概分配了一百万个下面这个类的实例:

pythonclass Image(object):
    def __init__(self, id, caption, url):
        self.id = id
        self.caption = caption
        self.url = url
        self._setup()

    # ... other methods ...

Python默认使用一个字典来存储一个对象的实例属性。一般说来,这很不错,而且还支持完全动态性,比如在运行时设置任意新的属性。

然而,对于一个“小类”来说,有一些在“编译时”就已经固定的属性,这样一来,字典实际上是在消耗内存,在创建一百万个这样的类的时候,消耗更是显而易见。你可以跟Python说不使用字典,而是仅为某些固定的属性分配空间,可以通过在类中将__slots__设置为一个固定列表来实现这个效果:

pythonclass Image(object):
    __slots__ = ["id", "caption", "url"]

    def __init__(self, id, caption, url):
        self.id = id
        self.caption = caption
        self.url = url
        self._setup()

    # ... other methods ...

需要特别说到的是,你也可以使用 collections.namedtuple,它仅限定元组空间(the space of a tuple)中的属性能够访问,这与在类中使用__slots__相似。但是,在我看来,从一个命名元组(namedtuple)类中继承令人感到怪异。并且,如果你想自定义初始化器(initializer),你还必须重写__new__而不是用__init__

警告:别过早优化或者将此应用在所有场景!这个方法并不利于代码维护,而且在你真的有成千个实例的时候才有显著效果。

来自:Saving 9 GB of RAM with Python’s __slots__

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/45329.html

相关文章

  • 编写符合Python风格对象

    摘要:自定义向量类型从自定义向量类型入手写出符合风格的对象,这离不开特殊方法的支持。将对象定为不可变的通过使用两个前导下划线。程序员约定使用一个下划线前缀编写受保护的属性即,他们认为应该使用命名约定来避免意外覆盖属性。 导语:本文章记录了本人在学习Python基础之面向对象篇的重点知识及个人心得,打算入门Python的朋友们可以来一起学习并交流。 本文重点: 1、掌握编写Pythonic c...

    ethernet 评论0 收藏0
  • 如何优化Python占用内存

    摘要:概述如果程序处理的数据比较多比较复杂,那么在程序运行的时候,会占用大量的内存,当内存占用到达一定的数值,程序就有可能被操作系统终止,特别是在限制程序所使用的内存大小的场景,更容易发生问题。下面我就给出几个优化占用内存的几个方法。 概述 如果程序处理的数据比较多、比较复杂,那么在程序运行的时候,会占用大量的内存,当内存占用到达一定的数值,程序就有可能被操作系统终止,特别是在限制程序所使用...

    ThreeWords 评论0 收藏0
  • Python学习之路28-符合Python风格对象

    摘要:本篇继续学习之路,实现更多的特殊方法以让自定义类的行为跟真正的对象一样。之所以要让向量不可变,是因为我们在计算向量的哈希值时需要用到和的哈希值,如果这两个值可变,那向量的哈希值就能随时变化,这将不是一个可散列的对象。 《流畅的Python》笔记。本篇是面向对象惯用方法的第二篇。前一篇讲的是内置对象的结构和行为,本篇则是自定义对象。本篇继续Python学习之路20,实现更多的特殊方法以让...

    Eric 评论0 收藏0
  • classmethod&staticmethod 以及 __slots__

    摘要:什么是中的它的用途是什么装饰器对应的函数不需要实例化,不需要参数,但第一个参数需要是表示自身类的参数,可以来调用类的属性,类的方法,实例化对象等。 什么是python中的classmethod,它的用途是什么? classmethod装饰器对应的函数不需要实例化,不需要 self 参数,但第一个参数需要是表示自身类的 cls 参数,可以来调用类的属性,类的方法,实例化对象等。 cl...

    newsning 评论0 收藏0
  • 流畅python读书笔记-第九章-符合Python风格对象

    摘要:以便于用户理解的方式返回对象的字符串表示形式。函数会调用函数,对来说,输出的是一个有序对。此外,还有用于支持内置的构造函数的方法。可散列实现了方法,使用推荐的异或运算符计算实例属性的散列值私有属性最好用命名规则来实现这种方式有好有坏 绝对不要使用两个前导下划线,这是很烦人的自私行为。——Ian Bicking 对象表示形式 repr()  以便于开发者理解的方式返回对象的字符串表示形式...

    fai1017 评论0 收藏0

发表评论

0条评论

EastWoodYang

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<