Python “黑魔法” 之 Meta Classes

LeoHsiun 发布于2019-07-24 18:26 / 1971人阅读

摘要：幸而，提供了造物主的接口这便是，或者称为元类。接下来我们将通过一个栗子感受的黑魔法，不过在此之前，我们要先了解一个语法糖。此外，在一些小型的库中，也有元类的身影。

首发于我的博客 转载请注明出处

接触过 Django 的同学都应该十分熟悉它的 ORM 系统。对于 python 新手而言，这是一项几乎可以被称作“黑科技”的特性：只要你在models.py中随便定义一个Model的子类，Django 便可以：

获取它的字段定义，并转换成表结构

读取Meta内部类，并转化成相应的配置信息。对于特殊的Model（如abstract、proxy），还要进行相应的转换

为没有定义objects的Model加上一个默认的Manager

开发之余，我也曾脑补过其背后的原理。曾经，我认为是这样的：

启动时，遍历models.py中的所有属性，找到Model的子类，并对其进行上述的修改。

当初，我还以为自己触碰到了真理，并曾将其应用到实际生产中——为 SAE 的 KVDB 写了一个类 ORM 系统。然而在实现的过程中，我明显感受到了这种方法的丑陋，而且性能并不出色（因为要遍历所有的定义模块）。

那么事实上，Django 是怎么实现的呢？

自古以来我们制造东西的方法都是“自上而下”的，是用切削、分割、组合的方法来制造。然而，生命是自下而上地，自发地建造起来的，这个过程极为低廉。
——王晋康《水星播种》

这句话揭示了生命的神奇所在：真正的生命都是由基本物质自发构成的，而非造物主流水线式的加工。

那么，如果类也有生命的话，对它自己的修饰就不应该由调用者来完成，而应该是自发的。

幸而，python 提供了造物主的接口——这便是 Meta Classes，或者称为“元类”。

元类是什么？

简单说：元类就是类的类。

首先，要有一个概念：

python 中，一切都是对象。

没错，一切，包括类本身。

既然，类是对象，对象是类的实例，那么——类也应该有类才对。

类的类：type

在 python 中，我们可以用type检测一个对象的类，如：

print type(1) #

如果对一个类操作呢？

print type(int) # 

class MyClass(object): pass

print type(MyClass) # 

print type(type) #

这说明：type其实是一个类型，所有类——包括type自己——的类都是type。

type 简介

从官方文档中，我们可以知道：

和 dict 类似，type 也是一个工厂构造函数，调用其将返回一个type类型的实例（即类）。

type 有两个重载版本：

type(object)，即我们最常用的版本。

type(name, bases, dict)，一个更强大的版本。通过指定类名称（name）、父类列表（bases）和属性字典（dict）动态合成一个类。

下面两个语句等价：

class Integer(int):

   name = "my integer"

   def increase(self, num):
       return num + 1

    # -------------------

    Integer = type("Integer", (int, ), {
   "name": "my integer",
   "increase": lambda self, num: 
                   num + 1    # 很酷的写法，不是么
    })

也就是说：类的定义过程，其实是type类型实例化的过程。

然而这和修饰一个已定义的类有什么关系呢？

当然有啦～既然“类的定义”就是“type类型的初始化过程”，那其中必定会调用到type的构造函数(__new__() 或 __init__())。只要我们继承 type类并修改其 __new__函数，在这里面动手脚就可以啦。

接下来我们将通过一个栗子感受 python 的黑魔法，不过在此之前，我们要先了解一个语法糖。

__metaclass__ 属性

有没觉得上面第二段示例有些鬼畜呢？它勒令程序员将类的成员写成一个字典，简直是反人类。如果我们真的是要通过修改元类来改变类的行为的话，似乎就必须采用这种方法了～～简直可怕～～

好在，python 2.2 时引进了一个语法糖：__metaclass__。

class Integer(int):

    __metaclass__ = IntMeta

现在将会等价于：

Integer = IntMeta("Integer", (int, ), {})

由此一来，我们在使用传统类定义的同时，也可以使用元类啦。

栗子：子类净化器

需求描述

你是一个有语言洁癖的开发者，平时容不得别人讲一句脏话，在开发时也是如此。现在，你写出了一个非常棒的框架，并马上要将它公之于众了。不过，你的强迫症又犯了：如果你的使用者在代码中写满了脏话，怎么办？岂不是玷污了自己的纯洁？

假如你就是这个丧心病狂的开发者，你会怎么做？

在知道元类之前，你可能会无从下手。不过，这个问题你可以用元类轻松解决——只要在类定义时过滤掉不干净的字眼就好了（百度贴吧的干活～～）。

我们的元类看起来会是这样的：

sensitive_words_list = ["asshole", "fuck", "shit"]

def detect_sensitive_words(string):
    """检测敏感词汇"""
    words_detected = filter(lambda word: word in string.lower(), sensitive_words_list)

    if words_detected:
        raise NameError("Sensitive words {0} detected in the string "{1}"." 
            .format(
                ", ".join(map(lambda s: ""%s"" % s, words_detected)),
                string
            )
        )

class CleanerMeta(type):

    def __new__(cls, class_name, bases, attrs):
        detect_sensitive_words(class_name) # 检查类名
        map(detect_sensitive_words, attrs.iterkeys()) # 检查属性名

        print "Well done! You are a polite coder!" # 如无异常，输出祝贺消息

        return super(CleanerMeta, cls).__new__(cls, class_name, bases, attrs)
        # 重要！这行一定不能漏！！这回调用内建的类构造器来构造类，否则定义好的类将会变成 None

现在，只需这样定义基类：

class APIBase(object):

    __metaclass__ = CleanerMeta

    # ...

那么所有 APIBase 的派生类都会接受安全审查（奸笑～～）：

class ImAGoodBoy(APIBase):

    a_polite_attribute = 1

# [Output] Well done! You are a polite coder!

class FuckMyBoss(APIBase):

    pass

# [Output] NameError: Sensitive words "fuck" detected in the string "FuckMyBoss".

class PretendToBePolite(APIBase):

    def __fuck_your_asshole(self):
        pass

# [Output] NameError: Sensitive words "asshole", "fuck" detected in the string "_PretendToBePolite__fuck_your_asshole".

看，即使像最后一个例子中的私有属性也难逃审查，因为它们本质都是相同的。

甚至，你还可以对有问题的属性进行偷偷的修改，比如让不文明的函数在调用时打出一行警告等等，这里就不多说了。

元类在实际开发中的应用

日常开发时，元类常用吗？

当然，Django 的 ORM 就是一个例子，大名鼎鼎的 SQLAlchemy 也用了这种黑魔法。

此外，在一些小型的库中，也有元类的身影。比如 abc（奇怪的名字～～）——这是 python 的一个内建库，用于模拟抽象基类（Abstract Base Classes）。开发者可以使用 abc.abstractmethod 装饰器，将指定了 __metaclass__ = abc.ABCMeta 的类的方法定义成抽象方法，同时这个类也成了抽象基类，抽象基类是不可实例化的。这便实现了对抽象基类的模拟。

倘若你也有需要动态修改类定义的需求，不妨也试试这种“黑魔法”。

小结

类也是对象，所有的类都是type的实例

元类（Meta Classes）是类的类

__metaclass__ = Meta 是 Meta(name, bases, dict) 的语法糖

可以通过重载元类的 __new__ 方法，修改类定义的行为

私有云超融合服务器 python 黑魔法黑魔法 Classes Python 之字符串

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/37753.html

Python “黑魔法” 之 Encoding & Decoding

摘要：我可以明确告诉你这不是，但它可以用解释器运行。这种黑魔法，还要从说起。提案者设想使用一种特殊的文件首注释，用于指定代码的编码。暴露了一个函数，用于注册自定义编码。所谓的黑魔法其实并不神秘，照猫画虎定义好相应的接口即可。首发于我的博客，转载请注明出处写在前面本文为科普文本文中的例子在 Ubuntu 14.04 / Python 2.7.11 下运行成功，Python 3+ 的接...

邹强 2019-07-25 10:38 评论0 收藏0
徒手撸一个 Spring Boot 中的 Starter ，解密自动化配置黑魔法！

摘要：先来看代码吧，一会松哥再慢慢解释关于这一段自动配置，解释如下首先注解表明这是一个配置类。本文的案例，松哥已经上传到上了，地址。我们使用 Spring Boot，基本上都是沉醉在它 Stater 的方便之中。Starter 为我们带来了众多的自动化配置，有了这些自动化配置，我们可以不费吹灰之力就能搭建一个生产级开发环境，有的小伙伴会觉得这个 Starter 好神奇呀！其实 Starter 也都...

xiaochao 2019-05-21 19:50 评论0 收藏0
Python “黑魔法” 之 Generator Coroutines

摘要：主程序通过唤起子程序并传入数据，子程序处理完后，用将自己挂起，并返回主程序，如此交替进行。通过轮询或是等事件框架，捕获返回的事件。从消息队列中取出记录，恢复协程函数。然而事实上只有直接操纵的协程函数才有可能接触到这个对象。首发于我的博客转载请注明出处写在前面本文默认读者对 Python 生成器有一定的了解，不了解者请移步至生成器 - 廖雪峰的官方网站。本文基于 Pyth...

李文鹏 2019-07-25 10:15 评论0 收藏0
从hello world看JavaScript隐藏的黑魔法

摘要：如果类型转换你还不是很了解，可以先读下这篇来理解一下从看隐式强制转换机制。函数可对通过编码的字符串进行解码。而作者封装的也是基于这两者来实现输出黑魔法字符串的。同时通过，返回了一个匿名函数形成了闭包。为了达到装逼的效果。写在最前事情的起因是这段看起来不像代码的代码： showImg(https://segmentfault.com/img/remote/14600000126810...

cnio 2019-08-21 18:35 评论0 收藏0
经验拾忆（纯手工）=> Python__黑魔法__

摘要：类的继承类继承有三种调用方式，其实是有区别的，听我慢慢道来第一种父类方法参数直接调用第二种方法参数直接调用在谁的类下调用，就找此类对应的下一个就是要继承的第三种方法参数找类名对应的的下一个，就是继承的，一般写本身的类名上下文管理器上下文管理类的继承类继承有三种调用方式，其实是有区别的，听我慢慢道来 class A: def say(self, name): ...

tulayang 2019-07-31 10:27 评论0 收藏0