7 个测量 Python 脚本和控制内存以及 CPU 使用率的技巧

妤锋シ发布于2019-07-24 17:50 / 3417人阅读

摘要：使用的命令尽管如此，装饰器和模块都是基于的。这个模块首先应该被安装，使用命令下一步，你需要指定你想使用装饰器评估哪个函数你不需要把它到你的文件中。安装也建议安装包，使得模块运行的更快类似的方式，使用装饰器来标记哪个函数被跟踪。

本文的作者是 Marina Mele，原文地址是 7 tips to Time Python scripts and control Memory & CPU usage

当运行一个复杂的 Python 程序，它需要很长时间来执行。你或许想提升它的执行时间。但如何做？

首先，你需要工具来查明你代码的瓶颈，比如，那部分执行花费的时间长。用这个方法，你可以首先专注于提升这部分的速度。

而且，你也应该控制内存和 CPU 使用率，因为它可以为你指出的代码可以改进的新的部分。

所以，在本文中，我将对 7 个不同的 Python 工具发表意见，给你一些关于你函数执行时间和内存以及 CPU 使用率的见解。

1. 使用一个装饰器来测量你的函数

测量一个函数最简单的方式就是定义一个装饰器来测量运行该函数的运行时间，并打印该结果：

import time
from functools import wraps


def fn_timer(function):
    @wraps(function)
    def function_timer(*args, **kwargs):
        t0 = time.time()
        result = function(*args, **kwargs)
        t1 = time.time()
        print ("Total time running %s: %s seconds" %
               (function.func_name, str(t1-t0))
               )
        return result
    return function_timer

这时，你已经在你想测量的函数之前添加了装饰器，像：

@fn_timer
def myfunction(...):
    ...

例如，让我们测量下排序一个 2000000 个随机数的数组会花费多长时间：

@fn_timer
def random_sort(n):
    return sorted([random.random() for i in range(n)])


if __name__ == "__main__":
 random_sort(2000000)

如果你运行你的脚本，你将看到：

Total time running random_sort: 1.41124916077 seconds

2. 使用 timeit 模块

另外一个选项是使用 timeit 模块，它给你测量一个平均时间。

为了运行它，在你的终端执行以下命令：

$ python -m timeit -n 4 -r 5 -s "import timing_functions" "timing_functions.random_sort(2000000)"

timing_functions 是你脚本的名字。

在输出的最后，你会看到一些像这样的东西：

4 loops, best of 5: 2.08 sec per loop

表明了运行这个测试 4 次（-n 4），并在每个测试中重复平均 5 次（-r 5），最佳的结果是 2.08 秒。

如果你没有指定测试或者重复，它默认是 10 次循环和 5 次重复。

3. 使用 Uinx 的 time 命令

尽管如此，装饰器和 timeit 模块都是基于 Python 的。这就是为什么 unix time 工具或许有用，因为它是一个外部的 Python 测量。

为了运行 time 工具类型：

$ time -p python timing_functions.py

将给出如下输出：

Total time running random_sort: 1.3931210041 seconds
real         1.49
user         1.40
sys          0.08

第一行来自于我们定义的装饰器，其他三行是：

real 表明了执行脚本花费的总时间

User 表明了执行脚本花费在的 CPU 时间

Sys 表明了执行脚本花费在内核函数的时间

因此， real time 和 user+sys 相加的不同或许表明了时间花费在等待 I/O 或者是系统在忙于执行其他任务。

4. 使用 cProfile 模块

如果你想知道花费在每个函数和方法上的时间，以及它们被调用了多少次，你可以使用 cProfile 模块。

$ python -m cProfile -s cumulative timing_functions.py

现在你将看到你的代码中每个函数被调用多少次的详细描述，并且它将通过累积花费在每个函数上面的时间来排序（感谢 -s cumulative 选项）

你将看到花费在运行你的脚本的总时间是比以前高的。这是我们测量每个函数执行时间的损失。

5. 使用 line_profiler 模块

line_profiler 给出了在你代码每一行花费的 CPU 时间。

这个模块首先应该被安装，使用命令：

$ pip install line_profiler

下一步，你需要指定你想使用装饰器 @profile 评估哪个函数（你不需要把它 import 到你的文件中）。

@profile
def random_sort2(n):
    l = [random.random() for i in range(n)]
    l.sort()
    return l

if __name__ == "__main__":
    random_sort2(2000000)

最后，你可以通过键入以下命令取得 random_sort2 函数逐行的描述：

$ kernprof -l -v timing_functions.py

-l 标识表明了逐行和 -v 标识表明详细输出。使用这个方法，我们看到了数组结构花费了 44% 的计算时间，sort() 方法花费了剩余的 56%。

你也将看到，由于时间测量，这个脚本执行花费的或许更长。

6. 使用 memory_profiler 模块

memory_profiler 模块被用于在逐行的基础上，测量你代码的内存使用率。尽管如此，它可能使得你的代码运行的更慢。

安装：

$ pip install memory_profiler

也建议安装 psutil 包，使得 memory_profile 模块运行的更快：

$ pip install psutil

类似 line_profiler 的方式，使用装饰器 @profile 来标记哪个函数被跟踪。下一步，键入：

$ python -m memory_profiler timing_functions.py

是的，前面的脚本比之前的 1 或 2 秒需要更长的时间。并且，如果你不安装 psutil 模块，你将一直等待结果。

看上面的输出，注意内存使用率的单位是 MiB，这代表的是兆字节（1MiB = 1.05MB）。

7. 使用 guppy 包

最后，使用这个包，你可以跟踪每个类型在你代码中每个阶段（字符，元组，字典等等）有多少对象被创建了。

安装：

$ pip install guppy

下一步，像这样添加到你的代码中：

from guppy import hpy


def random_sort3(n):
    hp = hpy()
    print "Heap at the beginning of the function
", hp.heap()
    l = [random.random() for i in range(n)]
    l.sort()
    print "Heap at the end of the function
", hp.heap()
    return l


if __name__ == "__main__":
    random_sort3(2000000)

并且这样运行你的代码：

$ python timing_functions.py

你将看到一些像下面的输出：

通过配置 heap 在你的代码的不同地方，你可以在脚本中学到对象的创建和销毁。

如果你想学习更多提升你 Python 代码的知识，我建议你看看 2014 年 11 月出版的 High Performance Python: Practical Performant Programming for Humans 这本书。

私有云混合云服务器有cpu和内存深度学习的7个有效 cpu和云服务器占用率阿里云服务器的内存cpu

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/37464.html

Python 性能分析入门指南

摘要：内存泄漏往往发生在即使该对象不再使用的时候，你的程序还持有对该对象的引用。最快速发现内存泄漏的方式就是使用一个由编写的非常好的称为的工具。通过这些工具和技术的武装，你应该可以获取所有要求追踪大多数内存泄漏以及在程序快速识别瓶颈的信息。注：本文的原作者是 Huy Nguyen ，原文地址为 A guide to analyzing Python performance 虽然...

TesterHome 2019-07-24 17:35 评论0 收藏0
[译] 沙箱中的间谍 - 可行的 JavaScript 高速缓存区攻击

摘要：缓存攻击是和个人电脑相关的一种边信道攻击，因为高速缓冲区被不同的进程和用户使用而导致了信息的泄露。报告中的攻击方式因此是高度可行的对于攻击者的假设和限定是实际的运行的时间是实际的给攻击者带来的好处也是实际的。原文 The Spy in the Sandbox – Practical Cache Attacks in Javascript 相关论文可在 https://github.c...

netScorpion 2019-06-24 17:04 评论0 收藏0
[译] 沙箱中的间谍 - 可行的 JavaScript 高速缓存区攻击

摘要：缓存攻击是和个人电脑相关的一种边信道攻击，因为高速缓冲区被不同的进程和用户使用而导致了信息的泄露。报告中的攻击方式因此是高度可行的对于攻击者的假设和限定是实际的运行的时间是实际的给攻击者带来的好处也是实际的。原文 The Spy in the Sandbox – Practical Cache Attacks in Javascript 相关论文可在 https://github.c...

chnmagnus 2019-08-05 18:17 评论0 收藏0
PHP应用性能优化指南

摘要：怎样才算是高性能的应用性能和速度不是一对同义词。红线表示针对速度进行了优化的脚本，蓝线是可扩展性优先的脚本。将任何这些功能置于循环中可能会导致性能问题。完整的代码检测评估虽然可能很耗时，但它可以为你提供有关应用程序性能的深入信息。 showImg(https://segmentfault.com/img/bVNxDn?w=900&h=500);程序员都喜欢最新的PHP 7，因为它使PH...

EddieChan 2019-06-27 16:28 评论0 收藏0
节省时间的那些 Linux 命令

摘要：基础的网络管理命令或者，。使用来随机打乱一个文件中的行或者选择一个随机的行。比如，这条命令可以将重音都小写，并且去掉通过扩展并且丢掉要将文件切片，可以试试根据大小切分或者根据模式切分。前言：有网友在问答网站Quora上提问：有哪些省时小技巧，是每个Linux用户都应该知道的？ Joshua Levy 平常就在 Linux 平台工作，并且他积累了不少实用命令行技巧，他在回复中精选出一部分。对...

DoINsiSt 2019-05-23 19:20 评论0 收藏0