Python检测程序内容和CPU

2019-05-10

示例代码

fib = lambda n: 1 if n <= 2 else fib(n - 1) + fib(n - 2)
def test1():
    fib(20)
def test2():
    fib(30)
def test3():
    fib(35)
if __name__ == '__main__':
    test1()
    test2()
    test3()

1. cProfile

cProfile是profile模块的c语言实现，二者实现的功能相同，但是cProfile的性能更佳。

使用方法:

-m cProfile [-o output_file] [-s sort_order] myscript.py```

1
2

~ python -m cProfile test.py
20132542 function calls (8 primitive calls) in 7.342 seconds

Ordered by: standard name

ncalls tottime percall cumtime percall filename:lineno(function)
20132537/3 7.342 0.000 7.342 2.447 test.py:1()
1 0.000 0.000 7.342 7.342 test.py:1()
1 0.000 0.000 6.707 6.707 test.py:12(test3)
1 0.000 0.000 0.006 0.006 test.py:4(test1)
1 0.000 0.000 0.630 0.630 test.py:8(test2)
1 0.000 0.000 0.000 0.000 {method ‘disable’ of ‘_lsprof.Profiler’ objects}


上述第一行表明，共有20132542次函数调用，其中8次是非递归调用。
列名 | 含义
---|---
ncalls | 总调用次数，```20132537/3```表名，共有20132537次调用，其中3次是非递归调用
tottime | 总调用时长
percall | 平均调用时长，其实就是```tottime```除以```ncalls

cumtime | 累计调用总时长，本函数以及本函数的递归调用累计调用时长
percall | 累计平均调用时长，其实就是

filename:lineno(function) | 函数名及入口代码地址
## 2. line_profiler
line_profiler模块可以给出执行每行代码所需占用的CPU时间。
首先，安装该模块：
``` 	
$ pip install line_profiler

接着，需要指定用


```Python
fib = lambda n: 1 if n <= 2 else fib(n - 1) + fib(n - 2)
@profilt
def test1():
    fib(20)
@profile
def test2():
    fib(30)
@profile
def test3():
    fib(35)
@profile
def main():
    test1()
    test2()
    test3()
if __name__ == '__main__':
    main()

最好，可以通过下面的命令获得关于

```
~ kernprof -l  -v test.py
Wrote profile results to test.py.lprof
Timer unit: 1e-06 s
Total time: 0.00524 s
File: test.py
Function: test1 at line 3
Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================
     3                                           @profile
     4                                           def test1():
     5         1          1.0      1.0      0.0      a=10
     6         1       5239.0   5239.0    100.0      fib(20)
Total time: 0.641574 s
File: test.py
Function: test2 at line 9
Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================
     9                                           @profile
    10                                           def test2():
    11         1     641574.0 641574.0    100.0      fib(30)
Total time: 6.75469 s
File: test.py
Function: test3 at line 14
Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================
    14                                           @profile
    15                                           def test3():
    16         1    6754692.0 6754692.0    100.0      fib(35)
Total time: 7.40158 s
File: test.py
Function: main at line 18
Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================
    18                                           @profile
    19                                           def main():
    20         1       5274.0   5274.0      0.1      test1()
    21         1     641592.0 641592.0      8.7      test2()
    22         1    6754713.0 6754713.0     91.3      test3()

其中-l表示逐行解释，-v表示表示输出详细结果。
需要注意的是，


通过这种方法，我们看到```test3()```方法消耗了剩余的91.3%的时间。
标题 | 含义
---|---
Line # | 代码行号
Hits | 执行次数
Per Hit | 每次执行的平均执行时长
% Time | 该行执行时长占所在函数执行时长的占比
Line Contents | 实际代码内容
## 3. memory_profiler
memory_profiler模块可以给出执行每行代码所使用的内存。
安装该模块：
``` 	
$ pip install memory_profiler

同

使用```@profile```修饰需要检测的函数。

1
2

~ python -m memory_profiler test.py
Filename: test.py

Line # Mem usage Increment Line Contents

3   34.945 MiB   34.945 MiB   @profile
4                             def test1():
5   34.945 MiB    0.000 MiB       a=10
6   34.953 MiB    0.008 MiB       fib(20)

Filename: test.py

Line # Mem usage Increment Line Contents

 9   34.953 MiB   34.953 MiB   @profile
10                             def test2():
11   34.961 MiB    0.008 MiB       fib(30)

Filename: test.py

Line # Mem usage Increment Line Contents

14   34.961 MiB   34.961 MiB   @profile
15                             def test3():
16   34.961 MiB    0.000 MiB       fib(35)

Filename: test.py

Line # Mem usage Increment Line Contents

18   34.938 MiB   34.938 MiB   @profile
19                             def main():
20   34.953 MiB   34.953 MiB       test1()
21   34.961 MiB   34.961 MiB       test2()
22   34.961 MiB   34.961 MiB       test3()

```

标题	含义
Line #	代码行号
Mem usage	内存使用数量
Increment	本行代码新增内存使用数量
Line Content	实际代码内容