web-dev-qa-db-ja.com

どのPythonメモリプロファイラが推奨されますか？

私は自分のPythonアプリケーションのメモリ使用量を知りたいと思います、そして特にどのコードブロック/部分またはオブジェクトが最もメモリを消費しているか知りたいです。 Googleの検索によると、商用のものは Python Memory Validator です（Windowsのみ）。

そしてオープンソースのものは PySizer と Heapy です。

私は誰も試したことがないので、私はどれが最も考慮すべきであるかを知りたかったです：

  1. ほとんどの詳細を説明します。

  2. 私は自分のコードをほとんどまたはまったく変更する必要はありません。

pythonperformancememory-managementprofiling
636
Anurag Uniyal

Heapy は使い方がとても簡単です。あなたのコードのある時点で、あなたは以下を書く必要があります：

from guppy import hpy
h = hpy()
print h.heap()

これにより、次のような出力が得られます。

Partition of a set of 132527 objects. Total size = 8301532 bytes.
Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
0  35144  27  2140412  26   2140412  26 str
1  38397  29  1309020  16   3449432  42 Tuple
2    530   0   739856   9   4189288  50 dict (no owner)

また、オブジェクトが参照されている場所を調べてそれに関する統計を取得することもできますが、どういうわけかそれに関するドキュメントは少し疎です。

Tkで書かれたグラフィカルブラウザもあります。

270
Torsten Marek

誰もそれを述べていないので、私は私のモジュール memory_profiler を指し示すでしょう。これはメモリ使用量の行ごとの報告を印刷することができ、そしてUnixで動作します。 Windows（この最後のものにpsutilが必要です）。出力はそれほど詳細ではありませんが、目標はコードがより多くのメモリを消費している場所の概要を示すことであり、割り当てられたオブジェクトの徹底的な分析ではありません。

関数を@profileで装飾し、-m memory_profilerフラグを付けてコードを実行すると、次のような行ごとのレポートが表示されます。

Line #    Mem usage  Increment   Line Contents
==============================================
     3                           @profile
     4      5.97 MB    0.00 MB   def my_func():
     5     13.61 MB    7.64 MB       a = [1] * (10 ** 6)
     6    166.20 MB  152.59 MB       b = [2] * (2 * 10 ** 7)
     7     13.61 MB -152.59 MB       del b
     8     13.61 MB    0.00 MB       return a
331
Fabian Pedregosa

私は Dowser をお勧めします。設定は非常に簡単で、コードを変更する必要はまったくありません。単純なWebインターフェイスから、時間経過に伴う各タイプのオブジェクトの数の表示、ライブオブジェクトのリストの表示、ライブオブジェクトへの参照の表示をすべて実行できます。

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.server.quickstart()
    cherrypy.engine.start(blocking=False)

Memdebugをインポートして、memdebug.startを呼び出します。それで全部です。

私はPySizerやHeapyを試したことがありません。他の人のレビューに感謝します。

UPDATE

上記のコードはCherryPy 2.X、CherryPy 3.X用で、server.quickstartメソッドは削除され、engine.startはblockingフラグを取りません。 CherryPy 3.Xを使っているのであれば

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.engine.start()
80
sanxiyn

objgraph ライブラリーを検討してください（ http://www.lshift.net/blog/2008を参照）。/11/14/tracing-python-memory-leaks ユースケースの例。

64
Charles Duffy

Muppy は（まだ別の）Python用のメモリ使用量プロファイラです。このツールセットの焦点は、メモリリークの識別にあります。

Muppyは開発者がPythonアプリケーションのメモリリークを識別するのを手助けしようとします。実行時のメモリ使用量の追跡とリークしているオブジェクトの識別を可能にします。さらに、解放されていないオブジェクトのソースを見つけることを可能にするツールが提供されています。

16
Serrano

私は meliae がHeapyやPySizerよりもはるかに機能的であることがわかりました。あなたがたまたまwsgi Webアプリケーションを実行しているなら、 ドーザー はDowserのいいミドルウェアラッパーです。

12
Calen Pennington

私はmemprofと呼ばれるPython用のメモリプロファイラを開発しています。

http://jmdana.github.io/memprof/

それはあなたが装飾されたメソッドの実行中にあなたの変数のメモリ使用量を記録しプロットすることを可能にします。あなただけのライブラリをインポートする必要があります。

from memprof import memprof

そして、あなたのメソッドを使って飾ります：

@memprof

これはプロットの様子の例です。

enter image description here

プロジェクトはGitHubでホストされています。

https://github.com/jmdana/memprof

10
jmdana

Pythonの行番号ごとのメモリ使用量を提供する pytracemallocプロジェクト も試してください。

編集（2014/04）：スナップショットを分析するQtのGUIがあります。

8
haypo