web-dev-qa-db-ja.com

Pythonプロセスで使用される合計メモリ？

Pythonプログラムが現在使用しているメモリ量を判断する方法はありますか？単一のオブジェクトのメモリ使用量に関する議論を見てきましたが、必要なのはプロセスの合計メモリ使用量であり、キャッシュされたデータの破棄を開始する必要がある時期を判断できます。

pythonmemory-management
201
rwallace

ここ は、Linux、Windows 7など、さまざまなオペレーティングシステムで機能する便利なソリューションです。

import os
import psutil
process = psutil.Process(os.getpid())
print(process.memory_info().rss)  # in bytes

Psutil 5.6.3を使用した現在のPython 2.7インストールでは、最後の行は次のようになります。

print(process.memory_info()[0])

代わりに（APIに変更がありました）。

注：まだインストールされていない場合は、pip install psutilを実行します。

233
Basj

Unixベースのシステム（Linux、Mac OS X、Solaris）の場合、標準ライブラリモジュール resource のgetrusage()関数を使用できます。結果のオブジェクトには属性ru_maxrssがあり、呼び出しプロセスのpeakメモリ使用量を示します。

>>> resource.getrusage(resource.RUSAGE_SELF).ru_maxrss
2656  # peak memory usage (kilobytes on Linux, bytes on OS X)

Python docs は、単位をメモしません。特定のシステムの man getrusage.2 ページを参照して、値の単位を確認してください。 Ubuntu 18.04では、単位はキロバイトとして記録されます。 Mac OS Xでは、バイトです。

getrusage()関数には、resource.RUSAGE_CHILDRENを指定して子プロセスの使用状況を取得し、（一部のシステムでは）resource.RUSAGE_BOTHを使用して（自己および子）プロセスの合計使用状況を取得することもできます。

Linuxだけに関心がある場合は、この質問の他の回答と this oneで説明されているように、代わりに/proc/self/statusまたは/proc/self/statmファイルを読むこともできます。

176
Nathan Craike

Windowsでは、WMIを使用できます（ home page 、 cheeseshop ）：


def memory():
    import os
    from wmi import WMI
    w = WMI('.')
    result = w.query("SELECT WorkingSet FROM Win32_PerfRawData_PerfProc_Process WHERE IDProcess=%d" % os.getpid())
    return int(result[0].WorkingSet)

Linuxの場合（python cookbook http://code.activestate.com/recipes/286222/ から：

import os
_proc_status = '/proc/%d/status' % os.getpid()

_scale = {'kB': 1024.0, 'mB': 1024.0*1024.0,
          'KB': 1024.0, 'MB': 1024.0*1024.0}

def _VmB(VmKey):
    '''Private.
    '''
    global _proc_status, _scale
     # get pseudo file  /proc/<pid>/status
    try:
        t = open(_proc_status)
        v = t.read()
        t.close()
    except:
        return 0.0  # non-Linux?
     # get VmKey line e.g. 'VmRSS:  9999  kB\n ...'
    i = v.index(VmKey)
    v = v[i:].split(None, 3)  # whitespace
    if len(v) < 3:
        return 0.0  # invalid format?
     # convert Vm value to bytes
    return float(v[1]) * _scale[v[2]]


def memory(since=0.0):
    '''Return memory usage in bytes.
    '''
    return _VmB('VmSize:') - since


def resident(since=0.0):
    '''Return resident memory usage in bytes.
    '''
    return _VmB('VmRSS:') - since


def stacksize(since=0.0):
    '''Return stack size in bytes.
    '''
    return _VmB('VmStk:') - since
62
codeape

UNIXでは、psツールを使用して監視できます。

$ ps u -p 1347 | awk '{sum=sum+$6}; END {print sum/1024}'

1347はプロセスIDです。また、結果はMB単位です。

28
bayer

it が好きです。@ bayerに感謝します。現在、特定のプロセス数ツールを入手しています。

# Megabyte.
$ ps aux | grep python | awk '{sum=sum+$6}; END {print sum/1024 " MB"}'
87.9492 MB

# Byte.
$ ps aux | grep python | awk '{sum=sum+$6}; END {print sum " KB"}'
90064 KB

プロセスリストを添付してください。

$ ps aux  | grep python
root       943  0.0  0.1  53252  9524 ?        Ss   Aug19  52:01 /usr/bin/python /usr/local/bin/beaver -c /etc/beaver/beaver.conf -l /var/log/beaver.log -P /var/run/beaver.pid
root       950  0.6  0.4 299680 34220 ?        Sl   Aug19 568:52 /usr/bin/python /usr/local/bin/beaver -c /etc/beaver/beaver.conf -l /var/log/beaver.log -P /var/run/beaver.pid
root      3803  0.2  0.4 315692 36576 ?        S    12:43   0:54 /usr/bin/python /usr/local/bin/beaver -c /etc/beaver/beaver.conf -l /var/log/beaver.log -P /var/run/beaver.pid
jonny    23325  0.0  0.1  47460  9076 pts/0    S+   17:40   0:00 python
jonny    24651  0.0  0.0  13076   924 pts/4    S+   18:06   0:00 grep python

参照

3
Chu-Siang Lai
import os, win32api, win32con, win32process
han = win32api.OpenProcess(win32con.PROCESS_QUERY_INFORMATION|win32con.PROCESS_VM_READ, 0, os.getpid())
process_memory = int(win32process.GetProcessMemoryInfo(han)['WorkingSetSize'])
3
Pedro Reis

/proc/self/statusよりも使いやすい：/proc/self/statm。これは、スペースで区切られた複数の statistics のリストです。両方のファイルが常に存在するかどうかはわかりません。

/ proc/[pid]/statm

ページで測定されたメモリ使用量に関する情報を提供します。列は次のとおりです。

  • size（1）プログラムの合計サイズ（/ proc/[pid]/statusのVmSizeと同じ）
  • 常駐（2）常駐セットサイズ（/ proc/[pid]/statusのVmRSSと同じ）
  • shared（3）常駐共有ページの数（つまり、ファイルによってバッキングされています）（/ proc/[pid]/statusのRssFile + RssShmemと同じ）
  • テキスト（4）テキスト（コード）
  • lib（5）ライブラリ（Linux 2.6以降は使用されていません。常に0）
  • データ（6）データ+スタック
  • dt（7）ダーティページ（Linux 2.6以降では未使用。常に0）

以下に簡単な例を示します。

from pathlib import Path
from resource import getpagesize

PAGESIZE = getpagesize()
PATH = Path('/proc/self/statm')


def get_resident_set_size() -> int:
    """Return the current resident set size in bytes."""
    # statm columns are: size resident shared text lib data dt
    statm = PATH.read_text()
    fields = statm.split()
    return int(fields[1]) * PAGESIZE


data = []
start_memory = get_resident_set_size()
for _ in range(10):
    data.append('X' * 100000)
    print(get_resident_set_size() - start_memory)

これにより、次のようなリストが生成されます。

0
0
368640
368640
368640
638976
638976
909312
909312
909312

100,000バイトを約3回割り当てた後、約300,000バイトだけジャンプすることがわかります。

3
Don Kirkby

Linux上の現在のプロセスの現在のメモリ使用量、Python 2、Python 3、およびpypy、インポートなし：

def getCurrentMemoryUsage():
    ''' Memory usage in kB '''

    with open('/proc/self/status') as f:
        memusage = f.read().split('VmRSS:')[1].split('\n')[0][:-3]

    return int(memusage.strip())

Linux 4.4および4.9でテスト済みですが、初期のLinuxバージョンでも動作するはずです。

man procを探して/proc/$PID/statusファイルの情報を検索すると、いくつかのフィールドの最小バージョン（「VmPTE」のLinux 2.6.10など）に言及していますが、「VmRSS」フィールド（ここで使用）にはそのような言及がありません。したがって、私はそれが初期バージョン以来そこにあったと仮定します。

3
Luc

以下は、このプロセスが関数呼び出し前に消費したメモリ量、関数呼び出し後に使用したメモリ量、および関数が実行された時間を追跡できる関数デコレータです。

import time
import os
import psutil


def elapsed_since(start):
    return time.strftime("%H:%M:%S", time.gmtime(time.time() - start))


def get_process_memory():
    process = psutil.Process(os.getpid())
    return process.memory_info().rss


def track(func):
    def wrapper(*args, **kwargs):
        mem_before = get_process_memory()
        start = time.time()
        result = func(*args, **kwargs)
        elapsed_time = elapsed_since(start)
        mem_after = get_process_memory()
        print("{}: memory before: {:,}, after: {:,}, consumed: {:,}; exec time: {}".format(
            func.__name__,
            mem_before, mem_after, mem_after - mem_before,
            elapsed_time))
        return result
    return wrapper

だから、それで装飾されたいくつかの機能があるとき

from utils import track

@track
def list_create(n):
    print("inside list create")
    return [1] * n

次の出力を確認できます。

inside list create
list_create: memory before: 45,928,448, after: 46,211,072, consumed: 282,624; exec time: 00:00:00
2
Ihor B.

Python 3.6およびpsutil 5.4.5の場合、 here にリストされているmemory_percent()関数を使用する方が簡単です。

import os
import psutil
process = psutil.Process(os.getpid())
print(process.memory_percent())
2
A.Ametov

Shとosを使用してpython bayerの答えを得ます。

float(sh.awk(sh.ps('u','-p',os.getpid()),'{sum=sum+$6}; END {print sum/1024}'))

回答はメガバイト単位です。

1
Newmu

Unixシステムの場合、-vを渡すと、time（/ usr/bin/time）コマンドがその情報を提供します。以下のMaximum resident set sizeを参照してください。これは最大（ピーク）実（仮想ではない）プログラム実行中に使用されたメモリです。

$ /usr/bin/time -v ls /

    Command being timed: "ls /"
    User time (seconds): 0.00
    System time (seconds): 0.01
    Percent of CPU this job got: 250%
    Elapsed (wall clock) time (h:mm:ss or m:ss): 0:00.00
    Average shared text size (kbytes): 0
    Average unshared data size (kbytes): 0
    Average stack size (kbytes): 0
    Average total size (kbytes): 0
    Maximum resident set size (kbytes): 0
    Average resident set size (kbytes): 0
    Major (requiring I/O) page faults: 0
    Minor (reclaiming a frame) page faults: 315
    Voluntary context switches: 2
    Involuntary context switches: 0
    Swaps: 0
    File system inputs: 0
    File system outputs: 0
    Socket messages sent: 0
    Socket messages received: 0
    Signals delivered: 0
    Page size (bytes): 4096
    Exit status: 0
1
Charly Empereur-mot