web-dev-qa-db-ja.com

Python：FTPサーバー経由でファイルをダウンロードする

いくつかの公開データファイルをダウンロードしようとしています。ファイルへのリンクを取得するためにscreenscrapeします。これらはすべて次のようになります。

ftp://ftp.cdc.gov/pub/Health_Statistics/NCHS/nhanes/2001-2002/L28POC_B.xpt

RequestsライブラリのWebサイトでドキュメントが見つかりません。 1

pythonftpdownload
48
user1507455

requestsライブラリはftpリンクをサポートしていません。

FTPサーバーからファイルをダウンロードするには：

import urllib 

urllib.urlretrieve('ftp://server/path/to/file', 'file')
# if you need to pass credentials:
#   urllib.urlretrieve('ftp://username:password@server/path/to/file', 'file')

または：

import shutil
import urllib2
from contextlib import closing

with closing(urllib2.urlopen('ftp://server/path/to/file')) as r:
    with open('file', 'wb') as f:
        shutil.copyfileobj(r, f)

Python3：

import shutil
import urllib.request as request
from contextlib import closing

with closing(request.urlopen('ftp://server/path/to/file')) as r:
    with open('file', 'wb') as f:
        shutil.copyfileobj(r, f)
58
jfs

これを試すことができます

import ftplib

path = 'pub/Health_Statistics/NCHS/nhanes/2001-2002/'
filename = 'L28POC_B.xpt'

ftp = ftplib.FTP("Server IP") 
ftp.login("UserName", "Password") 
ftp.cwd(path)
ftp.retrbinary("RETR " + filename, open(filename, 'wb').write)
ftp.quit()
51
Rakesh

rllib2 を使用します。詳細については、これを確認してください doc.python.orgの例 ：

ここに役立つかもしれないチュートリアルのスニペットがあります

import urllib2

req = urllib2.Request('ftp://example.com')
response = urllib2.urlopen(req)
the_page = response.read()
7
Parker
    import os
    import ftplib
    from contextlib import closing

    with closing(ftplib.FTP()) as ftp:
        try:
            ftp.connect(Host, port, 30*5) #5 mins timeout
            ftp.login(login, passwd)
            ftp.set_pasv(True)
            with open(local_filename, 'w+b') as f:
                res = ftp.retrbinary('RETR %s' % orig_filename, f.write)

                if not res.startswith('226 Transfer complete'):
                    print('Downloaded of file {0} is not compile.'.format(orig_filename))
                    os.remove(local_filename)
                    return None

            return local_filename

        except:
                print('Error during download from FTP')
7
Roman Podlinov

数人が指摘しているように、リクエストはFTPをサポートしていませんが、Pythonには他のライブラリがあります。リクエストライブラリを使い続けたい場合は、 requests-ftp FTP機能をリクエストに追加するパッケージ。私はこのライブラリを少し使用しましたが、動作します。ドキュメントはコード品質に関する警告でいっぱいです。0.2.0の時点で、ドキュメントは「このライブラリは合計4時間の作業で、テストは行われず、いくつかのfewいハックに依存しています。」.

import requests, requests_ftp
requests_ftp.monkeypatch_session()
response = requests.get('ftp://example.com/foo.txt')
4
Nelson

Python用のwgetライブラリを使用してみてください。ドキュメントがあります こちら 。

    import wget
    link = 'ftp://example.com/foo.txt'
    wget.download(link)
2
Gaurav Shrivastava

urllib2.urlopenはftpリンクを処理します。

1
Victor Gavro

urlretrieveは私には機能しません。公式の document は、将来のある時点で廃止される可能性があると述べています。

import shutil 
from urllib.request import URLopener
opener = URLopener()
url = 'ftp://ftp_domain/path/to/the/file'
store_path = 'path//to//your//local//storage'
with opener.open(url) as remote_file, open(store_path, 'wb') as local_file:
    shutil.copyfileobj(remote_file, local_file)
0
GoatWang