web-dev-qa-db-ja.com

TweepyによるTwitterでのすべてのフォロワーIDの取得

マクドナルドのような100万人を超えるフォロワーを持つアカウントの完全なフォロワーリストを取得することは可能ですか？

Tweepyを使用して、コードに従います。

c = tweepy.Cursor(api.followers_ids, id = 'McDonalds')
ids = []
for page in c.pages():
     ids.append(page)

私もこれを試してください：

for id in c.items():
    ids.append(id)

しかし、「レート制限を超えました」というエラーが常に表示され、フォロワーIDは5000個しかありませんでした。

pythontwittertweepy
24
user1056824

レート制限を回避するために、次のフォロワーページリクエストまで待つことができます。ハックに見えますが、動作します：

import time
import tweepy

auth = tweepy.OAuthHandler(..., ...)
auth.set_access_token(..., ...)

api = tweepy.API(auth)

ids = []
for page in tweepy.Cursor(api.followers_ids, screen_name="McDonalds").pages():
    ids.extend(page)
    time.sleep(60)

print len(ids)

お役に立てば幸いです。

38
alecxe

接続を確立するときに、レート制限引数を使用します。 APIはレート制限内で自己制御します。

スリープポーズは悪くありません。これを使用して、人間をシミュレートし、最終的なコントロールとしてAPIレート制限を使用して、時間枠にわたってアクティビティを分散します。

api = tweepy.API(auth, wait_on_rate_limit=True, wait_on_rate_limit_notify=True, compression=True)

また、エラーをキャプチャして制御するためにtry/exceptを追加します。

サンプルコード https://github.com/aspiringguru/twitterDataAnalyse/blob/master/sample_rate_limit_w_cursor.py

管理を容易にするために、キーを外部ファイルに入れます。

https://github.com/aspiringguru/twitterDataAnalyse/blob/master/keys.py

17
aspiringGuru

Alecxeからの答えは良いですが、誰もドキュメントを参照していません。質問に答えるための正しい情報と説明は、 Twitter APIドキュメント にあります。ドキュメントから：

結果は5,000ユーザーIDのグループで提供され、後続のリクエストでnext_cursor値を使用して結果の複数の「ページ」をナビゲートできます。

0
irritable_phd_syndrom

私はこのコードを使用し、多数のフォロワーで動作します：スリープ期間ごとにフォロワーIDを保存するための関数と、リストを取得するための関数の2つの関数があります。

def save_followers_status(filename,foloowersid):
    path='//content//drive//My Drive//Colab Notebooks//Twitter//'+filename
    if not (os.path.isfile(path+'_followers_status.csv')):
      with open(path+'_followers_status.csv', 'wb') as csvfile:
        filewriter = csv.writer(csvfile, delimiter=',')


    if len(foloowersid)>0:
        print("save followers status of ", filename)
        file = path + '_followers_status.csv'
        # https: // stackoverflow.com / questions / 3348460 / csv - file - written -with-python - has - blank - lines - between - each - row
        with open(file, mode='a', newline='') as csv_file:
            writer = csv.writer(csv_file, delimiter=',')
            for row in foloowersid:
                writer.writerow(np.array(row))
            csv_file.closed

def get_followers_id(person):
    foloowersid = []
    count=0

    influencer=api.get_user( screen_name=person)
    influencer_id=influencer.id
    number_of_followers=influencer.followers_count
    print("number of followers count : ",number_of_followers,'\n','user id : ',influencer_id)
    status = tweepy.Cursor(api.followers_ids, screen_name=person, Tweet_mode="extended").items()
    for i in range(0,number_of_followers):
        try:
            user=next(status)
            foloowersid.append([user])
            count += 1
        except tweepy.TweepError:
            print('error limite of twiter sleep for 15 min')
            timestamp = time.strftime("%d.%m.%Y %H:%M:%S", time.localtime())
            print(timestamp)
            if len(foloowersid)>0 :
                print('the number get until this time :', count,'all folloers count is : ',number_of_followers)
                foloowersid = np.array(str(foloowersid))
                save_followers_status(person, foloowersid)
                foloowersid = []
            time.sleep(15*60)
            next(status)
        except :
            print('end of foloowers ', count, 'all followers count is : ', number_of_followers)
            foloowersid = np.array(str(foloowersid))
            save_followers_status(person, foloowersid)      
            foloowersid = []
    save_followers_status(person, foloowersid)
    # foloowersid = np.array(map(str,foloowersid))
    return foloowersid
0
zana saedpanah