یک روش موثر برای جمعآوری داده‌های توییتر بدون نیاز به API توییتر
جمعآوری داده‌های توییتر با اهداف مختلفی انجام می‌پذیرد؛ گاهی توسعه‌دهندگان برای انجام پروژه‌های خود داده‌های توییتر را جمعآوری می‌کنند؛ تحلیل‌گران داده، توییت‌ها را با هدف بررسی رفتار کاربران و تحلیل‌های آماری جمعآوری می‌کنند؛ محققان و پژوهشگران در راستای اهداف جامعه‌شناسی و بهبود مقاله‌های پژوهشی به جمعآوری و تحلیل داده‌های توییتر می‌پردازند. در سال‌های اخیر با گسترش اینترنت، به‌ویژه پس از شیوع کرونا، داده‌ها ارزش چندین برابری برای کسب‌وکارها و دولت‌ها پیدا کردند.
تقریباً گروه‌های یاد شده و تمام افرادی که داده‌های توییتر را جمعآوری و استفاده می‌کنند، دو روش دارند: آنها داده‌ها را از طریق نرم‌افزارهای رصد شبکه‌های اجتماعی همچون دیتاک دریافت می‌کنند و یا مستقیماً از توکن API توییتر که تا چندی پیش به‌صورت رایگان عرضه می‌شد، کمک می‌گیرند.
توییتر API رایگان خود را از دسترس خارج کرد!
بهمن‌ماه سال ۱۴۰۱، توییتر در رشته‌توییتی اعلام کرد که قصد دارد API رایگان خود را از دسترس خارج کرده و آن را به‌ازای هر ۱۰هزار توییت به مبلغ ۱۰۰ دلار ارائه کند. اینکار در نهایت در فروردین ۱۴۰۲ عملی شد و حالا API رایگان توییتر تنها برای ۱۵۰۰ توییت در ماه در اختیار توسعه‌دهندگان قرار دارد.
مسدودسازی API رایگان توییتر کلاینت‌های شخص ثالث به‌ویژه کسب‌وکارهای مبتنی بر بیگ‌دیتا را که تنها روش جمع‌آوری‌شان، API توییتر بوده، دچار مشکل کرده است. سوال اینجاست که چه روش یا روش‌های دیگری برای جمعآوری داده‌های توییتر بدون نیاز به API توییتر وجود دارد؟
جمعآوری داده‌های توییتر با دو روش
دو راه برای جمعآوری داده‌های توییتر وجود دارد که در اینجا آنها را روش رسمی و غیررسمی می‌نامیم. دلیل این نام‌گذاری این است که توییتر امکان جمعآوری دیتا با روش غیررسمی را مهیا نمی‌کند.
۱- روش رسمی
اولین روش جمعآوری همان روش مرسوم استفاده از توکن توییتر یا همان API است که دو روش دارد اما در حال حاضر امکان استفاده رایگان از آن محدود شده است. در روش اول (V1 app auth) توسعه‌دهنده با استفاده از APIهای توییتر و توکن Application، یک اپلیکیشن در پنل توسعه‌دهندگان توییتر رجیستر می‌شود و پس از تایید توییتر با استفاده از این اپلیکیشن رجیستری شده و کلیدهای خروجی توییتر برای جمعآوری استفاده می‌شود. همچنین می‌توان از APIهای ورژن ۲ توییتر (V2 app auth) با استفاده از توکن Application نیز داده‌های توییتر را جمعآوری کرد.
راه دیگر جمعآوری با API، روش V1 user auth است که در آن به دلیل استفاده از Auth یک اکانت علاوه بر جمعآوری دیتا می‌توان از APIهای توییت، ریتوییت و لایک نیز استفاده کرد. همین روند را می‌توان با روش V2 user auth نیز پیاده‌سازی نمود.
این ۲ روش تا پیش از از دسترس خارج شدن API های رایگان توییتر، به صورت رایگان امکان‌پذیر بودند. اما با این تغییر، درحال حاضر روش‌های مقرون به صرفه‌ای نیستند.
۲- روش غیررسمی
روش غیررسمی، روشی است که با مهندسی معکوس انجام می‌شود و توییتر به‌صورت رسمی اجازه استفاده از آن را نمی‌دهد. دیتاک با استفاده از این روش اختصاصی توانسته پس از محدودیت APIهای رایگان توییتر نیز، به صورت پایداری از توییتر دیتا جمعآوری کند.
در این روش، از یک اکانت توییتر برای جمعآوری داده استفاده می‌شود. بدین صورت که در ابتدا باید یک اکانت ایجاد شده و رفتار کاربر معمولی توییتر (توییت کردن، فالو کردن، فالوور گرفتن، لایک کردن و …) شبیه‌سازی شود تا طبق الگوریتم توییتر یک اکانت (کاربر) معمولی محسوب شود. در نهایت از اکانت ساخته شده برای جمعآوری دیتای توییتر استفاده می‌شود.
تفاوت‌های روش رسمی و غیر رسمی جمعآوری دیتای توییتر
هر دوی روش‌های مورد اشاره در حال حاضر با تغییرات دسترسی API رایگان توییتر هزینه بهره‌برداری فنی بالایی نیاز دارند. با این تفاوت که محدودیت زمانی درخواست در روش رسمی کمتر و در روش غیررسمی بیشتر است و در نتیجه حجم و سرعت جمعآوری داده در بازه زمانی یکسان در روش غیررسمی بیشتر خواهد بود.
همچنین با توجه به عدم اجازه توییتر برای استفاده از روش غیررسمی، امکان تغییر سیاست‌های توییتر نسبت به این مسئله و مواجهه با محدودیت زیاد یا ناپایداری در جمعآوری در این روش وجود دارد، درحالی که در روش رسمی، با توجه به پشتیبانی توییتر، پایدار بیشتر خواهد بود.
دیتاست کامل توییتر را از سامانه دیتاک دریافت کنید
با وجود قطعی کامل دسترسی به APIهای رایگان توییتر از اواسط فروردین ماه ۱۴۰۲، دیتاک توانسته با استفاده از روش غیررسمی همچنان حجم جمعآوری دیتای خود را پایدار و بدون تغییر نسبت به سال گذشته نگه دارد. برای بررسی این موضوع و تست اکانت رایگان و یا دریافت دیتاست توییتر در هر موضوعی، می‌توانید با ما در ارتباط باشید.
