Scrapy, web sitelerinden veri çekmek için kullanılan açık kaynaklı ve işbirliği odaklı bir çerçevedir. Bu çerçeve, verileri hızlı, basit ancak genişletilebilir bir şekilde elde etmenizi sağlar.
Scrapy'ı kullanmak için öncelikle en son sürümü yüklemeniz gerekmektedir. Örneğin, Scrapy 2.11.2 sürümünü aşağıdaki gibi yükleyebilirsiniz: pip install scrapy veya PyPI veya Conda gibi diğer kaynaklardan da yükleyebilirsiniz.
Scrapy ile web tarayıcılarını oluşturabilir ve çalıştırabilirsiniz. Örneğin, aşağıdaki gibi basit bir web tarayıcı kodu yazabilirsiniz:
import scrapy
class BlogSpider(scrapy.Spider):
name = 'blogspider'
start_urls = ['https://www.zyte.com/blog/']
def parse(self, response):
for title in response.css('.oxy-post-title'):
yield {'title': title.css('::text').get()}
for next_page in response.css('a.next'):
yield response.follow(next_page, self.parse)
Bu kod, belirtilen URL'deki başlıkları çekmek için kullanılır. Scrapy, yazdığınız kuralları kullanarak verileri otomatik olarak çıkarır.
Scrapy, Zyte Scrapy Cloud'a da dağıtılabilir veya Scrapyd kullanarak kendi sunucunuzda barındırılabilir. Örneğin, shub login ile giriş yapıp, API anahtarınızı girerek shub deploy komutuyla tarayıcıyı Zyte Scrapy Cloud'a dağıtabilirsiniz. Ayrıca shub schedule komutuyla tarayıcıyı çalıştırma planı oluşturabilir ve shub items komutuyla çekilen verileri görüntüleyebilirsiniz.
Scrapy, hızlı ve güçlüdür. Veri çekmek için gerekli kuralları yazdığınızda, Scrapy kalan işlemleri otomatik olarak halleder. Ayrıca genişletilebilirliği de oldukça iyi. Yeni fonksiyonları kolayca eklenebilir, çekirdek kodlara dokunmadan genişletilebilir hale getirebilirsiniz.
Portable bir yapıda olan Scrapy, Python dilinde yazılmış olup Linux, Windows, Mac ve BSD gibi birçok işletim sisteminde çalışabilir.
Scrapy, sağlıklı bir topluluğa sahiptir. GitHub'da 43.100 yıldız, 9.600 çatallama ve 1.800 izleyiciye sahiptir. Ayrıca Twitter'da 5.500 takipçiye ve StackOverflow'da 18.000 soruya sahiptir.
Scrapy hakkında daha fazla bilgi edinmek için, Scrapy'ı hızlı bir şekilde keşfedebilir veya Scrapy'ı kullanan şirketleri tanıyabilirsiniz.
