ვებ სკრიპტის მახასიათებლები - Semalt ექსპერტი
ვებ ჩამწერი არის Chrome ბრაუზერის გაფართოება, რომლის მიზანია მონაცემთა ამოღება ვებ – გვერდებიდან. ამ გაფართოებით, თქვენ შეგიძლიათ შექმნათ საიტის რუკა ან გეგმა, რომელიც აჩვენებს საიტის ნავიგაციის ყველაზე შესაფერის გზას და მისგან მონაცემების ამოღებას.
თქვენი საიტის რუქის შემდეგ, ვებ სკრეპერი გვერდის შემდეგ დაათვალიერებს წყაროების გვერდს და გადაწერს საჭირო შინაარსს. მოპოვებული მონაცემების ექსპორტირება შესაძლებელია როგორც CSV ან სხვა ფორმატის სახით. ამასთან, ამ გაფართოების ინსტალაცია შესაძლებელია Chrome მაღაზიისგან უპრობლემოდ.
ვებ სკრერის ზოგიერთი მახასიათებელი ასახულია ქვემოთ მოცემულ ქვემოთ
- მრავალი გვერდის გადაკვრის უნარი
ხელსაწყოს აქვს შესაძლებლობა აიღოს მონაცემები რამდენიმე ვებ – გვერდიდან ერთდროულად, თუ იგი გათვალისწინებულია საიტის რუქაზე. თუ თქვენ გჭირდებათ ყველა გვერდის ამონაწერი 100 – გვერდიან ვებსაიტზე, შეიძლება დრო დაგჭირდეთ, რომ შეამოწმოთ თითოეული გვერდი და გაეცანით, რომელი მათგანი შეიცავს სურათებს და რომელი არა. ასე რომ, თქვენ შეგიძლიათ დაავალოთ ინსტრუმენტი, შეამოწმოს ყველა გვერდი სურათებისთვის.
- ინსტრუმენტი ინახავს მონაცემებს CouchDB ან ბრაუზერის ადგილობრივ საცავში
- ინსტრუმენტი ინახავს საიტის საიტებსა და მოპოვებულ მონაცემებს ბრაუზერის ადგილობრივ საცავში ან CouchDB– ში
- შეუძლია მრავალი მონაცემის ამოღება
მას შემდეგ, რაც ხელსაწყოს შეუძლია მონაცემთა მრავალ ტიპთან მუშაობა, მომხმარებლებს შეუძლიათ აირჩიონ მონაცემთა მრავალ ტიპები იმავე გვერდზე მოპოვებისთვის. მაგალითად, მას შეუძლია ერთდროულად გადაიღოს ორივე სურათი და ტექსტი ვებ – გვერდებიდან
- მონაცემების გადაწერა დინამიური გვერდებიდან
ვებ Scraper არის იმდენად ძლიერი, რომ მას შეუძლია მონაცემების გადაკვრა ისეთი დინამიური გვერდებისგან, როგორიცაა Ajax და JavaScript
- მოპოვებული მონაცემების ნახვის შესაძლებლობა
ინსტრუმენტი საშუალებას აძლევს მომხმარებლებს დაათვალიერონ გაფართოებული მონაცემები წინასწარ მითითებულ ადგილზე შენახვის წინ
- ის ექსპორტის მოპოვებულ მონაცემებს წარმოადგენს როგორც CSV
ქსელური ქსელის ექსპორტის საშუალებით ექსპორტის მონაცემები მოპოვებულია როგორც CSV, მაგრამ მას შეუძლია მისი სხვა ფორმატის ექსპორტირებაც.
- ექსპორტისა და იმპორტის საიტის რუკა
შეიძლება დაგჭირდეთ საიტის რუქების გამოყენება მრავალჯერ, ასე რომ ინსტრუმენტს მოთხოვნით შეუძლია საიტის რუქების იმპორტი და ექსპორტი.
- დამოკიდებულია მხოლოდ Chrome ბრაუზერში
სამწუხაროდ, ეს უპირატესობა ნაკლიანია. იგი მუშაობს ექსკლუზიურად Chrome ბრაუზერში.
სხვა მონაცემების გაფანტვის საშუალებები
არსებობს რამდენიმე მარტივი მონაცემების გაფანტვის ინსტრუმენტი, რომელიც ასევე შეიძლება სასარგებლო იყოს თქვენთვის. ზოგი მათგანი ჩამოთვლილია ქვემოთ.
1. სკრაპია
ეს ჩარჩო შეგიძლიათ გამოიყენოთ თქვენი ვებსაიტის ყველა შინაარსის გადასაწერად. შინაარსის გაფანტვა არ არის მისი ერთადერთი ფუნქცია. იგი ასევე შეიძლება გამოყენებულ იქნას ავტომატური ტესტირებისთვის, მონიტორინგისთვის, მონაცემთა მოპოვებისთვის, ქსელური დასამარცხებლად, ეკრანის გაფანტვისთვის და მრავალი სხვა მიზნით.
2. ვიჯ
ასევე შეგიძლიათ გამოიყენოთ Wget, რომ მთელი ვებგვერდი მარტივად დაიშალოს. მაგრამ ამ ხელსაწყოსთან მცირე ნაკლი არსებობს, მას არ შეუძლია CSS ფაილების გაანალიზება.
3. ასევე შეგიძლიათ გამოიყენოთ შემდეგი ბრძანება თქვენი ვებ – გვერდის შინაარსის გასაფართოებლად, სანამ არ გაშორებთ:
file_put_contents ('/ ზოგიერთი / დირექტორია / scrape_content.html', file_get_contents ('http://google.com'));