Find Jobs
Hire Freelancers

Web scrape of 5-7 online retailers using Ruby Mechanize/Watir/Nokogiri

$25-50 AUD / hour

ปิดแล้ว
โพสต์ มากกว่า 6 ปีที่ผ่านมา

$25-50 AUD / hour

I run a data analytics consultancy in Sydney, Australia. I have a requirement to setup weekly scrapes of at least 5 large (50,000+ SKUs) online retail websites. The project will be split to scrape a single website to start with, extending to the others assuming satisfaction with the work completed. Technical requirements: - Scrapes must be written in Ruby using Mechanize/Nokogiri or Watir as appropriate - Where possible, avoiding JS and scrape via direct HTTP requests using Mechanize - i.e requires strong skills in tracing/debugging HTTP requests/responses - Alternatively, load page using Watir webdriver then pass off cookies to Mechanize - Last resort would be brute force Watir webdriver approach (scroll, point, click, etc) - Implement utilities for use of proxy / IP rotation where required (access to pool of anonymous IP addresses will be provided) - Scheduling via cron job to run at least weekly - Must use object oriented approach and design in a DRY manner so that code can be leveraged for future scrapes of additional sites and ensure future code manageability - Must use Activerecord to persist records scraped - Must implement logging (production logging to file + verbose debug option to STDOUT) Personal requirements: - Must be a great communicator both in terms of coding concepts and project management - Good at clearly laying out the workplan, milestones and progress - Must be available for 2x daily stand-up calls with Sydney AUS (timing TBC at mutually agreed time) - Must be able to demonstrate prior experience with ruby web scrape projects similar to above - Code must be well-structured and well-documented / commented Opportunity for ongoing Ruby backend and RoR web app build if this project is a success.
รหัสโปรเจกต์: 15682987

เกี่ยวกับโปรเจกต์

13 ข้อเสนอ
โปรเจกต์ระยะไกล
ใช้งานอยู่ 6 ปีที่ผ่านมา

กำลังมองหาการสร้างรายได้ใช่ไหม?

ประโยชน์ของการประมูลกับ Freelancer

กำหนดงบประมาณและกรอบเวลาของคุณ
รับเงินจากการงานของคุณ
อธิบายข้อเสนอของคุณในภาพรวม
ลงทะเบียนและเสนอราคาฟรี
13 ฟรีแลนซ์กำลังเสนอราคาโดยเฉลี่ย $36 AUD/ชั่วโมง สำหรับงานนี้
รูปอวาตาร์ของผู้ใช้
Hi, aaronjcowper! I’m experienced Python developer, and web-scraping is one of my main fields of knowledge, so I’m 100% confident that I can complete your project using Python as programming language. I completed hundreds of web-scraping projects and there were no situations when I could not retrieve some data.
$45 AUD ใน 40 วัน
5.0 (56 รีวิว)
7.6
7.6
รูปอวาตาร์ของผู้ใช้
Hi, I am Full stack Ruby on Rails developer. I can provide you best design, highly secure & best performance website regarding your needs. From development to production respecting testing & continuos-zero downtime deployment. I can assure you quality of my work. My Skills: - Ruby - Ruby on Rails - System Admin - Git, Bitbucket - MySQL , PostgreSQL - HTML5 , CSS3, SCSS, HAML, slim - javascript, coffeescript, jQuery - Ajax - Hosting & Maintaining any platform - RSpec (Test Driven Development) - Spree Ecommerce - Web Scraping - Shopify Thank you for your time and consideration. I look forward to speaking with you about this employment opportunity. Sincerely, Mezbah Alam
$27 AUD ใน 40 วัน
5.0 (32 รีวิว)
5.8
5.8
รูปอวาตาร์ของผู้ใช้
Hi, I'm Prem. I have 5+ years experience with scraping and automating the web with Ruby. I have used Watir, Nokogiri and Mechanize in the past. I have experience scraping fb, twitter, G+, aliexpress, amazon and many more. I can handle proxies and have solved Recaptcha's by using Deathbycaptcha service. Since I'm also a Rails dev I don't have to problem using AR to persist the data. Initiate chat to discuss. Thanks
$44 AUD ใน 40 วัน
5.0 (14 รีวิว)
4.5
4.5
รูปอวาตาร์ของผู้ใช้
Hi! After reading your job description, I noticed I'm fit freelancer for your project. I agree all of your requirements from you job description. Please send me a message so that we can discuss more. Andrey
$55 AUD ใน 40 วัน
5.0 (1 รีวิว)
4.3
4.3
รูปอวาตาร์ของผู้ใช้
We are team of Developers having rich experience with Ruby on Rails & Ruby. We have done extensive research on Heroku/AWS. The Technical team consists of Programmers having experience more than 6 years.
$45 AUD ใน 58 วัน
0.0 (0 รีวิว)
0.0
0.0

เกี่ยวกับลูกค้า

ปักธงของ AUSTRALIA
Maroubra, Australia
5.0
3
ยืนยันวิธีการชำระเงินแล้ว
เป็นสมาชิกตั้งแต่ มิ.ย. 2, 2017

การยืนยันลูกค้า

งานที่คล้ายกัน

Crawl, extract and build all APT repository
€8-30 EUR
Azure VM Deployment via DevOps Pipeline
₹1500-12500 INR
Telegram Channel Subscriber Scraping
$30-250 USD
Ruby Guru for Rapid Deployment
$30-250 USD
Multi-Website Data Scraping
₹600-1500 INR
Shoptet to Shopify Bulk Product Import
€12-18 EUR / hour
E-commerce Backend with MongoDB Integration
$8-15 USD / hour
Data Scraping - Car Database
$30-250 USD
Comprehensive Multi-Website Price Scraper -- 2
₹1500-12500 INR
i need to add my rotating proxies to my python playwright code
$2-8 CAD / hour
B2B White-Label Solutions Developer Needed (.Net, React, MongoDB, AWS)
$250-750 USD
AWS DevOps Engineer with ELB Proficiency
₹750-1250 INR / hour
E-commerce Consultant for Product Upload
$8-15 USD / hour
It will crawl and extract all itags from all images from Docker Hub, Quay.io, AWS ECR Public Gallery, Snapcraft, Flatpak, AppImages, Bundles, BitTorrent, EDonkey2000, SoulSeek and DC++, and it will build and publish deb packages (as APT repository).
€8-30 EUR
Urgent Amazon SP API Data Retrieval
€30-250 EUR
RDS Cert upgrade AWS
$10-30 USD
Crawl, extract, build and publish all Docker Hub, Quay.io, GitHub, BitBucket, GitLab, Snapcraft, Flatpak, AppImages, DC++, eMule, BitTorrent and SoulSeek as deb packages (APT repository), from ISO, container images, and source code files.
€8-30 EUR
fix dependency issue in Nim atoz library
$30-250 USD
SaaS Project ( SaaS for multi-agent live chat integration with WhatsApp)
$250-750 USD
MongoDB Expert for Ubuntu Apache Server
₹1500-12500 INR
ขอบคุณ! เราได้ส่งลิงก์สำหรับเครดิตฟรีให้คุณทางอีเมลแล้ว
เกิดข้อผิดพลาดขณะส่งอีเมลของคุณ กรุณาลองอีกครั้ง
โลโก้ Freelancer Thailand / ภาษาไทย ช่วยเหลือและสนับสนุน FreelancerประเภทโปรเจคการประกวดFreelancerองค์กรแพ็กเกจสมาชิกโครงการ Freelancer ชั้นแนวหน้าการจัดการโปรเจคงานในพื้นที่Photo Anywhereหน้าจัดแสดงผลงานAPI สำหรับนักพัฒนาได้รับการยืนยันDesktop App เกี่ยวกับเกี่ยวกับเราวิธีใช้งานความปลอดภัยนักลงทุนแผนผังเว็บไซต์เรื่องราวข่าวออกสื่อทีมรางวัลข่าวประชาสัมพันธ์ร่วมงานกับเรา ข้อกำหนดนโยบายความเป็นส่วนตัวข้อกำหนดและเงื่อนไขนโยบายลิขสิทธิ์ข้อพึงปฏิบัติค่าธรรมเนียมและค่าบริการหุ้นส่วนEscrow.comLoadshiftWarrior Forum แอปโลโก้ Apple App Store โลโก้ Google Play
ไม่สามารถคัดลอกไปยังคลิปบอร์ดได้ โปรดลองอีกครั้งหลังปรับเปลี่ยนการอนุญาต
คัดลอกไปยังคลิปบอร์ดแล้ว
ผู้ใช้ที่ลงทะเบียน งานที่มีการโพสต์ทั้งหมด
Freelancer ® is a registered Trademark of Freelancer Technology Pty Limited (ACN 142 189 759)
Copyright © 2024 Freelancer Technology Pty Limited (ACN 142 189 759)
กำลังโหลดตัวอย่าง
ได้รับอนุญาตสำหรับตำแหน่งทางภูมิศาสตร์
เซสชั่นการเข้าสู่ระบบของคุณหมดอายุและคุณได้ออกจากระบบแล้ว กรุณาเข้าสู่ระบบอีกครั้ง