Find Jobs
Hire Freelancers

Speed up a bot - not a threading issue!

$30-250 USD

ปิดแล้ว
โพสต์ เกือบ 10 ปีที่ผ่านมา

$30-250 USD

ชำระเงินเมื่อส่งงาน
Hi all, I've got a bot that scrapes a few sites through a search [login to view URL] bot uses a search query to find specific pages on the target sites. The problem I'm facing is that one target site scrapes very fast and the others don't. The same threading and technology is used for all target sites though. I'm looking for someone to fix this issue for me.I think the problem may be due to the loading time of the target websites, but I'm not sure. Since I'll only share the source code with the person I hire, I need you to mention upfront what you're planning to do to improve the speed so I can decide upfront if you're the right person for the job. I've had people suggest that the threading is the issue, although this is definitely not the case. Looking forward to receiving your bids
รหัสโปรเจกต์: 5754154

เกี่ยวกับโปรเจกต์

12 ข้อเสนอ
โปรเจกต์ระยะไกล
ใช้งานอยู่ 10 ปีที่ผ่านมา

กำลังมองหาการสร้างรายได้ใช่ไหม?

ประโยชน์ของการประมูลกับ Freelancer

กำหนดงบประมาณและกรอบเวลาของคุณ
รับเงินจากการงานของคุณ
อธิบายข้อเสนอของคุณในภาพรวม
ลงทะเบียนและเสนอราคาฟรี
12 freelancers are bidding on average $191 USD for this job
รูปอวาตาร์ของผู้ใช้
Is seems to me coding issues in the software................................................................................
$263 USD ใน 4 วัน
4.9 (43 รีวิว)
6.2
6.2
รูปอวาตาร์ของผู้ใช้
Hi,my friend Provide your program or the slow site url so that I can make a demo for you or give you some advices. Best Regards Zhining
$150 USD ใน 3 วัน
5.0 (36 รีวิว)
4.8
4.8
รูปอวาตาร์ของผู้ใช้
Hi, An ASP.NET,c#,vb ,SqlServer,JQuery,Javascript expert here. Please feel free to discuss the project with me so that i can wrap it up in a timely manner as per your requirements. I would like to have a detailed document of your requirements so that we can discuss the each and every point in details. Thanks, Murtaza
$400 USD ใน 7 วัน
5.0 (12 รีวิว)
4.6
4.6
รูปอวาตาร์ของผู้ใช้
I am experienced on C#, .Net, C++, SQL, MySql and web scraping/bot programming, I check your project's details and attachment very carefully, I can complete your work 100% perfectly and I will I make your old scraper faster, or I can give you a perfect faster new desktop scraper by C#..........Please check my past completed projects on scraping/bot, link is >>>> https://www.freelancer.com/u/developerphp2007.html ............. I completed all projects on bot/scraping, so your project really for me, you don't need to pay me if you will not get 100% perfect faster scraper..........I just need your some type of help, if you will help me then I can make a faster desktop scraper on your old code...........Please send me a message and if you have questions please ask me.............Thanks..........
$120 USD ใน 7 วัน
5.0 (9 รีวิว)
4.5
4.5
รูปอวาตาร์ของผู้ใช้
Hello There, From my experience with bots/scrapers speed depends upon different factors. First is how fast the website response is. If website itself is slow then there is very little that you can do. Secondly the way you are parsing the results can effect the speed. For example if parsing code was not written carefully it may perform very poor against huge data. Some time HTML returned by website can be very complex leading to extra processing time for example HtmlAgiltyPack which generates the DOM tree can take more time for huge/complex HTML. Also it could be the number of results for example scraper is trying to scrape from a paged list of 2K results. Threading plays a role but it doesn't do anything related to a single scraper instance. I worked on a project where we had more then two dozen scraper instance working in parallel. Depending upon query some time some of them took more time. We endup putting a time limit which if reached we forcefully killed the instance those were not done scraping. In order to test first case means check if website itself is causing the delay you can try some manual tests. I think firefox yslow plugin will help you find the website performance through browser. You should create some test plan and then try it both manually and from scraper. Finally compare the results to see if website is playing in role in it. Kind Regards
$133 USD ใน 7 วัน
5.0 (14 รีวิว)
4.3
4.3
รูปอวาตาร์ของผู้ใช้
HI, yes you are very right the problem is with the response time of the target website. We will have to implement a time based retry model to actually get the data, which will require testing the response time with some parameters. i can do this. -regards
$155 USD ใน 3 วัน
5.0 (1 รีวิว)
2.4
2.4
รูปอวาตาร์ของผู้ใช้
Hello, Maybe the site has request rate limit for an IP? I could rewrite your soft so that it would use proxies. All the best, Oskars
$150 USD ใน 5 วัน
4.9 (3 รีวิว)
2.4
2.4
รูปอวาตาร์ของผู้ใช้
Hi I have 7+ years of exp as programmer in various languages Let me know it more clearly what are the sites your are trying to scrape, where you have faced the issue. how much it is scraping per minute Hope for the positive response
$155 USD ใน 3 วัน
5.0 (1 รีวิว)
2.0
2.0
รูปอวาตาร์ของผู้ใช้
Hi Client, I read through the job details extremely carefully ,and see you need programmer have good experience in bot applications and I have worked on similar projects to what you are looking for, and I am confident I can exceed your expectations ,I would love to work on your project. and i can make sample in short time . Please see my Portfolio. Sorry about the confusion
$188 USD ใน 7 วัน
0.0 (0 รีวิว)
0.0
0.0

เกี่ยวกับลูกค้า

ปักธงของ NETHERLANDS
Rotterdam, Netherlands
5.0
37
ยืนยันวิธีการชำระเงินแล้ว
เป็นสมาชิกตั้งแต่ เม.ย. 25, 2011

การยืนยันลูกค้า

ขอบคุณ! เราได้ส่งลิงก์สำหรับเครดิตฟรีให้คุณทางอีเมลแล้ว
เกิดข้อผิดพลาดขณะส่งอีเมลของคุณ กรุณาลองอีกครั้ง
โลโก้ Freelancer Thailand / ภาษาไทย ช่วยเหลือและสนับสนุน FreelancerประเภทโปรเจคการประกวดFreelancerองค์กรแพ็กเกจสมาชิกโครงการ Freelancer ชั้นแนวหน้าการจัดการโปรเจคงานในพื้นที่Photo Anywhereหน้าจัดแสดงผลงานAPI สำหรับนักพัฒนาได้รับการยืนยันDesktop App เกี่ยวกับเกี่ยวกับเราวิธีใช้งานความปลอดภัยนักลงทุนแผนผังเว็บไซต์เรื่องราวข่าวออกสื่อทีมรางวัลข่าวประชาสัมพันธ์ร่วมงานกับเรา ข้อกำหนดนโยบายความเป็นส่วนตัวข้อกำหนดและเงื่อนไขนโยบายลิขสิทธิ์ข้อพึงปฏิบัติค่าธรรมเนียมและค่าบริการหุ้นส่วนEscrow.comLoadshiftWarrior Forum แอปโลโก้ Apple App Store โลโก้ Google Play
ไม่สามารถคัดลอกไปยังคลิปบอร์ดได้ โปรดลองอีกครั้งหลังปรับเปลี่ยนการอนุญาต
คัดลอกไปยังคลิปบอร์ดแล้ว
ผู้ใช้ที่ลงทะเบียน งานที่มีการโพสต์ทั้งหมด
Freelancer ® is a registered Trademark of Freelancer Technology Pty Limited (ACN 142 189 759)
Copyright © 2024 Freelancer Technology Pty Limited (ACN 142 189 759)
กำลังโหลดตัวอย่าง
ได้รับอนุญาตสำหรับตำแหน่งทางภูมิศาสตร์
เซสชั่นการเข้าสู่ระบบของคุณหมดอายุและคุณได้ออกจากระบบแล้ว กรุณาเข้าสู่ระบบอีกครั้ง