Scrape-a Vínbúðina.is

[gosi]

Er einhver góður í python og kann að búa til forrit sem scrapar Vínbúðina.
Var að reyna með scrapy en síðan þeirra er svo flókin að ég skildi það ekki almennilega.

[Frantic]

Ég myndi byrja að prófa að lúppa í gegnum id dótið hjá þeim.
http://www.vinbudin.is/DesktopDefault.a ... productID=???????" onclick="window.open(this.href);return false;?

Athuga hvort þú getir ekki náð öllu með því að byrja á 0 og enda á 100000.
Þarf þá að passa að scrape-a ekki þegar engar upplýsingar koma fram.
Hef sama og ekkert gert í python þannig ég get ekki hjálpað þér með hvaða tól þú gætir notað.
Vonandi einhver annar sem getur svarað því.

[dori]

Skoðaðu beautiful soup ef þú vilt parsa html með python. Þetta scripy virkar samt rosa einfalt líka (þarft basically bara að skilgreina hvernig þetta liggur en lítið sem ekkert boilerplate). Getur prófað að nota https://www.kimonolabs.com/" onclick="window.open(this.href);return false;, það er voða fínt svona hýst lausn til að skrapa hluti af vefnum.

Hvað er það sem þú ert að reyna að gera nákvæmlega?

[gosi]

Mig langar bara að prófa að scrapa þessa síðu því mér finnst hún svo óaðgengileg eitthvað. Ýmislegt sem hægt væri að laga hjá þeim.
Langar þá að tengja nokkra hluti saman um hina ýmsu drykki en síðan er svo illa gerð að það verður eitthvað flókið

[gosi]

Það þarf annars ekkert að vera í python, jafnvel nodes eða einhverju öðru sem keyrist á linux

[dori]

Ég á samt við hvað þú ætlar að gera. Nánari útlistun á því hvað þetta forrit sem þú ætlar að gera gerir.

Viltu bara betra yfirlit yfir hvað er til og hvað það kostar? Eitthvað annað og hvað þá? Eru upplýsingarnar í listanum nóg eða er eitthvað sem er bara á "detail síðunni" sem þig vantar?

Ertu bara að hugsa um eitthvað til heimanota eða eitthvað sem fleiri en þú myndir nota? Skiptir allt máli upp á hvað borgar sig að eyða miklu tíma í þetta.

[gosi]

Já ég myndi vilja betra yfirlit. Þetta ætti nú að vera til heimanota. T.d. að leita og fletta finnst mér vera lélegt.
Stundum þegar ég er að skoða og fletti á næstu síðu, as in númerin neðst, þá vill stundum síðan fara á heildaryfirlit yfir drykki.
Það pirrar mig þegar mig vantar upplýsingar. Líka sendir síðan javascript í númerunum neðst.

Þessi kimonolabs.com er helvíti góð. Þakka þér fyrir þær upplýsingar

[hagur]

Ef þú ert að fara að smíða scraper fyrir þetta, þá auðvitað býrðu til apis.is scraper og gerir þetta svo aðgengilegt fyrir alla þar ;-)

https://github.com/kristjanmik/apis#add ... w-endpoint" onclick="window.open(this.href);return false;

[gosi]

Nauh þetta er sniðugt. Já ég kannski geri það.

[starionturbo]

Eins mikið og ég elska að scrape-a, þá er hræðilega leiðinlegt að skrapa .NET doPostBackOjbara virkni með __VIEWSTATE.

[davida]

Heyheyhey, my time to shine! Ég skrifaði litla skriftu til að gera akkúrat þetta og notaði til þess CasperJS og phantomJS. Þetta er allt á github og er að sjálfsögðu alveg mega nastí "þarf bara að fá þetta til að virka einu sinni" skriftukóði , engin ábyrgð tekin etcetc .

Þú getur tékkað á þessu á https://github.com/davidarnarsson/boozefind" onclick="window.open(this.href);return false; . Eflaust pínu hausverkur að fá þetta til að virka. Þetta er líka + árs gamalt svo það getur vel verið að þetta brotni á móti síðunni í dag, ef einhverjar breytingar hafa orðið á henni.

Leitarvélin sjálf er uppsett á booze.axlabond.in . Þetta var nú bara smá parser flipp.

[rango]

https://github.com/davidarnarsson/boozefind" onclick="window.open(this.href);return false; .

NodeJS

[gosi]

Já!!! Svakalegt. Fer þetta semsagt á leitarsíðuna og kannar allar product og fer svo á næstu síðu?

[davida]

Já!!! Svakalegt. Fer þetta semsagt á leitarsíðuna og kannar allar product og fer svo á næstu síðu?

Jebb, ef ég man rétt þá eru þetta 2 skriftur, ein til þess að taka inn vörurnar, og svo önnur til að scrapea details fyrir hverja vöru fyrir sig.