Vaktin.is - breytingar

Hugmyndadeild, kvartanadeild og gleðideild
Skjámynd

Höfundur
GuðjónR
Stjórnandi
Póstar: 15436
Skráði sig: Fim 29. Ágú 2002 18:46
Staðsetning: Hérna
Hafðu samband:
Staða: Ótengdur

Vaktin.is - breytingar

Póstur af GuðjónR »

Undanfarna mánuði höfum við gerið að gera tilraunir með nýjungar og verið að hanna nýtt útlit og virkni á Vaktin.is
Þetta er allt að smella saman og mun verða sýnilegt á komandi dögum/vikum.

Fyrsta breytingin sem er komin í gangið frá og með deginum í dag:

Vaktin.is uppfærir sig sjálfkrafa!

Forritarinn okkar snjalli hann Árni sem forritaði sjálfa Vaktina fyrir tæpum tíu árum forritaði "róbot" sem fer inn á allar verslanirnar eins oft og við viljum, þess vegna á 15 mín fresti 24/7 og ber saman verðin þar og verðin á Vaktin.is og ef það er misræmi þá lagar hann verðin á Vaktin.is til samræmis við verslanirnar. Hugmyndin er samt að láta róbotinn yfirfara verðin 2x-3x á dag til að koma í veg fyrir óþarfa álag á netþjóna.

Róbotinn nær að yfirfara allar verslanirnar um 600 vörur á 4:41 en þetta er verk sem gat tekið allt að 10 klst. áður!
Þ.e. ef það var mikið um brotna linka og vitlaus verð. Með þessari nýjung er ekkert því til fyrirstöðu að auka vörurnar á Vaktinni til muna. Og þess vegna flokka eftir framleiðendum þar sem uppfærslu/höfðuverkurinn er ekki lengur til staðar.

Ég bætti svo við nýrri verslun í morgun: budin.is
Skjámynd

vesley
Kóngur
Póstar: 4139
Skráði sig: Mán 08. Sep 2008 19:39
Staðsetning: við talvuna
Staða: Ótengdur

Re: Vaktin.is - breytingar

Póstur af vesley »

Þetta er frábært fyrir bæði alla notendur hérna og líka verslanir.

Man hvað það gat tekið mig ógeðslega langann tíma að uppfæra verðin þegar ég var að vinna hjá Buy.is :lol:
massabon.is
Skjámynd

Daz
Besserwisser
Póstar: 3697
Skráði sig: Sun 20. Okt 2002 09:35
Staðsetning: Somewhere something went horribly wrong
Staða: Ótengdur

Re: Vaktin.is - breytingar

Póstur af Daz »

Þarf ekki samt handvirkt að bæta við vörum og linkum í þær í hverri búð fyrir sig?

Engu að síður afbragðs fítus ef vel heppnast, mér fannst alltaf hálf óþægilegt að vita ekki almennilega hvaða búðir væru duglegar að uppfæra sjálfar og hvaða búðir slugsuðu. Núna verður vaktin líklega mun nothæfari í verðsamanburð.

:happy \:D/ :drekka
Skjámynd

Höfundur
GuðjónR
Stjórnandi
Póstar: 15436
Skráði sig: Fim 29. Ágú 2002 18:46
Staðsetning: Hérna
Hafðu samband:
Staða: Ótengdur

Re: Vaktin.is - breytingar

Póstur af GuðjónR »

Á þessum 4 mínútum og 41 sec þá skannaði kerfið allar búðirnar og gerði eftirfarandi breytingar, þ.e. frá kl 8 í morgun:

Les og tékkar á 597 vörum.
att.is var að taka út
AMD Phenom II X4 965 Black
AMD Phenom II X6 1055T
AMD Phenom II X6 1075T
AMD Phenom II X6
AMD Pheonm II X4

Start.is var að hækka: AMD Bulldozer FX-8150 úr 46.900 í 49.990
Computer.is var að hækka: 750GB HD úr 19.900 í 23.900

Og 66 ný verð hjá budin.is
Skjámynd

Höfundur
GuðjónR
Stjórnandi
Póstar: 15436
Skráði sig: Fim 29. Ágú 2002 18:46
Staðsetning: Hérna
Hafðu samband:
Staða: Ótengdur

Re: Vaktin.is - breytingar

Póstur af GuðjónR »

Daz skrifaði:Þarf ekki samt handvirkt að bæta við vörum og linkum í þær í hverri búð fyrir sig?

Engu að síður afbragðs fítus ef vel heppnast, mér fannst alltaf hálf óþægilegt að vita ekki almennilega hvaða búðir væru duglegar að uppfæra sjálfar og hvaða búðir slugsuðu. Núna verður vaktin líklega mun nothæfari í verðsamanburð.

:happy \:D/ :drekka
Jú, en þeir linkar eru þegar til í kerfinu okkar, þegar þú klikkar á vöru þá ferðu beint á þá vöru hjá verslun.
Og þeir linkar eru allir settir inn manual í upphafi. Það er minnsta vinnan :)
Að fylgjast með þeim öllum og passa hafa samræmi í verðum það er stóra málið.

Já, núna verður hægt að treysta því að Vaktin verður alltaf uppfærð 2-3x á dag...
Skjámynd

Daz
Besserwisser
Póstar: 3697
Skráði sig: Sun 20. Okt 2002 09:35
Staðsetning: Somewhere something went horribly wrong
Staða: Ótengdur

Re: Vaktin.is - breytingar

Póstur af Daz »

Hvað með möguleikann á að sama búið sé að selja tvo sambærilega hluti frá mismunandi framleiðanda, það þarf að fylgjast með því "ósjálfvirkt" og skipta út vörulink ef tilefni er til?

Ekkert að skammast, bara forvitinn hvernig ferlið er/verður.
Skjámynd

Höfundur
GuðjónR
Stjórnandi
Póstar: 15436
Skráði sig: Fim 29. Ágú 2002 18:46
Staðsetning: Hérna
Hafðu samband:
Staða: Ótengdur

Re: Vaktin.is - breytingar

Póstur af GuðjónR »

Daz skrifaði:Hvað með möguleikann á að sama búið sé að selja tvo sambærilega hluti frá mismunandi framleiðanda, það þarf að fylgjast með því "ósjálfvirkt" og skipta út vörulink ef tilefni er til?

Ekkert að skammast, bara forvitinn hvernig ferlið er/verður.
Ef við vildum fylgjast með þeim báðum....segjum t.d.

Skjákort frá PNY og Skjákort frá eVGA þá þyrftum við annað hvort að gera svona:

[PNY] GTX 580 verð:
[eVGA] GTX 580 verð:

Og vera með sitthvorta slóðina á vörurnar í grunninum, þetta væri handavinna í upphafi og spurning hvort það yrði ekki of mikið "kraðak" ...

Samt...
Gæti verið sniðugt að flokka HDD eftir framleiðendum....og hugsanlega vinnsluminni...
Skjámynd

appel
Stjórnandi
Póstar: 4081
Skráði sig: Fös 13. Jún 2003 16:46
Staða: Ótengdur

Re: Vaktin.is - breytingar

Póstur af appel »

Þetta er meiriháttar bylting. Kannski hefði enginn tekið eftir þessu, en fyrir Guðjón, hm... segjum bara að ég held að venjulegir vaktarar bara viti ekki hvað maðurinn er búinn að leggja mikið á sig fyrir þá [-o< Tók mig nokkra klukkustundir að klára þetta, en Guðjón er búinn að eyða sjálfsagt þúsundir klukkustunda í verðuppfærslur síðustu árin. #-o

But no more :happy

En allavegana, það eru sennilega fleiri uppfærslur framundan. T.d. verðþróunargröf per vöru og búð, hækkun/lækkun pílurnar koma kannski aftur inn, nýtt lúkk, myndir af vörum, o.s.frv. Ekkert búið að negla niður hvenær né í hvaða röð þetta kemur, kemur bara þegar það kemur :)
*-*
Skjámynd

Höfundur
GuðjónR
Stjórnandi
Póstar: 15436
Skráði sig: Fim 29. Ágú 2002 18:46
Staðsetning: Hérna
Hafðu samband:
Staða: Ótengdur

Re: Vaktin.is - breytingar

Póstur af GuðjónR »

:happy
Skjámynd

intenz
Besserwisser
Póstar: 3337
Skráði sig: Mið 08. Okt 2008 22:07
Staðsetning: /dev/null
Staða: Ótengdur

Re: Vaktin.is - breytingar

Póstur af intenz »

Snilld, vel af sér vikið appel! Hvernig gerðiru þetta samt? Eru allar vefverslanirnar með vörulistann í XML/JSON?

En það mætti bæta við "Síðast uppfært: HH:mm" svo maður viti hvenær listinn var uppfærður síðast. :)
i7 920 @ 2.8 GHz | Gigabyte EX58-UD3R | CSX 3x2 GB DDR3 @ 1600 MHz | Gigabyte ATi Radeon HD 5850 | Sileo 500 | RealPower 600W | Corsair Force 3 120 GB | 27" FullHD | W7 x64
Skjámynd

Höfundur
GuðjónR
Stjórnandi
Póstar: 15436
Skráði sig: Fim 29. Ágú 2002 18:46
Staðsetning: Hérna
Hafðu samband:
Staða: Ótengdur

Re: Vaktin.is - breytingar

Póstur af GuðjónR »

intenz skrifaði:Snilld, vel af sér vikið appel! Hvernig gerðiru þetta samt? Eru allar vefverslanirnar með vörulistann í XML/JSON?

En það mætti bæta við "Síðast uppfært: HH:mm" svo maður viti hvenær listinn var uppfærður síðast. :)
Já það verður tími á því, sem segir t.d 1.klst ... eða 8.klst ....
Skjámynd

dori
Besserwisser
Póstar: 3567
Skráði sig: Fim 12. Feb 2009 10:46
Staða: Ótengdur

Re: Vaktin.is - breytingar

Póstur af dori »

intenz skrifaði:Snilld, vel af sér vikið appel! Hvernig gerðiru þetta samt? Eru allar vefverslanirnar með vörulistann í XML/JSON?

En það mætti bæta við "Síðast uppfært: HH:mm" svo maður viti hvenær listinn var uppfærður síðast. :)
Hugsanlegt að þeir séu með XML/Json sem þeir gefa ekki upp.. Það væri samt eitthvað sem þeir ættu að linka í fyrir fólk :hnuss
Mér finnst það samt ólíklegt. Ég myndi giska á að hann sé að leita að strengjum. Hugsanlega eitthvað eins og Beautiful Soup nema væntanlega fyrir annað tungumál en Python. Það er allavega alveg pottþétt ekki XPath þar sem þessar búðir eru með svo meaningless og invalid xml markup að það nær ekki nokkurri átt :roll:
Skjámynd

Höfundur
GuðjónR
Stjórnandi
Póstar: 15436
Skráði sig: Fim 29. Ágú 2002 18:46
Staðsetning: Hérna
Hafðu samband:
Staða: Ótengdur

Re: Vaktin.is - breytingar

Póstur af GuðjónR »

dori skrifaði:Hugsanlegt að þeir séu með XML/Json sem þeir gefa ekki upp..
Nei auðvitað gefum við ekki upp tæknilegu atriðin, nóg að sýna ykkur virknina :happy
Skjámynd

bAZik
Tölvutryllir
Póstar: 690
Skráði sig: Fös 07. Ágú 2009 20:55
Staða: Ótengdur

Re: Vaktin.is - breytingar

Póstur af bAZik »

Djöfulsins snilld, allt saman!
Skjámynd

Gunnar
Vaktari
Póstar: 2257
Skráði sig: Fös 08. Ágú 2008 00:11
Staðsetning: 109 Reykjavík
Staða: Ótengdur

Re: Vaktin.is - breytingar

Póstur af Gunnar »

snilldar framför. hlakka til að sjá hvað fleirra er á leiðinni! =D>

cartman
has spoken...
Póstar: 170
Skráði sig: Sun 11. Des 2011 14:01
Staða: Ótengdur

Re: Vaktin.is - breytingar

Póstur af cartman »

Snilldar framtak hjá ykkur
Skjámynd

intenz
Besserwisser
Póstar: 3337
Skráði sig: Mið 08. Okt 2008 22:07
Staðsetning: /dev/null
Staða: Ótengdur

Re: Vaktin.is - breytingar

Póstur af intenz »

dori skrifaði:
intenz skrifaði:Snilld, vel af sér vikið appel! Hvernig gerðiru þetta samt? Eru allar vefverslanirnar með vörulistann í XML/JSON?

En það mætti bæta við "Síðast uppfært: HH:mm" svo maður viti hvenær listinn var uppfærður síðast. :)
Hugsanlegt að þeir séu með XML/Json sem þeir gefa ekki upp.. Það væri samt eitthvað sem þeir ættu að linka í fyrir fólk :hnuss
Mér finnst það samt ólíklegt. Ég myndi giska á að hann sé að leita að strengjum. Hugsanlega eitthvað eins og Beautiful Soup nema væntanlega fyrir annað tungumál en Python. Það er allavega alveg pottþétt ekki XPath þar sem þessar búðir eru með svo meaningless og invalid xml markup að það nær ekki nokkurri átt :roll:
Það hlýtur eiginlega að vera. Ekki myndi ég nenna að parse'a hverja og eina síðu. Svo breyta þeir HTML'inu og þá fer allt í fokk.

appel má samt alveg útskýra hvaða leið hann fór, þó hann gefi ekki upp kóða
i7 920 @ 2.8 GHz | Gigabyte EX58-UD3R | CSX 3x2 GB DDR3 @ 1600 MHz | Gigabyte ATi Radeon HD 5850 | Sileo 500 | RealPower 600W | Corsair Force 3 120 GB | 27" FullHD | W7 x64
Skjámynd

hagur
Vaktari
Póstar: 2917
Skráði sig: Mið 17. Des 2003 16:11
Hafðu samband:
Staða: Ótengdur

Re: Vaktin.is - breytingar

Póstur af hagur »

Með HTML parser sem styður XPath (t.d HTMLAgilityPack) þá má gera ansi robust scraping botta sem þola að talsverðar breytingar séu gerðar á HTML-inu ;)

Væri gaman að heyra hvaða leið Appel fór.
Skjámynd

dori
Besserwisser
Póstar: 3567
Skráði sig: Fim 12. Feb 2009 10:46
Staða: Ótengdur

Re: Vaktin.is - breytingar

Póstur af dori »

hagur skrifaði:Með HTML parser sem styður XPath (t.d HTMLAgilityPack) þá má gera ansi robust scraping botta sem þola að talsverðar breytingar séu gerðar á HTML-inu ;)

Væri gaman að heyra hvaða leið Appel fór.
Ég skoðaði þessar helstu síður fyrir einhverju síðan með svona auto scraping í huga. HTMLið þeirra flestra er alveg núll markvert (bara tala inní einhverju span eða td elementi og svo einhver stíling sem gefur til kynna stærð og letur stíl) og það er þannig séð engin leið til að greina hvað er virkilega verðið á hverri síðu án þess að fara í að búa til mjög specific prófíl fyrir hverja síðu sem augljóslega þyrfti að breyta ef einhverjar meiri en mjög minniháttar breytingar yrðu gerðar á leiðinni að elementinu sem inniheldur verðið.

Það væri um að gera að menn myndu nota hProduct drögin eða herma eftir t.d. Amazon. Allavega skella class eins og "price" sem er notaður á allar verðmerkingar.
Skjámynd

Akumo
spjallið.is
Póstar: 453
Skráði sig: Fim 07. Okt 2010 19:12
Staðsetning: /viewtopic.php?f=9&t=26366
Staða: Ótengdur

Re: Vaktin.is - breytingar

Póstur af Akumo »

Djöfull verður þetta huggulegt! :D snilld :happy
Skjámynd

Son of a silly person
has spoken...
Póstar: 156
Skráði sig: Lau 01. Sep 2007 23:48
Staðsetning: Reyðarfjörður
Staða: Ótengdur

Re: Vaktin.is - breytingar

Póstur af Son of a silly person »

þetta er frábært. Þúsund þakkir, þið eruð snillingar :megasmile
Asrock 990FX Deluxe4 - Tagan 1100w - AMD FX-8350 Vishera -GeIL 8gb ddr3 1066 - AMD R9 280x crossfire - HDD 1TB 2x3TB - 2xSSD 120gb - Blu-ray combo - Windows 7 64bit - Antec P193 V3
Skjámynd

worghal
Kóngur
Póstar: 6079
Skráði sig: Sun 11. Mar 2007 14:00
Staðsetning: fyrir aftan þig
Staða: Ótengdur

Re: Vaktin.is - breytingar

Póstur af worghal »

really?
er ekki bara hægt að fá captcha á nýskráningar ?
Viðhengi
really.png
really.png (16.72 KiB) Skoðað 2257 sinnum
CPU: Intel Core i7 6700K MB: Asrock Z170 Extreme4 GPU: Asus GTX 980 Strix RAM: Corsair Vengeance LPX 2x8gb 3200Mhz CPU Cooler: Noctua NH-D14 Sound: Asus Xonar STX - HD380PRO - Yamaha HS7 CASE: Bitfenix Shinobi XL
Skjámynd

Akumo
spjallið.is
Póstar: 453
Skráði sig: Fim 07. Okt 2010 19:12
Staðsetning: /viewtopic.php?f=9&t=26366
Staða: Ótengdur

Re: Vaktin.is - breytingar

Póstur af Akumo »

Einmitt, skildi ekkert hvað væri í gangi þegar þetta kom áðan :P
Skjámynd

DoofuZ
1+1=10
Póstar: 1103
Skráði sig: Lau 30. Okt 2004 16:02
Staðsetning: Rivertown
Staða: Ótengdur

Re: Vaktin.is - breytingar

Póstur af DoofuZ »

Sammála varðandi þetta captcha :? Hvernig á ég t.d. að geta gert vaktar gadget-ið þannig að það geti loggað mann inn til að sýna innlegginn manns og fleira í þeim dúr ef það er eitthvað svona fyrir? Hvað þá ef manni dytti svo í hug að gera síðan Android app... [-X Svona á að sjálfsögðu bara heima í nýskráningu.
Gigabyte GA-MA790FXT-UD5P, AMD Phenom II X4 955 @3.2Ghz, 2 x 4gb Corsair Vengeance DDR3 @1600mhz LP, EVGA Geforce GTX 760, Seagate Barracuda 500gb, 20x Sony DVDRW, TT Big Typhoon og 700W Tagan BZ allt í Cooler Master Stacker kassa með 55" Philips HDTV :]

coldcut
Vaktari
Póstar: 2192
Skráði sig: Mið 21. Nóv 2007 02:25
Staðsetning: /dev/random
Staða: Ótengdur

Re: Vaktin.is - breytingar

Póstur af coldcut »

Þetta á líka bara að vera við nýskráningu, þurfum e-ð að breyta þessari scriptu og það er í vinnslu. En þetta er sett upp til að verjast spambottum sem eru nokkrir á dag, mun spara stjórnendum (sérstaklega verndara Vaktarinnar honum Guðjóni) hellings vesen og tíma.
Svara