Hent data fra søgemaskiner
Udskrevet fra: Dansk Regneark Forum
Kategori: Hjælp til regneark.
Forum navn: Makro og VBA
Forum beskrivelse: Hjælp til Makroer og VBA-programmering
Web-adresse: https://forum.excel-regneark.dk/forum_posts.asp?TID=1770
Udskrevet den: 01.Nov.2024 kl. 02:22
Emne: Hent data fra søgemaskiner
Besked fra: Soeren49
Emne: Hent data fra søgemaskiner
Posteringsdato: 14.Aug.2014 kl. 13:04
|
Hvordan får jeg Excel til at hente data fra søgemaskiner, f.eks. google og sætter det ind i Excel? Jeg har brug for at følge mine søgeords placering i SERP, og disse placeringer vil jeg gerne kunne følge i Excel. Jeg ved at Excel kan hente data fra søgemaskiner, men jeg har ingen erfaring med at programmerer i Excel. Er der nogen der kan hjælpe med at løse denne udfordring vil jeg blive  Med venlig hilsen Søren Hansen
|
Svar:
Besked fra: Soeren49
Posteringsdato: 14.Aug.2014 kl. 22:11
|
Jeg har nedenstående VBA kode, der generer søgeord fra 3 kolonner og placerer disse søgeord i en fjerde kolonne. Problemet er at jeg gerne selv vil bestemme søgeords sammensætningen. Er der nogen, der kan hjælpe med at ændre i nedenstående kode så det kommer til at virke efter hensigten? '' Change this if you want rankings for a region-specific google website, like www.google.co.uk '' Or, change it to a specific data center IP, like the Caffeine test server: 209.85.225.103 Const GOOGLE_WEBSERVER = "www.google.dk" '' Builds the URL of a SERP for a term, starting at a certain result Function BuildSERPURL(ByVal term As String, ByVal start As Integer) As String BuildSERPURL = "http://" & GOOGLE_WEBSERVER & "/search?start=" & start & "&q=" & term End Function '' Fetches a page from the internet Function FetchPage(ByVal url As String) As String Dim req As WinHttp.WinHttpRequest Set req = New WinHttp.WinHttpRequest req.Option(WinHttpRequestOption_UserAgentString) = "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)" req.Open "GET", url req.Send FetchPage = req.ResponseText End Function '' Locates my-URL in a SERP. '' Returns the position of my-URL in <count>, and returns true '' If not found, returns false, and <count> is the amount of URLs scanned in the SERP Function FindRank(ByVal page As String, ByVal myurl As String, ByRef count As Integer) As Boolean Dim pos As Long, posEnd As Long Dim url As String pos = 1 count = 0 FindRank = False Const sig = "<h3 class=""r""><a href=""" While (True) '' Find next link pos = InStr(pos, page, sig) If pos < 1 Then Exit Function pos = pos + Len(sig) '' Find end of link posEnd = InStr(pos, page, """") If posEnd < 1 Then Exit Function '' Extract the URL from the link url = Mid(page, pos, posEnd - pos) count = count + 1 '' Is it the URL we're looking for? If InStr(url, myurl) > 0 Then FindRank = True Exit Function End If Wend End Function '' Retrieves the current ranking of my-URL in a term's SERP, possibly going over more than one page '' Returns 0 if not found Function GetCurrentRanking(ByVal term As String, ByVal myurl As String, ByVal maxpages As Integer) As Integer Dim pagenum As Integer, start As Integer, count As Integer, rank As Integer pagenum = 0 start = 0 rank = 0 count = 0 While pagenum < maxpages pagenum = pagenum + 1 url = BuildSERPURL(term, start) page = FetchPage(url) If FindRank(page, myurl, count) Then GetCurrentRanking = start + count Exit Function End If start = start + count Wend GetCurrentRanking = 0 End Function '' Adds another row to the sheet with the current rankings Sub AddCurrentRankingsRow() Dim sheet As Excel.Worksheet Set sheet = Application.ActiveSheet Dim myurl As String myurl = sheet.UsedRange.Cells(2, 2).Text '' Locate the data and where to add new data Dim newRow As Integer, termRow As Integer, dateCol As Integer, rightCol As Integer termRow = sheet.UsedRange.Rows.Row + 3 newRow = sheet.UsedRange.Rows(sheet.UsedRange.Rows.count).Row + 1 dateCol = sheet.UsedRange.Columns(1).Column rightCol = sheet.UsedRange.Columns(sheet.UsedRange.Columns.count).Column sheet.Cells(newRow, dateCol).Formula = Date sheet.Cells(newRow, dateCol + 1).Formula = myurl dateCol = dateCol + 1 For col = dateCol + 1 To rightCol Dim term As String, rank As String term = sheet.UsedRange.Cells(4, col).Text rank = GetCurrentRanking(term, myurl, 3) If rank = 0 Then rank = "" End If sheet.Cells(newRow, col).Formula = rank Next Dim newRange As Range Set newRange = sheet.Range(sheet.Cells(termRow, dateCol).Address & ":" & sheet.Cells(newRow, rightCol).Address) sheet.ChartObjects(1).Chart.SetSourceData newRange End Sub |
Besked fra: EXCELGAARD
Posteringsdato: 15.Aug.2014 kl. 08:10
|
Hvis du uploader dit regneark, så skal jeg gerne kigge på det... ------------- Husk, at trykke på [Tak], hvis du kan lide et indlæg. Husk, at trykke på [Accepteret Svar], hvis du kan bruge et løsningsforslag. |
Besked fra: Soeren49
Posteringsdato: 15.Aug.2014 kl. 08:25
|
Hej Her er regnearket. uploads/1212/Kopi_af_Rankings-flere-domaener.xlsm" rel="nofollow - uploads/1212/Kopi_af_Rankings-flere-domaener.xlsm mvh. Søren |
Besked fra: EXCELGAARD
Posteringsdato: 15.Aug.2014 kl. 08:47
|
Hvad mere du med, at du selv vil bestemme søgeordssammensætningen? Er det ikke det, du allerede gør nu, alt efter, hvilke søgeord, du indtaster i de tre første kolonner? ------------- Husk, at trykke på [Tak], hvis du kan lide et indlæg. Husk, at trykke på [Accepteret Svar], hvis du kan bruge et løsningsforslag. |
Besked fra: Soeren49
Posteringsdato: 15.Aug.2014 kl. 08:53
|
Det jeg mener, er at de søgeord der skal stå i kolonne d er nogle som jeg manuelt har indtastet. F. eks. Jeg vil selv bestemme hvilke, der skal være longtail søgning og hvilket der kun skal være et søgeord.
|
Besked fra: EXCELGAARD
Posteringsdato: 15.Aug.2014 kl. 09:10
Undskyld, at jeg bli'r ved med at spørge dumt, men jeg er overhovedet ikke inde i SERP, og, hvad det er du prøver at opnå - men, jeg synes blot, at opgaven virker så spændende, at dette her vil jeg lige prøve, at lave  Dit svar gi'r mig blot anledning til, at gentage mit spørgsmål: Er det ikke allerede det, du bestemmer ved at indtaste søgeord i de tre første kolonner??? Eller er det fordi, du helt vil have systemet med de tre kolonner helt elimineret, og blot selv manuelt indtaster alle dine ønskede kombinationer i kolonne 4? ------------- Husk, at trykke på [Tak], hvis du kan lide et indlæg. Husk, at trykke på [Accepteret Svar], hvis du kan bruge et løsningsforslag. |
Besked fra: Soeren49
Posteringsdato: 15.Aug.2014 kl. 09:50
|
Hej De 3 første koloner skal fjernes fordi at det resultat, der vises i kolone 4 bliver alt for urealistisk og ikke mindst arket med resultatet bliver stort og uoverskueligt. Når jeg kommer op på mere end 100 søgeord forsvinder overblikket. Der for vil jeg gerne selv kunne bestemme indholdet i kolone 4. Det er ganske almindeligt at ved søgeoptimering af en webshop kommer man let op på flere hunderede søgeord. Jeg har arbejdet endel med søgeoptimering de sidste år og fået noget erfarring med forskellige søge tools. Dette regneark/tools er måske udmærket, men jeg syntes at det det opfylder det jeg har behovfor. |
Besked fra: Soeren49
Posteringsdato: 16.Aug.2014 kl. 22:05
|
Soeren49 skrev:Besked fra: Soeren49
Posteringsdato: 18.Aug.2014 kl. 17:23
Jeg er glad for at du vil se på det, det betyder meget hvis det kan lykkes at få elimineret de tre kolonner. |
Besked fra: EXCELGAARD
Posteringsdato: 19.Aug.2014 kl. 09:43
|
Hej Søren, Undskyld, at jeg lige har været fraværende de sidste dage, men der kom lige noget andet op... Men, jeg kigger på det i dag... Bare lige for at være helt skarp: Hvis jeg laver følgende forespørgsel: https://www.google.dk/search?start=1&q=houseguard" rel="nofollow - https://www.google.dk/search?start=1&q=houseguard Hvad er det så præcist for et tal, du ønsker, på den side, der kommer op? Hvad dækker parameteren 'start' over? (Ja, du kan godt høre, at mine erfaringer med SERP ikke er de store  )------------- Husk, at trykke på [Tak], hvis du kan lide et indlæg. Husk, at trykke på [Accepteret Svar], hvis du kan bruge et løsningsforslag. |
Besked fra: Soeren49
Posteringsdato: 19.Aug.2014 kl. 14:10
Hej Excelgaard Tak for din interesse for at løse problemet. Jeg skal prøve at forklare mig noget mere. Her er forklaringen bag tallet. Når man søger på google får man på hver side 10 søgeresultater, du vil somme tider se at der i toppen af siden er nogle resultater, hvor der står annonce de skal ikke tælles med. Der er ikke noget nummer ud for placeringen af søgningerne. Man skal selv tælle placeringerne. I mit tilfælde med Excel er det så Excel der automatisk gør det og viser tallet i arket med "Ranking analyse". Det vil sige går man over til bunden af side 2 har man så 20 resultater og så videre. Det er resultaterne fra side 1 til og med side 3, altså de 30 først placeringer jeg er interesseret i. Kun de placeringer, fordi at der er sjældent nogen som blader om på side 4 når man søger på google. På en søgning med ordet tyverialarmer har jeg aktuelt en placering som nummer 25. Det er det tal jeg er skal bruge og har interesse for at følge dagligt. Fordi at det kan ændre sig fra dag til dag, jeg er selvfølgelig mest interesseret i de første 10 placeringer. Da de jo er på side 1. Du kan se det her https://www.google.dk/search?start=1&q=houseguard#q=tyverialarmer&start=20 Parameteren "start" må dække over at det er det første resultat der kommer frem i søgningerne. Jeg skal lige sige at dette regne ark har jeg ikke selv lavet. Derfor kan jeg ikke komme det nærmere, hvad denne parameter betyder. Jeg håber at ovenstående har givet dig lidt mere indblik i hvad SERP er. Mvh. Søren |
Besked fra: EXCELGAARD
Posteringsdato: 19.Aug.2014 kl. 18:11
|
OK, så det er simpelthen blot et spørgsmål om at tælle, på, hvilken placering, som det enkele website står, alt efter, hvilke(t) søgeord, der er anvendt? Det burde være til at finde ud af Men, jeg tror lige, at jeg vil ofre lidt tid på at skrive min egen kode til formålet - hvis jeg ikke bliver forstyrret for meget i morgen, burde jeg kunne lave et udkast allerede til i morgen... ------------- Husk, at trykke på [Tak], hvis du kan lide et indlæg. Husk, at trykke på [Accepteret Svar], hvis du kan bruge et løsningsforslag. |
Besked fra: Soeren49
Posteringsdato: 19.Aug.2014 kl. 19:39
Hej Excelgaard Super og tak for det, jeg ser frem til resultatet. Mvh. Søren |
Besked fra: EXCELGAARD
Posteringsdato: 22.Aug.2014 kl. 08:34
|
Hej Søren, Bare lige en hurtig lille besked om, at jeg ikke har glemt dig, men jeg har simpelthen haft røvetravlt i denne uge, hvor alle har hevet i mig fra højre og ventre af... ...men, jeg har ferie i næste uge, så mon ikke jeg finder tid der Undskyld forsinkelsen... ------------- Husk, at trykke på [Tak], hvis du kan lide et indlæg. Husk, at trykke på [Accepteret Svar], hvis du kan bruge et løsningsforslag. |
Besked fra: EXCELGAARD
Posteringsdato: 23.Aug.2014 kl. 15:43
|
Så fik jeg endeligt lidt tid til at sidde mig ned og lege med det Jeg har lagt det foreløbige resultat ud her: www.excelgaard.dk/Bib/SERP/ www.excelgaard.dk/Bib/SERP/ Det er endnu ikke helt færdig - bla. mangler jeg at lave koden for Bing og Yahoo - men, inden jeg forsætter vil jeg lige høre om du (og, andre?) har input, forslag, fejlrettelser m.v... Metoden, der benyttes er en lille smule anderledes end, det regneark, du selv uploadede, da mit regneark ikke gør forskel på om man angiver hjemmesiderne med 'www' foran ('www.domain.tld' eller blot 'domain.tld'). Jeg er endnu ikke helt sikker på, om det er smart, eller om det er en fordel, at skelne mellem de to? Nåh, ja, og så er det endnu ikke helt 100% fejltestet endnu, men det kan du evt. hjælpe med  ------------- Husk, at trykke på [Tak], hvis du kan lide et indlæg. Husk, at trykke på [Accepteret Svar], hvis du kan bruge et løsningsforslag. |
Besked fra: Soeren49
Posteringsdato: 25.Aug.2014 kl. 08:51
Hej Excelgaard Det ser godt ud og er lige efter hensigten Jeg tror det er bedst at der ikke er forskel på om der er "www" foran. Jeg får ikke den der WUF_SERP boks frem, og heller ikke båndet. Efter at jeg har klikket på aktivering af macro får jeg følgende besked ( Object variabel or With block variabel not set). Er det det du mangler at lave eller er det hos mig der er er fejl. Jeg anvender office 2007 i windows wista. Det er godt tænkt at du har lavet denne WUF_SERP boks, men kunne det være muligt at lave noget ligende, hvor søgeordne indtastes? Et andet forslag kunne være for at se resultatet på en graf. Men det er ikke et must. Som sagt syntes jeg et det tegner til at blive et godt resultat og jeg er overrasket over at det der er lavet ser meget anvendeligt ud. ------------- Søren Hansen, anvender Excel 2007. |
Besked fra: EXCELGAARD
Posteringsdato: 25.Aug.2014 kl. 09:48
|
Ups Programmet er lavet til Excel 2010 eller nyere - så har du en Excel 2007, så er det bare bad luck  (Ja, jeg tror, at det osse virker på XL2010, men det er lavet på en XL2013) Faktisk er Excel 2007 den dårligeste version af Excel, der er lavet siden Excel4, simpelthen fordi der var alt for mange fejl og "børnesygdommme" i forbindelse med alle de nye ting, som Microsoft byggede ind i Excel dengang: www.excelgaard.dk/Bib/FAQ/Excel2007/ www.excelgaard.dk/Bib/FAQ/Excel2007/ Og, så gør du det, jo, ikke bedre, at du kører med den absolut dårligste Windows, der nogensinde er lavet Rent faktisk plejer jeg, at sige, at jeg ikke vil hjælpe folk, der kører med enten XL2007 eller Vista, da jeg simpelthen ikke gider slås med alle de problemer, som disse systemer altid giver... www.excelgaard.dk/Bib/FAQ/Krav/ www.excelgaard.dk/Bib/FAQ/Krav/ Søgemaskineprogrammet virker perfekt her hos mig, og jeg har netop her til morgen lavet 'Bing' delen også, og selvom jeg får gæster i dag, så burde jeg også kunne nå, at lave 'Yahoo' delen senere på dagen... Jeg har nu kørt søgningerne de sidste tre dage, for at have nogle 'historiske' data at køre med, og sammenligne på, og det spiller bare Jeg kan ikke hjælpe dig med at få båndet frem, da det er skrevet specifikt til XL2010 eller nyere... Men, jeg kan måske hjælpe dig med din 'Object' fejl? Kan du fortælle præcist i hvilket linje du får fejlen, evt. uploade et skærmbillede med fejlen? PS: Og, så må man ALDRIG installere 64-bit udgaven af Office: www.excelgaard.dk/Bib/Excel/Bit/ www.excelgaard.dk/Bib/Excel/Bit/ Så, hvis du osse kører med 64-bit udgaven, er du endnu mere på s*******! ------------- Husk, at trykke på [Tak], hvis du kan lide et indlæg. Husk, at trykke på [Accepteret Svar], hvis du kan bruge et løsningsforslag. |
Besked fra: Soeren49
Posteringsdato: 25.Aug.2014 kl. 11:31
Så har jeg da en god grund til at få udskiftet hardware og software. Men indtil da kan jeg prøve det af på en bærebar med windows 8,1 og Excel 2013. Det er ikke min egen. ------------- Søren Hansen, anvender Excel 2007. |
Besked fra: EXCELGAARD
Posteringsdato: 25.Aug.2014 kl. 21:02
Så har jeg lige haft lejlighed til at teste det på en computer med Windows 8.1 og Excel 2010, og her virkede det også uden problemer - så jeg tror, at det er Excel 2007, der viser sit grimme ansigt igen  Nu er det testet på:
Og, det virker i begge tilfælde... Jeg har nu osse lavet 'Yahoo' delen, og vil nok ligge den nye version ud i løbet af et par dage, når jeg har prøvet at gennemteste det over nogle dage, hvor jeg opsamler historiske data... Selvom, jeg ikke lige i dit tilfælde har hjulpet dig ret meget, vil jeg dog sige tak for opgaven, som har lært mig lidt om søgemaskineoptimering også ------------- Husk, at trykke på [Tak], hvis du kan lide et indlæg. Husk, at trykke på [Accepteret Svar], hvis du kan bruge et løsningsforslag. |
Besked fra: Soeren49
Posteringsdato: 26.Aug.2014 kl. 08:18
Hej Jeg ser frem til at se det endelige resultat. Skulle du have interesse for endnu en opgave, der også har med søgemaskineoptimering at gøre har jeg endnu et projekt, der godt kunne trænge til en revidering. Hvis du kunne have lyst til at stifte mere bekendtskab med SEO, kan jeg godt hjælpe dig med at finde mere information om dette. ------------- Søren Hansen, anvender Excel 2007. |
Besked fra: EXCELGAARD
Posteringsdato: 26.Aug.2014 kl. 09:53
------------- Husk, at trykke på [Tak], hvis du kan lide et indlæg. Husk, at trykke på [Accepteret Svar], hvis du kan bruge et løsningsforslag. |
Besked fra: EXCELGAARD
Posteringsdato: 28.Aug.2014 kl. 12:21
|
Så har jeg lagt en ny version af programmet ud. Ud over, at 'Bing' og 'Yahoo' nu også er understøttet, så har jeg helt omskrevet koden til at finde placeringerne - det viste sig, at den gamle kode under visse omstændigheder kunne give forkerte placeringer (en fejl som det oprindelig regneark rent faktisk osse havde...) Den nye kode er ikke kun fejlfri (?), men også langt mere robust og sikker, samt fleksibel og let at udvide. Med mindre der kommer alvorlige fejl eller mangler, eller forslag til udvidelser/forbebedringer, så bliver dette den udgave, der kommer med på næste opdatering af mit website (den 14.09.2014). Linket er det samme, som hidtil: www.excelgaard.dk/Bib/SERP/ www.excelgaard.dk/Bib/SERP/ ------------- Husk, at trykke på [Tak], hvis du kan lide et indlæg. Husk, at trykke på [Accepteret Svar], hvis du kan bruge et løsningsforslag. |
Besked fra: Soeren49
Posteringsdato: 28.Aug.2014 kl. 20:25
Hej Excelgaard Tak for dit arbejde med dette projekt. Jeg er glad for at du har fundet en fejl i det oprindelig regneark. Så nu kan jeg være sikre på at de resultater, der vises også passer. Jeg vil her i aften afprøve det i excel 2013. ------------- Søren Hansen, anvender Excel 2007. |
Besked fra: EXCELGAARD
Posteringsdato: 29.Aug.2014 kl. 01:44
|
Velbekomme - men, vent nu og se, om du kan få det til at virke ------------- Husk, at trykke på [Tak], hvis du kan lide et indlæg. Husk, at trykke på [Accepteret Svar], hvis du kan bruge et løsningsforslag. |
Besked fra: Soeren49
Posteringsdato: 29.Aug.2014 kl. 09:48
Hej Excelgaard Umiddelbart ser det ud til at virke i excel 2013. Men vi skrev om nogle fejl tidligere i tråden, og at du evt. kunne hjælpe med "Object" fejl. Den er i WUF_SERP ' (C) Dan Elgaard (www.EXCELGAARD.dk) ' Visit website for full explanation and documentation ' Module level constants Const BackColor_Disabled As Long = 13160660 ' RGB(212, 208, 200) Const BackColor_Enabled As Long = 12648384 Const BackColor_Locked As Long = 16777152 Option Explicit Private Sub UserForm_Initialize() ' * ' Initialize On Error Resume Next SWS_SERP_Result.Select Application.EnableEvents = False If ActiveSheet.Name = SWS_SERP_Result.Name Then ActiveWindow.DisplayHeadings = False ' * ' Setup UserForm Call UserForm_Appearence_Initial Her er et skærmprint af det. uploads/1212/billede.docx" rel="nofollow - uploads/1212/billede.docx ------------- Søren Hansen, anvender Excel 2007. |
Besked fra: EXCELGAARD
Posteringsdato: 29.Aug.2014 kl. 21:16
|
Hej Søren, Det er nok fordi, jeg benytter nogle funktioner, der ikke er tilgængelige i Excel 2007... ...opgrader til Excel 2013, og du er flyvende ------------- Husk, at trykke på [Tak], hvis du kan lide et indlæg. Husk, at trykke på [Accepteret Svar], hvis du kan bruge et løsningsforslag. |
Besked fra: EXCELGAARD
Posteringsdato: 15.Sep.2014 kl. 09:46
|
Så er det officielt lagt ud på Internettet: www.excelgaard.dk/Bib/SERP/ www.excelgaard.dk/Bib/SERP/ Projektet er åben og ubeskyttet, så man kan se, hvad der sker 'under kølerhjelmen', og projektet har sin egen GUI, med eget bånd (Ribbon), Dialogboks (UserForm), o.s.v.. Enjoy :-) ------------- Husk, at trykke på [Tak], hvis du kan lide et indlæg. Husk, at trykke på [Accepteret Svar], hvis du kan bruge et løsningsforslag. |