Das Zusammenarbeit der Crawler und Indexer

Ein Crawler ist ein Programm, der bestimmte Aufgaben im Web automatisch wiederholt. Die Crawling-Techniken werden am meisten benutzt, um das ganze Web oder bestimmte Internetseiten automatisch durchgesucht, analysiert und kopiert werden.

Der Webcrawler surft im Internet automatisch von ein URL zu Andere, und dazwischen werden bestimmte Daten über die besuchte Websites kopiert. Diese bestimmte Daten sind wie z.B. die aufgefundene URL-Adressen, Metadaten, bestimmte Texte, usw.
Die kopierte Daten werden mittels ein Indexer (auch ein Programm) untersucht und in ein Datenbank gespeichert.

Der Zweck der gesammelte Daten werden z.B. für Forschungszwecken benutzt, oder auch für andere Zwecken. Mit dem gleichen Prinzip arbeiten auch die Suchmaschienen, um uns das Suchen im Internet zu erleichtern.

Synonyme zu Crawler: Webcrawler, Spider, Scraper, Webscraper, Screen Scraper, Suchagenten, Searchrobot, Wrapper, Searchbot, Bot, Webfetching, Web harvesting, Web data extraction, webgrabber.

Das Zusammenarbeit der Crawler und Scraper Website

Eine Scraper Website ist ein Internetseite, die ihre Inhalte von anderen Internetseiten kopiert. Das Kopieren erfolgt mittel ein Crawler, der bestimmte Daten von bestimmte Website sammelt und auf der Scraper Website kopiert. Der Zweck ist es mit wenigen Aufwand eine Interneseite zu betreiben, die bei Suchmaschinen gut bewertet wird, und Einnahmen durch Google AdSense zu erzielen.

Die Suchmaschinen sind keine richtige Scraper Websites, da die Inhalte der Webseiten in Datenbank gespeichert sind und erst bei der Suche, diese Inhalte als Ergebnis erscheinen. Typische Scraper Website sind wie z.B. Website, die Wetterdaten, Marktdaten und Nachrichten präsentieren.

Mehr Infos über Einsatzgebiete von Crawler:
http://de.wikipedia.org/wiki/Screen_Scraping
Mehr Infos zu Techniken der Webcrwaling:
http://www-e.uni-magdeburg.de/harbich/webcrawling.php
http://www.corion.net/talks/web-scraper/web-scraper-talk.html

Nach einer Erfolgreicher Authentifizierung erlaubt der VPN-Server der Zugriff auf z.B. das dahinter liegende Netzwerk. Z.B. Wenn man sein Laptop mit dem Firmennetzwerk über das Internet verbindet.

Die SSH-Verbindung ist eine SSH Verbindung zwischen einem SSH-Client und einem SSH-Server. Dadurch kann man Daten zwischen dem SSH-Client und SSH-Server austauschen, auf dem Server Kommando-Befehle ausführen, usw. Aber man hat kein direkten Zugriff auf das dahinter liegende Netzwerk.

Mehr Informationen zur Installation und Einrichten einer VPN-Verbindung, mittel ein Open Source Software “OpenVPN” findet man unter: http://wiki.openvpn.eu/index.php/Hauptseite

Abfrage einer dynamischen internetseite

1. Anfrage nach einer „PHP“-Site (z.B. www.beispieleseite.de/phpseite.php)
2. Der Webserver bemerkt, dass nach einer „PHP“-Datei gefragt wird. Da der Webbrowser kein „PHP“ darstellen kann, muss der Webserver diese „PHP“-Datei an dem „PHP-Interpreter“ weiterleiten.
3. Der „PHP-Interpreter“ erkennt die SQL-Abfragen.
4. Die SQL-Abfragen werden zum Datenbank weitergeleitet.
5. Die Daten werden aus der Datenbank ausgelesen und an dem „PHP-Interpreter“ weitergeleitet.
6. Der „PHP-Interpreter“ erhält die Daten und fügt diese in die zu erstellende „html“-Datei ein.
7. Die „html“-Datei wird zum Webserver geschickt.
8. Der Webserver sendet diese zum Webbrowser weiter.
9. Der Webbrowser stellt die Daten auf dem Bildschirm dar.

Wie ist die Kommunikation zwischen Webserver und Webbrowser, sehen Sie unter HTTP-Header und Ports.

Literatur:

serverseitige programmierung

Die serverseitigen Programmiersprachen laufen nur auf dem Server und senden dem Client reine HTML-Dateien.

Diese HTML-Dateien können mit clientseitigen Scripten wie Javascript, VBScript und ActionScript gemischt werden. Beispiele für diese serverseitigen Programmiersprachen sind z.B. „PHP“ (Hypertext Preprocessor) und „ASP“ (Active Server Pages). Auf dem Server können die vom Browser abgefragten Informationen bearbeitet werden.Diese Bearbeitungen sind für den Client nicht sichtbar.

Es ist unerheblich, welche Sprache die Webanwendung auf dem Server verwendet, da der Client nur zurückgesendete HTML-Dateien erhält.

Dynamische Internetseiten

Dynamische Daten sind Daten mit der Benutzung von serverseitigen Programmen wie z.B. PHP, JSP, ASP und ASPX.

Diese Daten werden vor oder während der Darstellung auf dem Browser noch bearbeitet. Dynamische Internetseiten sind z.B. Foren, Web-Shops, Blogs, Suchmaschinen etc.

Hinweis:
Dynamische Internetseiten sind langsamer als statische Internetseiten.

Der Grund ist, dass die Codes, die z.B. eine serverseitige Programmiersprache wie „PHP“ benutzen, noch zu einer reinen html-Datei generiert werden müssen.

.

Statische Internetseiten

Der Webserver liefert dem Webbrowser entweder statische Internetseiten oder dynamische Internetseiten.

Statische Daten sind z.B. Html, CSS, Xml, Bilder oder Grafiken, die ohne eine Weiterverarbeitung des Inhaltes auf dem Webbrowser möglich Sind.

Statische Internetseiten sind meistens privat und erlauben keine Änderungen durch den Benutzer.

.

.

.

Der Webserver hört nur auf Ports. Er bekommt eine Anfrage, die z.B. auf Port 80 kommt und versucht sie auszuwerten. Daraufhin führt er diese aus. Ein Beispiel kann das Anzeigen einer HTML-Seite sein.

Ein Port ist ein Dienst auf einem Rechner. Im Allgemeinen ist im WWW der Port 80 vorgesehen. Einige wichtige Ports:

20 (FTP);  21 (FTP-Data); 22 (SSH); 25 (SMTP); 53 (DNS);  3306 (MySQL)

Eine Liste der offizielle registrierte Portnummern findet man unter IANA-Liste.

live HTTP Headers

Der Datenaustausch im Netz zwischen Webbrowser und Webserver wird über das „http“-Protokoll (Hypertext Transfer Protocol) geregelt, d.h. der Webbrowser und Webserver kommunizieren grundsätzlich mit dem „http“-Protokoll.

Das „http“-Protokoll wird angewendet, um Daten wie z.B. Webseiten, Videos oder Bilder aus dem Server in einen Webbrowser zu laden.

Die Datenaustausch zwischen Browser und Webserver wie z.B. Useragent und Cookie  läuft über HTTP-Header.

Wer sich die  HTTP-Header Anfragen und Antworten zwischen Browser und Webserver live  ansehen will, soll sich die Firefox Add-On  Live HTTP Headers intallieren.

Mehr Screenshots findet man auf der offizielle Website.

Apache

Der Webserver ist ein Programm, das Anfragen (HTTP-Anfragen) abwartet, die „http“-Anfragen verarbeitet und die angeforderten Daten zu dem Client schickt. Diese Anfragen kommen vom Benutzer durch einen Webbrowser.

Es kann eine Internetseite von einer Firma, Webmail-Anbieter oder ein Formular sein. Die Voraussetzung zum Benutzen des Webservers ist ein Rechner, der „TCP/IP-Sockets“ unterstützt. Der beliebteste Webserver im Netz ist „Apache“.
Der „Apache“- Webserver ist ein Opensource Produkt, und kann kostenlos benutzt werden. Neben „Apache“ gibt es andere Webserver wie z.B. das Opensource Produkt „JanaServer“ oder andere kommerzielle Produkte.

Außerdem können Webbrowser und Webserver auch auf demselben Rechner laufen. Diese können miteinander kommunizieren, wie es bei einer Verbindung ins Intranet oder Internet möglich ist.

Hinweis
Wenn ein Webserver lokal auf einem Rechner ausgeführt wird und der Rechner nicht geschützt ist, ist dieser Webserver im Netz über jeden Browser von anderem Benutzer erreichbar. Da der Rechner eine eindeutige
IP-Adresse im Netz hat, kann es für einen Hacker in dem Webserververzeichnis der Rechner sehr leicht sein dort einzudringen.

Client Server Prinzip

Das Web arbeitet nach dem Client Server Prinzip. Der Client ruft mittels Webbrowser Daten von Server ab. Der Webserver reagiert darauf  und schickt die entsprechenden Daten zurück.

Die Abbildung  “Client Server Prinzip” gibt einen Überblick über das Client Server Prinzip und erläutert graphisch die Funktionsweise.

Ruft man eine Website im Netz auf, sendet der Webbrowser im Netz eine „http“-Anfrage. Durch den DNS-Server (Domain Name System Server) wird der gewünschte Server im Netz gefunden und die „http“-Anfrage an ihm weiter geschickt. Über das Portsystem leitet der Server die „http“-Anfrag an den Webserver weiter.

Mehr Info sehen Sie unter “Abfrage einer dynamischen Internetseite“.