Das Zusammenarbeit der Crawler und Indexer

Ein Crawler ist ein Programm, der bestimmte Aufgaben im Web automatisch wiederholt. Die Crawling-Techniken werden am meisten benutzt, um das ganze Web oder bestimmte Internetseiten automatisch durchgesucht, analysiert und kopiert werden.

Der Webcrawler surft im Internet automatisch von ein URL zu Andere, und dazwischen werden bestimmte Daten über die besuchte Websites kopiert. Diese bestimmte Daten sind wie z.B. die aufgefundene URL-Adressen, Metadaten, bestimmte Texte, usw.
Die kopierte Daten werden mittels ein Indexer (auch ein Programm) untersucht und in ein Datenbank gespeichert.

Der Zweck der gesammelte Daten werden z.B. für Forschungszwecken benutzt, oder auch für andere Zwecken. Mit dem gleichen Prinzip arbeiten auch die Suchmaschienen, um uns das Suchen im Internet zu erleichtern.

Synonyme zu Crawler: Webcrawler, Spider, Scraper, Webscraper, Screen Scraper, Suchagenten, Searchrobot, Wrapper, Searchbot, Bot, Webfetching, Web harvesting, Web data extraction, webgrabber.

Das Zusammenarbeit der Crawler und Scraper Website

Eine Scraper Website ist ein Internetseite, die ihre Inhalte von anderen Internetseiten kopiert. Das Kopieren erfolgt mittel ein Crawler, der bestimmte Daten von bestimmte Website sammelt und auf der Scraper Website kopiert. Der Zweck ist es mit wenigen Aufwand eine Interneseite zu betreiben, die bei Suchmaschinen gut bewertet wird, und Einnahmen durch Google AdSense zu erzielen.

Die Suchmaschinen sind keine richtige Scraper Websites, da die Inhalte der Webseiten in Datenbank gespeichert sind und erst bei der Suche, diese Inhalte als Ergebnis erscheinen. Typische Scraper Website sind wie z.B. Website, die Wetterdaten, Marktdaten und Nachrichten präsentieren.

Mehr Infos über Einsatzgebiete von Crawler:
http://de.wikipedia.org/wiki/Screen_Scraping
Mehr Infos zu Techniken der Webcrwaling:
http://www-e.uni-magdeburg.de/harbich/webcrawling.php
http://www.corion.net/talks/web-scraper/web-scraper-talk.html

Es gibt im Internet viele aktive Surfer wie normale User, Hobby-Experten und Hobby-Wissenschaftler, die wertvolle Informationen im Netz hinterlassen. Einige diese Informationen sind wie z.B. das Mitteilen der Meinungen, Teilnahme an Umfragen, Abgabe der Bewertungen, Generieren von Inhalte, das Mitteilen von Ideen, Abgabe der Vorschläge, Posten von Anleitungen, das Stellen von Fragen, die freiwillige Teilnahme an Projekten, Innovationen, Erfindungen usw.

Wenn ein Unternehmen dieser bedeutende Informationen, Lösungen oder die Arbeitskraft diese Internetnutzer fürs Betrieb ausnutzt, um Zeit und Kosten zu ersparen, dann spricht man da von Crowdsourcing (auch Schwarmauslagerung). Beispiele zu Crowdsourcing Produkte sind wie Open Source Produkte, Wikipedia, Sociale Netzwerke und Forums.

Fallbeispiel:
wenn in ein Unternehmen eine Problem nicht schnell gelöst werden könnte, kann das Unternehmen dieses Problem in Forums posten und nach eine Lösungen fragen.

Wireframe (manchmal auch Mock-up) ist das erste konzeptionelle Entwurf einer Website. Es handelt sich um ein Layout Bausteine einer Website, es hat mehr mit Struktur und wenig mit Design zu tun.

Man unterscheidet zwischen statische Wireframes und Dynamische Wireframes
statische Wireframe ist eine anschauliche Darstellung der Struktur eine einzige Seitenvorlage.

Im Gegensatz zu statische Wireframe besteht eine dynamische Wireframes aus mehreren Seiten, die mit einander verknüpft sind.

Mehr Infos zur Erstellung vom Firewares mit dem Eclipse-Plugin “wireframesketcher” sehen Sie in folgende Video

Microblogging ist eine andere Art der Bloggen, bei der dem Blogger nur kurze Textnachrichten von 140 bis 200 Zeichen über einen Dienst im Netz veröffentlichen kann. Die erfolgreichste Microblogging-Dienste zur Zeit sind Twitter und Jaiku.

Seit 2005 nimmt die Anzahl der Internetbenutzer stetig zu. In heutiger Zeit lassen sich die Konsumenten des Internets
nicht nur bei den Heranwachsenden finden. Menschen jeglicher Altersstufen machen Gebrauch vom Internet. Dieses weltweite Netzwerk kann als wesentlichen Fortschritt betrachtet werden, der viele neue Techniken und Lösungen mitgebracht hat.

Die Einführung einer einfach strukturierten Technologie im Jahre 1969 kann als Beginn dieses Netzwerkes betrachtet werden. Amerikanische Luftwaffe hatten versucht, einheimische Universitäten miteinander zu vernetzen, welches 1991 vom Tim Berners-Lee in einer Forschungsarbeit erweitert wurde. Das sogenannte „Web“ wurde geboren.
Während in der Vergangenheit die Nutzung des Internets hauptsächlich darin bestand, E-Mails zu schreiben und zu verschicken sowie „ftp“ anzuwenden, hat sich das Netz in heutiger Zeit dahingehend verändert, dass das World Wide Web zur größten Informationsplattform der Welt geworden ist.

Das World Wide Web ist so umfangreich, dass nicht einmal Webspezialisten genau sagen können, wie viele Websites es eigentlich auf der ganzen Welt gibt. Es ist bewundernswert, wie schnell sich die Anwendung des Internets verbreitet. Daher ist es oftmals schwer zu verstehen, warum es immer noch so viele Unternehmen gibt, die unentschlossen sind im Hinblick auf die Frage, ob sie ihr Unternehmen im Netz repräsentieren sollen oder nicht.

Schließlich ist das Internet nicht mehr nur ein Marketing,- und Vertriebsinstrument, viel mehr entwickelt es sich zunehmend zu einer Wirtschaftsstütze. Parallel zum Wachstum der Internetbenutzer wächst auch das Web, da immer neue Techniken und Erweiterungen hinzukommen. Durch Erweiterungen entstand ebenfalls eine neue Version des Internets, das Web 2.0 (mehr dazu unter „Begriffserklärung Web 2.0“). Es ist nun möglich, alltägliche Dinge online zu erledigen und somit Zeit zu sparen.

Beispiele für Zeiteinsparungen können der Gang zum Anwalt sein, der nun nicht mehr nötig ist, da oftmals Onlineberatungen vorhanden sind. Auch der Besuch einer Bücherei ist nun nicht mehr zwingend notwendig, da es möglich ist, digitale Bücher oder Zeitschriften per Internetaufruf zu lesen. Das Internet bietet uns ein großes Spektrum an und wird auch in Zukunft unser alltägliches Leben begleiten. Die immer größer werdende Anzahl an neu entwickelten Online-Anwendungen lässt die ständige Entwicklung des Webs deutlich werden.

Beispiele zu diesen Online-Anwendungen können folgende Anwendungen sein:
www.picasa.google.de oder www.cellsea.com für die Bildbearbeitung,

www.writely.com für die Textbearbeitung,

www.zohoshow.com für die Erstellung der Präsentation mit Texten, Bilder und Animationen,

www.irows.com für die Tabellenkalkulation und

www.gliffy.com für die Erstellung der Flussdiagramme sowie für die Webseitenstruktur.

Mehr Statistiken dazu finden Sie unter die ARD/ZDF-Online Studie.

Je länger man sich mit der Implementierung von CMS beschäftigt und mit steigender Erfahrung in diesem Bereich wird einem zunehmen klarer, daß man viele Arbeiten bereits mehrere Male erledigt hat. Zum Beispiel die Erstellung der Webseitenformulare, die Tabellenstrukturierung der Seite selbst oder das Skript welchen einen auf der Serverseite mit der Datenbank verbindet.

Mit Kenntniss der Automatisierung in CMS könnte man also ein Content Management System für ein Content Management System bauen, welches uns zum Beispiel unter bestimmten Angaben automatisiert Formularseiten ausbaut. Dieser Gedanke wurde bereits von vielen durchgegangen und auch weitgehend realisiert. Als Beispiel möchte ich hier Typo3 erwähnen, welches sich auf dem Markt, recht durchgesetzt hat. Ein Grund hierfür ist die freie Lizenz, unter welche Typo3 läuft. Laut GPL-Lizenz kann diese frei
angewendet werden.

Leider ist Typo3 jedoch an seinen zahllosen Modulen so groß geworden, daß man sich in dieses
System einarbeiten muss, bevor man es bedienen kann. Das erinnert einen an die Problematik der SAP-Software, welcher den gleichen Punkt betrifft. Nämlich diese der langen Einarbeitung.

(Written by C. van Keulen)

Auch bei diesen beiden Extremen gilt es die optimale Mitte für die entsprechenden Webseitenspezifikationen je Webseitenprojekt zu finden. Eine Unterteilung der Webseite in statische und dynamische Bereiche bedient sich beider Vorteile der einzelnen Punkte. Die pflegeunbedürftigen Bereiche werden statisch geschrieben, während der dynamische Teil programmiertechnisch gelöst wird.

Dynamische Webseiten

Diese werden bei jede Eingabe des Users auf der Webseite, neu für jede einzelne Anfrage berechnet. Da jede Anfrage einer puren dynamischen Seite immer berechnet wird und dies Zeit kostet, ergeben sich bei ihnen längere Antwortzeiten bis zum kompletten Aufbau der Webseite. Vorteile zieht eine solche Seite in ihrer Aktualität. Sobald im CMS etwas bearbeitet wurde, ist es sofort abrufbar.

Statische Webseiten
Sie sind optimal für den Typ von Webseite optimal, welcher wenig oder keiner Aktualität bedarf. Eine Visitenkarte als Webseite trifft den Zweck ganz gut. Unterseiten wie die Kontaktdaten ändern sich auch selten, so daß sich hier eine Implementierung für ein entsprechendes CMS nicht lohnen würden.

(Written by C. van Keulen)

Content Managment Systeme, kurz CMS, haben sich in den letzten Jahren, was den Internetbereich angeht, durchgesetzt. Was anfangs nur offline zu realisieren war, wurde durch die ständige Weiterentwicklung der serverseitigen Programmiersprachen auch online möglich. Auch zum heutigen Stand werden die Möglichkeiten der dynamischen Webseitenberechnung und anschließender
Darstellung stetig erweitert.

CMS könnte man als “Software für die gemeinsame Erstellung und Bearbeitung von digitalen Informationen über eine Schnittstelle.” definieren. Das Formularseitensystem, sprich unser CMS kann auch von mehreren Benutzern verwaltet werden.
Hierzu wäre noch ein Loginsystem und ein Rechtesystem für Benutzergruppen sinnvoll.

Serverseitiges CMS
CMS auf Server werden vom Client nicht wahrgenommen. Somit benötigt der Benutzer des Clients nicth weitere Software zu installieren, damit verschiedene Sachen funktionieren. Auf dem Server sind eine serverseitige Programmiersprache und in den meisten Fällen eine Datenbank installiert. Die Verwaltung des CMS ist von überall per Browser möglich. Als Nachteil ist die Zentralität des Servers zu erwähnen, die zu Fehlermeldungen auf den Clients führt, falls der Server ausfällt.

Clientseitiges CMS
Hier befindet sich das CMS auf dem Client. Bedienbar ist es allein durch den Rechner, auf welchem es gerade installiert ist. Dies kann für CMS sinnvoll sein, die große Datenmengen wie Multimediadaten oder große Datenbestände aus Datenbanken zu verarbeiten haben. Ein Browser würde bei Arbeiten, die länger als seine Timeoutzeit betragen, eine Fehlermeldung ausgeben. Weiter wäre es sehr langwierig, große Datenmengen über ein Netz zu verwalten.

server- sowie clientseitiges CMS
Es gilt noch die vermischten CMS zu erwähnen, welche server- sowie clientseitiges CMS bereitstellen. Hier wäre als Beispiel ein Plugin für Word zu erwähnen, welche die auf dem Client geschriebenen Texte im Schluss auf den Server lädt, damit sie dort in das CMS eingespeist werden können.

Schlussfolgerung

Das Netz entwickelt sich immer weiter und Webseiten wie sie es vor 5 Jahren mal waren, gleichen schon lange nicht mehr den aktuellen Seiten, die sich schon teilweise wie größere Software verhält. Mit Weiterentwicklung der Programmiersprachen und deren steigenden Kompatibilität zum Internet, wird dieser Trend also noch erst richtig losgehen.

Meiner Meinung nach wird Onlinesoftware die Offlineprogramme “wegschlucken”, weil diese dann ihren Zweck verlieren werden. Komplette Betriebssystem werden für den Heim- oder Firmenbereich angemietet werden können.

Diese zwei oben genannten Aspekte lassen mich zu dem Schluss kommen, daß Content Management Systeme ein prima Grundlage sind, um sich in diese Richtung zu entwickeln. Was wir heute sehen wird das Fundament der 2. Generation von Software und Softwareentwicklung sein. Nämlich diese der “Online-Software”.

(Written by C. van Keulen)

Open Source

Als Open Source Produkte bezeichnet man Software, deren Quellcode zugänglich ist. Quellcodes dieser Open Source Produkte sind im Gegensatz zu kommerziellen Produkte zugänglich und erlauben jedem Benutzer diese Produkte beliebig zu kopieren, weiterzugeben und nach Bedürfnissen abzuändern.

Im Rahmen von  Beispielprodukten sind das Betriebsystem „Linux“ und das Office Software „OpenOffice“ zu nennen.

Die meist benutzte Open Source Produkte in deutschsprachigen Markt sind:

Die meist benutzte Open Source Produkte (Quelle: yeebase)

Eine Liste der Top 100 Open Source Produkte in der deutschsprachigen Raum finden Sie unter yeebase Website.

Literatur:

Validierung

Unter Validierung versteht man die Erfüllung von Anforderungen sowie die Regeln eines Systems.

Die heutigen Browser erlauben Fehler in Html, d.h. die Browser zeigen auch Html-Seiten, die nicht nach Regeln (W3C) programmiert worden sind. W3C steht für das World Wide Web Consortium und ist eine Organisation, die Empfehlungen zur Standardisierung von Web-Techniken erarbeiten.

Eine validierte Seite wird von jedem Browser dargestellt. Dies findet jedoch nicht nur auf Browsern der normalen Desktops statt, sondern auch auf den Browsern der kleinen mobilen Computer wie z.B. dem PDA sowie dem Handy.

Im Übrigen können Menschen mit körperlicher Einschränkung validierte Seiten besser lesen und verstehen. Um eine Website im Rahmen einer Validierung zu überprüfen, gibt es im Netz verschieden Online -Tools. Zu nennen ist hierbei: http://validator.w3.org/ für HTML und http://jigsaw.w3.org/css-validator/ für CSS.

Literatur: