Seite 1 von 11
Gemeinschaft uCoz » Für Webmaster » Webseite Promotion » Robot.txt? (why is in meiner robot.txt disallow?)
Robot.txt?
DeMylo
Beiträge: 137
Ruf: 9
Beitrag # 1 | 18:17
Kuckt euch das mal an:

http://special.ucoz.de/robots.txt

Ich meine das hier
dadurch kommt es in google zu folgendem Eintrag:

Auserdemfinde ich mich nicht!,
kannmir wer da weiter helfen?

danke

Anhänge: 5284412.jpg(3Kb) · 5394349.jpg(31Kb)

mfg mylo
-----------
<hilfe> uTutorial </hilfe>
Cheburator
Beiträge: 2172
Ruf: 83
Beitrag # 2 | 18:45
DuVarde, deine robots.txt datei ist fehlerhaft...

So sieht meine robots.txt aus

Code
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search

Sitemap: http://scripts4.ucoz.de/sitemap.xml
Sitemap: http://scripts4.ucoz.de/sitemap-forum.xml
Sitemap: http://scripts4.ucoz.de/sitemap-shop.xml


Meine uCoz Website: uScripts.de
Mein Blog: *Soon*
Administrator1699
Beiträge: 912
Ruf: 33
Beitrag # 3 | 22:26
Was ist den dieser Robot?
Was bringt er???
sorry noch nie so rihtige davon gehört biggrin



Würde mich für Hilfe über ein + im Ruf oder eine Auszeichnung freuen :)
DeMylo
Beiträge: 137
Ruf: 9
Beitrag # 4 | 14:21
Das ist der Text der zulässt dasbots von Suchmaschienen auf deine Seite zugreifen dürfen ...
also das deine website zB in Google erscheint!

mfg mylo
-----------
<hilfe> uTutorial </hilfe>
Posh
Beiträge: 826
Ruf: 16
Beitrag # 5 | 17:27
DuVarde, +1

wenn du im Winter baden willst - gehe ich zuerst in Wasser und warme das für dich
Etwas mit Schleifen - mein Blog
DeMylo
Beiträge: 137
Ruf: 9
Beitrag # 6 | 14:47
hmm... also hat wer ne idee?

mfg mylo
-----------
<hilfe> uTutorial </hilfe>
alfabm
Beiträge: 748
Ruf: 14
Beitrag # 7 | 20:19
robots.txt – Die Datei für die Crawler
Einführung

Die robots.txt Datei dient dazu, bestimmte Verzeichnisse einer Webseite vor der Indexierung durch Suchmaschinen zu schützen. Die Datei liegt im Hauptverzeichnis einer Domain und gibt Verzeichnisse an, deren Inhalt nicht ausgelesen werden darf. Es gibt vielfältig Gründe Verzeichnisse von der Indexierung auszunehmen. So können z.B. E-Mail-Adressen vor dem automatischen Auslesen geschützt werden oder Log-Files verborgen werden. Ein weiterer Grund ist das Problem des doppelten Inhalts. Mit Hilfe der robots.txt kann beispielsweise ein Verzeichnis, das Druckversionen aller Seiten beinhaltet, ausgeschlossen werden. Eine Garantie, dass Crawler sich an die Vorgaben halten, gibt es nicht. Falls der Syntax korrekt ist, so befolgen zumindest die bekannten Suchmaschinen die Vorgaben.
Syntax und Beispiele

Ein Beispiel für eine robots.txt ist:

# Der erste Teil gilt für alle Crawler
User-agent: *
Disallow: /cgi-bin/
Disallow: /cgi/

# Gilt nur für Googles Crawler
User-agent: googlebot
Disallow: /bilder/

Generell besteht eine Datei aus der Angabe des Suchmaschinen-Robots (User-agent) sowie den auszuschießenden Verzeichnissen (Disallow). Der Platzhalter '*' ist nur bei dem Eintrag 'User-agent' erlaubt und steht für alle Suchmaschinen. Somit verbietet obige Datei allen Suchmaschinen die Verzeichnisse 'cgi-bin' und 'cgi' sowie Googlebot – dem Crawler von Google – das Verzeichnis 'bilder'. '#' kennzeichnet Kommentarzeilen. Bei den Verzeichnisnamen wird zwischen Groß- und Klerinschreibung unterschieden, d.h. '/bilder/'. '/Bilder/' und '/BILDER/' sind drei verschiedene Verzeichnisse.

Einige wichtige User-Agent-Namen sind im folgenden aufgeführt:

Suche

User-Agent

Google
Google-Bildersuche
Google-Adwords
Google-Adsense

Googlebot
Googlebot-Image
Adsbot -Google
MediaPartners-Google

Yahoo

Slurp

MSN

Msnbot

Teoma/Ask

Teoma
Internet Archive ia_archiver

Exalead

Exabot

Weitere findet man bei Agentarius, einer Datenbank mit User-Agent-Namen.

Es ist nicht zwingend nötig eine robots.txt anzulegen. Falls keine Datei vorhanden ist wird der komplette Inhalt von der Suchmaschine indexiert. Das gleiche gilt im Falle einer leeren oder nur mit Kommentaren versehenen Datei.
Erweiterungen

Unabhängig von den offiziellen Spezifikationen wurden von den Suchmaschinenbetreibern Erweiterungen vorgenommen. Zu den wichtigsten zählt das 'Allow'-Format, das analog zum Disallow geschaffen wurde. Hiermit ist es möglich Verzeichnisse für einzelne User-Agents freizugeben, die zuvor allgemein gesperrt wurden. Ein Beispiel ist unsere robots.txt-Datei. Da dies kein offizielles Format ist, können auch nicht alle Crawler diesen Syntax interpretieren. Nähere Informationen findet man bei den einzelnen Suchmaschinen.
Alternative

Alternativ zur robots.txt Datei können auch Meta-Tags zur Steuerung von Crawlern benutzt werden. Dies kann wie folgt aussehen:

<META NAME="ROBOTS" CONTENT="index,follow,noarchive">

Der erste Eintrag (index oder noindex) bestimmt, ob die Seite indexiert werden darf, der zweite (follow oder nofollow), ob Links verfolgt werden sollen oder nicht und der dritte, ob die Seite gespeichert werden darf oder nicht. Meta-Tags bieten sich beim Ausschluss einzelner Seiten an.
Überprüfung

Falls eine robots.txt Datei angelegt wird, so sollte unbedingt auf einen korrekten Syntax Wert gelegt werden. Eine Möglichkeit ist, einen Validator zu benutzen, von denen viele online zur Verfügung stehen.

Quelle: http://www.suchmaschinen-doktor.de/optimierung/robots-txt.html


Beitrag wurde von alfabm - Mittwoch, 07.07.2010, 20:19 bearbeitet
DeMylo
Beiträge: 137
Ruf: 9
Beitrag # 8 | 14:56
super danke des mit dem html wo soll der hin? weil mit dem robots.txt funkt sowiso net
-----------------------------
Ja des funzt auch net ! hab den code n head
eingefügt und habs dan nochmal probiert wieder wurdevon robtots.txt abgelehn...
maaaaan

mfg mylo
-----------
<hilfe> uTutorial </hilfe>
alfabm
Beiträge: 748
Ruf: 14
Beitrag # 9 | 19:47
DeMylo
Beiträge: 137
Ruf: 9
Beitrag # 10 | 13:28
bringt alles nix habe datei hochgeladen aber anzeigen wen ichs eintipp tuta imma was anderes
vil. kan man da mal bei ucoz nachfragen oda so?

Zugefügt (11.07.2010, 13:28)
---------------------------------------------
BITTTE
:::::::
Sry doppel post^^


mfg mylo
-----------
<hilfe> uTutorial </hilfe>
Gemeinschaft uCoz » Für Webmaster » Webseite Promotion » Robot.txt? (why is in meiner robot.txt disallow?)
Seite 1 von 11
Suche: