Projet Webmaster PHP

Portail Php


Script de lecture de pages web et d'aide à la décision


Si tous les particuliers avaient une formation de base sur les langages serveurs tels que python, ils joueraient avec les cours de bourses, se passant de prestations de courtiers en devises.
L'exemple est trivial à dessein, mais pourtant vrai

Et pour un webmaster :
Avoir l'information que le site web qu'il a inscrit dans son annuaire web est finalement fermé.
Avoir l'information que l'information qu'il attend de tel site web est finalement en ligne.
Avoir la possibilité de surveiller son propre contenu web sans naviguer au sein des 10.000 pages web dont il a la charge.

La puissance d'un simple script python.
Python est en langage serveur, intéressant pour un webmaster en ce sens qu'il est facilement abordable avec une courbe d'apprentissage rapide.
Les possibilités d'utilisation sont nombreuses, pour peu qu'on trouve le besoin.

l'algorithme en pseudo langage est simple
lire la page web
vérifier si telle information est présente
action si la vérification es vraie

exemple :
ouvrir l'url d'un site inscrit dans l'annuaire
si l'ouverture s'est bien passée : ok
si l'ouverture n'a pas pu se faire : le site est fermé

Exemple de script


import urllib2
fh = open("webannuaire.txt", "r")
fl =fh.readlines()
e=open("weblisteerreur.txt", "w+")

for x in fl:
try:
response = urllib2.urlopen(x)
page_source = response.read()
if "xxxxx" in page_source:
print "xxxxx for "+str(x)
f.write(x)
except:
print "Failed "+str(x)
e.write(x)
f.close
e.close


Ici le fichier webannuaire.txt contient la liste des sites web à visiter.
On comprendra que le site ouvert ne se fait pas via un navigateur, seul le contenu html est chargé dans la variable page_source.
Le contenu de la variable peut ensuite être interrogé.
Le script peut être modifié pour vérifier un contenu précis.



12 visiteurs connectés