[programmation] recuperer infos site webs via php ou java

l.slysz · Apprentice Joined: 03 Jun 2005 Posts: 256

Bonjour à tous

J'avoue que ce forum n'est pas forcement le meilleur endroit pour poster ce genre de chose, mais comme je sais qu'il est peuplé par une bande de joyeux génis, j'espere que vous pourrez m'aider :lol:

Voici ce que j'aimerai realiser :
1) Une petite appli (php ou java) dont le but principal serait de se connecter à un site ou ensemble de site via authentification (login + pass) pour y recuperer des informations.
2) Ces informations recupérées, je souhaite les traiter , m'envoyer le resultat par mail.

La partie 2 ne pose pas vraiment de probleme, du traitement pur et dur et un envoi de mail en php, c'est pas bien compliqué
Mais concernant la partie 1 je seche : comment gerer le login sur le site distant ? :?:

pour seulement ensuite recuperer les infos sur le site :!:

Voila, si vous avez deja pratiqué ce genre d'exercice ...

Je serais tres heureux de lire vos remarques (pertinantes si possible :lol:

) à ce sujet.

Merci d'avance

Laurent

netfab · Posted: Tue Dec 13, 2005 1:48 pm Post subject:

Salut,

shingara · Posted: Tue Dec 13, 2005 2:04 pm Post subject:

Il y a aussi tout simplement les socket.

PHP gére en effet les socket très bien. Ensuite PHP a aussi une gestion de PHP en natif

Java a bien sur aussi tout ca

Apres ce n'est qu'un choix de language
_________________
shingara

spider312 · Posted: Tue Dec 13, 2005 4:46 pm Post subject:

l.slysz · Apprentice Joined: 03 Jun 2005 Posts: 256

hello

bon deja, je vouis remercie de vous etre un peu creusé la tête sur mon 'probleme' :wink:

bon pour le login:
le login + pass sont transmis à une page .php via la methode post

et je n'ai aucune idée de comment faire passer le contenu de ces variables au .php afin de feinter mon login et donc pouvoir recuperer les infos qui m'interessent.

bibi.skuk · Guru Joined: 01 Aug 2005 Posts: 425

l eplus simple, c'est de faire un petit robot... bon, de la a pouvoir te dire exactement comment faire, j'avoue mon incompétence.

l.slysz · Apprentice Joined: 03 Jun 2005 Posts: 256

bah j'esperais ne pas à avoir à en arriver la,
tout ça pour quelque chose qui soit capable de me dire que j'ai oublié d'aller nourrir mon pingouin virtuel et que j'ai x messages privés mes forums favoris, ça fait compliqué qd meme

pourtant c'est pas bien compliqué ce que je veux faire :
fournir 2 variables à un .php, et lire ce que me repond le .php :cry:

bibi.skuk · Guru Joined: 01 Aug 2005 Posts: 425

le gros probleme, c'est la gestion de l'authentification, pour garder les cookies tout ca...

spider312 · Posted: Tue Dec 13, 2005 10:29 pm Post subject:

shingara · Posted: Wed Dec 14, 2005 8:41 am Post subject:

Si tu sais qu'elle type de donnée tu dois envoyer, je te conseille d'utiliser un système de javascript.

En effet tu peux très facilement valider une page HTML défini à l'avance et mettre dans ton javascript un petit .submit et ainsi envoyer ton formulaire avec tes posts. Ensuite pour récupèrer le contenu, tu réutilises encore javascript.

Je pense qu'il faut s'orienter vers un système style AJAX.
_________________
shingara

marvin rouge · Posted: Wed Dec 14, 2005 8:54 am Post subject:

Si c'est par cookies, alors c'est possible : par exemple, avec net-misc/blogtk tu peux te connecter dur Dotclear (qui utilise une authentification par login+password + un cookie jusqu'à ta deconnexion).

kochka · Posted: Wed Dec 14, 2005 9:31 am Post subject:

En php, tu peux aussi regarder du coté de CURL :
http://fr2.php.net/manual/fr/ref.curl.php

l.slysz · Apprentice Joined: 03 Jun 2005 Posts: 256

houla, bon ben j'ai de la lecture moi

sinon, je ne pense pas qu'il y ait une gestion de cookies, puisque en actualisant la page, on se retrouve sur une demande de re login ....

je vais potasser toutes vos solutions

sinon de mon coté, j'ai trouvé quelque chose de sympa en java :
http://java.sun.com/docs/books/tutorial/networking/urls/readingWriting.html
La section Writing to URLConnection a l'air de correspondre à ce que je veux faire

malheureusement, j'ai des soucis de compilation avec le HTTPCLIENT : NVPair bloque à la compilation puisque non trouvé, alors que le fourni bien le .jar de httpclient dans le classpath

allez, je vais creuser parmis vos trouvailles :lol:

merci

gbetous · l33t Joined: 15 Jan 2004 Posts: 679 Location: Toulouse

pour faire ca, un simple script shell suffit !

curl pour télécharger la page, avec cookies, login et tout et tout
awk, sed pour digérer le html et faire des fichiers texte
mail pour envoyer tout ca !

attention, pour l'histoire du pingouin virtuel : certains sites surveillent les robots (j'avoue que je sais pas trop comment ils les detectent) et sanctionnent fortement leur utilisation... (je le sais, je me suis déjà fait tirer les oreilles

)

EDIT : j'ai retrouvé la syntaxe qui va bien (pour du POST) :

folkk · n00b Joined: 10 Dec 2005 Posts: 7

facile pour detecter un robot mal fait .. quand tu utilise un navigateur , il envoie une entete spécifique .. quand tu utilise un programme et bien cette entete n'est pas envoyée toute seule , donc dans 90% des cas elle n'est pas envoyé ..

biensur tu peux le faire a la main (maintenant en PHP je sais pas dutout comment spécifier les headers d'une requete ... je sais le faire en VB sinon :oops:

)

maintenant il doit surement y avoir d'autre methode pour contourner tout ca , perso c'est la seule que je connaisse!

l.slysz · Apprentice Joined: 03 Jun 2005 Posts: 256

hé ben !

bon je suis parti pour utiliser quelque chose de similaire mais en php, je maitrise pas assez les scripts shell pour tenter l'aventure en ce moment :lol:

j'en ait un peu chié, à cause du systeme de login plutot compliqué

l'envoi du login + pass me genere un numero de session
ce numero de session et envoyé à un .php qui va generer un PHPSESSION (peut etre un hash)
et la page qui contient les infos qui m'interessent utilise le numero de session et le supposé hash :lol:

yahou !

mais j'en suis venu à bout :twisted:

y me reste une chose à faire, mais alors la je vois pas du tout par ou prendre le betail : je me suis jamais frotté l'envoi de mails

bon j'ai regardé, ça a pas l'air compliqué au niveau de php : une bete fonction mail() qui utilise la commande sendmail de mon systeme.
le bemole, c'est que je sais pas comment on configure la commande sendmail pour qu'elle utilise les logins et pass de mon mail chez mon fai

blasserre · Posted: Wed Dec 14, 2005 10:43 pm Post subject:

ultrabug · Developer Joined: 24 Jan 2005 Posts: 698 Location: Paris

Quand tu auras fini je suis assez curieux de voir le code source stp

merci !

l.slysz · Apprentice Joined: 03 Jun 2005 Posts: 256

ok ultrabug, pas de soucis :lol:

merci blassere pour cette demonstration de mon incompetence :lol:

donc j'ai été farfouiller dans le ssmtp.conf, mais je n'ai rien trouvé qui me permette de specifier un user/pass à utiliser pour tous les envois

en cherchant dans le man, j'ai trouvé les parametres -au et -ap qui permettent en ligne de commande de specifier un user / pass à utiliser, y doit bien avoir moyen de les mettre dans le fichier de conf non ?

et sinon qd j'essaye d'envoyer un mail via le shell et la commande ssmtp et ça bloque, un coup de ctrl+D me fait apparaitre un message d'erreur de ssmtp et l'aventure s'arrete la :oops: