| View previous topic :: View next topic |
| Author |
Message |
loopx
Advocate
Joined: 01 Apr 2005
Posts: 2787
Location: Belgium / Liège
|
 Posted: Tue Feb 14, 2006 2:25 pm Post subject: [DEAD] script de mise à jour automatique |
 |
|
Avant de créer un script, je préfère demander pour voir si personne n'en connait.
J'ai un serveur et je voudrais qu'il se synchronise via le ftp.belnet.be (ou autre). Ce n'est pas une mise à jour du portage, mais une mise à jour des sources (140 go) qui se trouve sur le serveur ftp.belnet.be.
Donc, ce script à pour unique but de se connecter à ftp.belnet.be, télécharger les sources que mon serveur ne possède pas encore, et supprimer les sources qui ne sont plus présente sur le serveur distant. Ainsi, les pc présent dans mon réseau local n'auront plus besoin de télécharger les sources sur le net  .
Donc, si vous connaissez un script....
_________________
Mon MediaWiki perso : http://pix-mania.dyndns.org
Last edited by loopx on Tue Feb 14, 2006 7:01 pm; edited 2 times in total |
|
| Back to top |
|
 |
_droop_
l33t
Joined: 30 May 2004
Posts: 957
|
| Posted: Tue Feb 14, 2006 2:44 pm Post subject: |
|
|
Bonjour,
Est ce vraiment la peine de scripter ?
Peût être qu'un simple wget avec les options -r (récursif) et -N (pour ne pas remplacer les fichiers locaux plus récents) suffirait.
Sinon, il y a quelques mirroirs (dont belnet : http://www.gentoo.org/main/en/mirrors.xml) qui propose rsync comme protocole, c'est probablement le meilleur choix pour ce que tu veux faire. N'oublie pas l'option --delete si tu veux que ça n'enfle pas trop.
Voilà.
Last edited by _droop_ on Tue Feb 14, 2006 2:45 pm; edited 1 time in total |
|
| Back to top |
|
|
yoyo
Bodhisattva
Joined: 04 Mar 2003
Posts: 4273
Location: Lyon - France
|
|
| Back to top |
|
|
loopx
Advocate
Joined: 01 Apr 2005
Posts: 2787
Location: Belgium / Liège
|
| Posted: Tue Feb 14, 2006 3:35 pm Post subject: |
|
|
Ben non, ca ne suffirais pas... A moins que cette commande permette de supprimer les sources qui ne sont plus présente....
_________________
Mon MediaWiki perso : http://pix-mania.dyndns.org |
|
| Back to top |
|
|
_droop_
l33t
Joined: 30 May 2004
Posts: 957
|
| Posted: Tue Feb 14, 2006 3:38 pm Post subject: |
|
|
| loopx wrote: | | Ben non, ca ne suffirais pas... A moins que cette commande permette de supprimer les sources qui ne sont plus présente.... |
rsync fait çà... (avec l'option --delete). Pas d'hésitation, utilises le mirroir rsync de belnet pour les sources... |
|
| Back to top |
|
|
loopx
Advocate
Joined: 01 Apr 2005
Posts: 2787
Location: Belgium / Liège
|
| Posted: Tue Feb 14, 2006 3:55 pm Post subject: |
|
|
je vois pas bien comment ca fonctionne, c'est le client (mon serveur quoi) qui dois faire un rsync UNIQUEMENT sur les distfiles ????????
et j'active ca comment ? emerge sync ??????
Il faut uniquement les distfiles, il ne dois pas se mettre à jour...
En fait, c'est un autre pc qui fait la mise à jour de l'arbre (partage pour les pc sur le réseau local) et le serveur dont je parle fait lui, un ftp pour télécharger les sources (distfiles).
EDIT: ce n'est pas un serveur public mais un serveur privé
pour l'instant, x.x.x.252 => rsync gentoo-portage
x.x.x.254 => dois avoir un ftp avec toutes les sources
EDIT2: en fait, la commande wget devrais convenir, je cherche les parametres pour etre sur de ne pas avoir de problème. Elle dois juste télécharger les sources, et supprimé celle qui n'y sont plus. Si les sources existent, ne pas les retéléchargé, sauf si la date/taille? n'est pas la meme...
_________________
Mon MediaWiki perso : http://pix-mania.dyndns.org
Last edited by loopx on Tue Feb 14, 2006 4:04 pm; edited 1 time in total |
|
| Back to top |
|
|
TGL
Bodhisattva
Joined: 02 Jun 2002
Posts: 1978
Location: Rennes, France
|
| Posted: Tue Feb 14, 2006 4:03 pm Post subject: |
|
|
Heu, oui mais non là, STOP !
Rsyncer toutes les sources quand on va en utiliser au mieux le 1/10ème, c'est carrément de l'abus. Ou alors tu en fais ensuite profiter le reste du monde si tu as la bande passante pour ça...
Pourquoi ne pas plutôt te tourner vers des solutions du style proxy, ou bien partage NFS ? Tu as le même effet bénéfique de ne pas télécharger plusieurs fois le même fichier pour tes différentes machines, et tu ne fais pas pour autant du gachi de la BP des mirroirs. |
|
| Back to top |
|
|
loopx
Advocate
Joined: 01 Apr 2005
Posts: 2787
Location: Belgium / Liège
|
| Posted: Tue Feb 14, 2006 4:06 pm Post subject: |
|
|
| TGL wrote: | Heu, oui mais non là, STOP !
Rsyncer toutes les sources quand on va en utiliser au mieux le 1/10ème, c'est carrément de l'abus. Ou alors tu en fais ensuite profiter le reste du monde si tu as la bande passante pour ça...
Pourquoi ne pas plutôt te tourner vers des solutions du style proxy, ou bien partage NFS ? Tu as le même effet bénéfique de ne pas télécharger plusieurs fois le même fichier pour tes différentes machines, et tu ne fais pas pour autant du gachi de la BP des mirroirs. |
C'est pour un internat, les sources sont déjà présente mais c'étais pas moi l'ancien administrateur => je veux un bon système.
Il y a 92 pc dans cet internat, meme si tout le monde n'est pas sous linux , j'ai de la place et de la bande passante, donc je profite 
_________________
Mon MediaWiki perso : http://pix-mania.dyndns.org |
|
| Back to top |
|
|
loopx
Advocate
Joined: 01 Apr 2005
Posts: 2787
Location: Belgium / Liège
|
| Posted: Tue Feb 14, 2006 4:08 pm Post subject: |
|
|
Non et renon, il me faut juste un truc pour que ce qui aura été téléchargé soit exactement la meme chose que sur le serveur. Donc, juste télécharger un *gros* répertoire, et ensuite un ftp par dessus et hop, voilà les sources partagée pour tout le monde
EDIT: je ne trouve pas l'option de suppression des fichiers qui ne sont plus présent dans le man de wget 
_________________
Mon MediaWiki perso : http://pix-mania.dyndns.org |
|
| Back to top |
|
|
loopx
Advocate
Joined: 01 Apr 2005
Posts: 2787
Location: Belgium / Liège
|
| Posted: Tue Feb 14, 2006 4:47 pm Post subject: |
|
|
Je viens de comprend le rsync ... Le problème, c'est que le rsync ne passe pas, le port est bloqué => j'ai toujours pas de moyen de supprimer les fichiers qui ne sont plus présent
Donc, je suis obligé d'utiliser un ftp ou un http pour télécharger les sources
_________________
Mon MediaWiki perso : http://pix-mania.dyndns.org |
|
| Back to top |
|
|
TGL
Bodhisattva
Joined: 02 Jun 2002
Posts: 1978
Location: Rennes, France
|
| Posted: Tue Feb 14, 2006 4:49 pm Post subject: |
|
|
| loopx wrote: | | Il y a 92 pc dans cet internat, meme si tout le monde n'est pas sous linux , j'ai de la place et de la bande passante, donc je profite |
Comme tu dis, tu profites. Sur 92 PCs pas tous sous Linux, ça fait combien de Gentoo ça ? Et sur ces quelques ("dizaines de" en étant très optimiste) Gentoo, y'en a combien qui ont en gros les même paquets d'installés et taperont toutes uniquement dans les même 10% de l'ensemble ?
Sérieux, planque ton /usr/portage/distfiles sur une machine typique, fais un "emerge -pev world", et constate que cette machine va se servir de, typiquement, 3 ou 4 Go de sources seulement. Multiplie par 3 parceque ça doit être en gros la moyenne du nombre de versions par paquet qui cohabitent à un moment donné sur les mirroirs, ça te fait 12 Go en étant large, soit peut-être 10% de l'ensemble. Toujours en étant large, tu doubles pour compter les fluctuations des paquets utilisés d'une machine à l'autre, et tu arrives à 20%. Les 80 autres %, tu vas les télécharger en pure perte, et je trouve que ça ne se fait pas.
Après, c'est juste mon opinion hein, je dis pas que ton idée viole une politique officielle ou quoi que ce soit, j'en sais rien. Mais je pense juste que tu ferais faire des économies de BP au mirroir que tu utilises en optant plutôt pour une solution de type proxy, qui ne téléchargera que ce qui va être effectivement utilisé. |
|
| Back to top |
|
|
loopx
Advocate
Joined: 01 Apr 2005
Posts: 2787
Location: Belgium / Liège
|
| Posted: Tue Feb 14, 2006 5:01 pm Post subject: |
|
|
Si je suis venu pour demander de l'aide, c'est pas pour que mon service soit foutu a l'eau sous pretexte que ...
Je veux faire ca, je le ferais, et je m'en fous de la bande passante. Je sais que ca consome pas énormément comparé au total, mais voilà, j'ai envie de ....
=> je cherche toujours le moyen de supprimer les packets qui ne sont plus présent, vu que je ne peux pas utiliser rsync car en fait, le port est bloqué (ne me demander pas comment je fais pour mettre à jour l'arbre du portage, ca fonctionne, c'est tout), juste que pour les distfiles, je dois le faire via ftp ou http.
_________________
Mon MediaWiki perso : http://pix-mania.dyndns.org |
|
| Back to top |
|
|
sireyessire
Advocate
Joined: 20 Mar 2003
Posts: 2991
Location: back in Paris, France
|
| Posted: Tue Feb 14, 2006 5:18 pm Post subject: |
|
|
| loopx wrote: | Si je suis venu pour demander de l'aide, c'est pas pour que mon service soit foutu a l'eau sous pretexte que ...
Je veux faire ca, je le ferais, et je m'en fous de la bande passante. Je sais que ca consome pas énormément comparé au total, mais voilà, j'ai envie de ....
=> je cherche toujours le moyen de supprimer les packets qui ne sont plus présent, vu que je ne peux pas utiliser rsync car en fait, le port est bloqué (ne me demander pas comment je fais pour mettre à jour l'arbre du portage, ca fonctionne, c'est tout), juste que pour les distfiles, je dois le faire via ftp ou http. |
en voilà un comportement égoïste alors:
que tu te bouffes ta BP franchement on s'en fout c'est ton problème mais se limiter à cette est une vue bien réductrice de la situation... Tu as pensé au pauvre miroir gentoo que tu vas monopoliser pendant que tu fais ton truc? non j'ai pas l'impression, et plus ta BP est grande plus tu vas le monopoliser et priver des ressources de nombreuses personnes qui auraient pu vouloir se connecter en même temps!
En plus ce serveur là est super gentil, bien utilisé, et héberge beaucoup de projets alors je trouverais ça moyen que se rendant compte que l'hébergement de miroir gentoo paralysant la machine, ils décident d'arrêter 
Donc je rejoinds fortement l'avis de TGL, tourne toi plutôt vers le rsync qui soit dit en passant peut de manière naturelle se tunneler dans du ssh (dont le port a de fortes chances d'être ouvert... sinon le demander à ta DSI ou équivalent doit pas poser de problèmes car des connexions fortement sécurisées généralement ça leur va)
_________________
I never think of the future. It comes soon enough.
Albert Einstein
Try simpler first
Shockley |
|
| Back to top |
|
|
TGL
Bodhisattva
Joined: 02 Jun 2002
Posts: 1978
Location: Rennes, France
|
| Posted: Tue Feb 14, 2006 5:19 pm Post subject: |
|
|
| loopx wrote: | Si je suis venu pour demander de l'aide, c'est pas pour que mon service soit foutu a l'eau sous pretexte que ...
Je veux faire ca, je le ferais, et je m'en fous de la bande passante. |
Et bah au moins maintenant c'est clair.
Moi si je t'explique en quoi ça n'est pas un comportement correct vis-à-vis des mirroirs que tu vas pomper, c'est juste pour être sûr que tu ne vas pas abuser d'eux par erreur, par négligence. Mais effectivement, dès lors que c'est sciemment que tu décides de le faire, alors ça n'engage que toi.
Je me contenterai de ne pas t'y aider, et donc [/thread] en ce qui me concerne. |
|
| Back to top |
|
|
loopx
Advocate
Joined: 01 Apr 2005
Posts: 2787
Location: Belgium / Liège
|
| Posted: Tue Feb 14, 2006 5:27 pm Post subject: |
|
|
| sireyessire wrote: | | loopx wrote: | Si je suis venu pour demander de l'aide, c'est pas pour que mon service soit foutu a l'eau sous pretexte que ...
Je veux faire ca, je le ferais, et je m'en fous de la bande passante. Je sais que ca consome pas énormément comparé au total, mais voilà, j'ai envie de ....
=> je cherche toujours le moyen de supprimer les packets qui ne sont plus présent, vu que je ne peux pas utiliser rsync car en fait, le port est bloqué (ne me demander pas comment je fais pour mettre à jour l'arbre du portage, ca fonctionne, c'est tout), juste que pour les distfiles, je dois le faire via ftp ou http. |
en voilà un comportement égoïste alors:
que tu te bouffes ta BP franchement on s'en fout c'est ton problème mais se limiter à cette est une vue bien réductrice de la situation... Tu as pensé au pauvre miroir gentoo que tu vas monopoliser pendant que tu fais ton truc? non j'ai pas l'impression, et plus ta BP est grande plus tu vas le monopoliser et priver des ressources de nombreuses personnes qui auraient pu vouloir se connecter en même temps!
En plus ce serveur là est super gentil, bien utilisé, et héberge beaucoup de projets alors je trouverais ça moyen que se rendant compte que l'hébergement de miroir gentoo paralysant la machine, ils décident d'arrêter
Donc je rejoinds fortement l'avis de TGL, tourne toi plutôt vers le rsync qui soit dit en passant peut de manière naturelle se tunneler dans du ssh (dont le port a de fortes chances d'être ouvert... sinon le demander à ta DSI ou équivalent doit pas poser de problèmes car des connexions fortement sécurisées généralement ça leur va) |
Monopoliser....
J'ai déjà toutes les sources, je ne vais faire QUE DES TELECHARGEMENT DE NOUVEAUTé => je retéléchargerai pas TOUT chaque jour !
C'est ca l'intéret, en ce qui concerne les problèmes de connection, je pense pas que les réseaux soit aussi faible !
Ici, je télécharge à 4 Mo/s oui, ce qui fais pas longtemps pour mettre à jour mon mirroir.
Egoiste ? Non, justement, je profite d'un serveur sur le web illimité pour partager au pauvre 1ère année qui n'ont pas le net en dehors des heures prévue et je sais que c'est fort utile.
_________________
Mon MediaWiki perso : http://pix-mania.dyndns.org
Last edited by loopx on Tue Feb 14, 2006 5:36 pm; edited 1 time in total |
|
| Back to top |
|
|
_droop_
l33t
Joined: 30 May 2004
Posts: 957
|
| Posted: Tue Feb 14, 2006 5:29 pm Post subject: |
|
|
+1
Effectivement pour le nombre de personne à qui celà va servir, le partage nfs de /usr/portage/distfiles paraît bien plus efficace que de se refaire un miroir complet interne.
J'ai regardé dans wget il te manque une seule option : effacer les fichiers qui n'existent plus... Donc tu risques de devoir scripter (ou alors de demander de pouvoir utiliser rsync vers belnet)... |
|
| Back to top |
|
|
loopx
Advocate
Joined: 01 Apr 2005
Posts: 2787
Location: Belgium / Liège
|
| Posted: Tue Feb 14, 2006 5:32 pm Post subject: |
|
|
| TGL wrote: | | Je me contenterai de ne pas t'y aider, et donc [/thread] en ce qui me concerne. |
Oki, merci beaucoup.
Surout que ce que je voulais dire, ce que j'avais une idée en tete, CE SERVEUR TOURNAIT DEJA, et moi ce que je voulais c'est juste un autre moyen que rsync.
Vous me critiqué mais ce n'est pas votre serveur, le ftp.belnet.be. En plus, ma connexion ici provient de belnet !
Enfin, je vais continuer mes recherches tout seul, et oui, je continuerai sur mon idée.
Si c'est pour avoir un serveur qui est juste capable de mettre en cache, à quoi cela pourrait il me servir, vu que le principe est de ne PAS PASSER PAR INTERNET car on pert le net après 24h, et on dois passer via proxy/vpn....
Un client qui demande un packet bien préci NE POURRA AINSI PAS EN PROFITER juste pour ne pas martiriser le serveur ftp.belnet.be qui passe sa vie à faire quoi ? du partage à tout le monde .... Je vois pas ce que ca pourrais lui faire.....
_________________
Mon MediaWiki perso : http://pix-mania.dyndns.org |
|
| Back to top |
|
|
loopx
Advocate
Joined: 01 Apr 2005
Posts: 2787
Location: Belgium / Liège
|
| Posted: Tue Feb 14, 2006 5:34 pm Post subject: |
|
|
| _droop_ wrote: |
+1
Effectivement pour le nombre de personne à qui celà va servir, le partage nfs de /usr/portage/distfiles paraît bien plus efficace que de se refaire un miroir complet interne.
J'ai regardé dans wget il te manque une seule option : effacer les fichiers qui n'existent plus... Donc tu risques de devoir scripter (ou alors de demander de pouvoir utiliser rsync vers belnet)... |
NFS ? Quelle sera la différence pour mes client, NFS ou RSYNC ou HTTP ou FTP ?
Que je télécharge sur belnet.be en NFS ?  pas possible, et puis le problème est toujours la, je sais pas quel fichier je devrais supprimer...
_________________
Mon MediaWiki perso : http://pix-mania.dyndns.org |
|
| Back to top |
|
|
loopx
Advocate
Joined: 01 Apr 2005
Posts: 2787
Location: Belgium / Liège
|
| Posted: Tue Feb 14, 2006 5:41 pm Post subject: |
|
|
Bon, j'ai peut etre une solution. Vu que les distfiles que je veux télécharger et partager en local vont se retrouver dans /usr/portage/distfiles, pourrais-je :
- emerge sync (sur le serveur, pour mettre l'arbre du portage a jour)
- emerge --clean (après le sync, ce qui permettrai de supprimer les packets non utilisé ???)
Ca pourrais fonctionner ?
En fait, j'ai juste peur que la commande emerge --clean ne supprime les packets trop récent ou présent en instable (alors que mon serveur est en stable).
_________________
Mon MediaWiki perso : http://pix-mania.dyndns.org |
|
| Back to top |
|
|
dapsaille
Advocate
Joined: 02 Aug 2004
Posts: 2366
Location: Paris
|
| Posted: Tue Feb 14, 2006 5:42 pm Post subject: |
|
|
+2
EDIT plus constructif : et si tu redirigeais les emerge de tes clients vers ton serveur qui des que la connexion est retablie vas les télécharger ?
Je trouve que les remarques faites ici sont à leurs places .. en effet mirrorrer un serveur complet pour 10 personnes a tout péter ... bah c'est super limite ...
De qui plus est tes djeunz pourront emerger le matin :p et pis rien a foutre sur leur paycay apres 24 heures nan mais ... |
|
| Back to top |
|
|
loopx
Advocate
Joined: 01 Apr 2005
Posts: 2787
Location: Belgium / Liège
|
| Posted: Tue Feb 14, 2006 5:45 pm Post subject: |
|
|
@TGL : merci d'avoir pourri mon thread...
Tu portes bien ton pseudo !
Si je te dis que j'aime bien le noir, c'est pas pour essayer de comprendre que le blanc c'est mieux!
_________________
Mon MediaWiki perso : http://pix-mania.dyndns.org |
|
| Back to top |
|
|
_droop_
l33t
Joined: 30 May 2004
Posts: 957
|
| Posted: Tue Feb 14, 2006 5:50 pm Post subject: |
|
|
| loopx wrote: |
Que je télécharge sur belnet.be en NFS ? pas possible, et puis le problème est toujours la, je sais pas quel fichier je devrais supprimer... |
Tu partages ton /usr/portage/distfiles avec les autres personnes, quitte (?) à le mettre en écriture et au bout d'un moment tu as à peu près toutes les sources dont vous avez besoin.
Ca fait moins de download sur les mirroirs. C'est pas plus compliqué pour toi (si ce n'est qu'il faut toujours trouver un moyen d'effacer les sources un peu vieille, enfin ça n'aura rien à voir avec la quantité sur les 140gos du miroirs).
Tu peux même partager tout /usr/portage pour qu'il n'y est plus qu'une seule machine qui sync réellement. (voir installer un serveur sync pour les ordi lan : http://fr.gentoo-wiki.com/HOWTO_Mirroir_RSYNC_Local_pour_l'arbre_Portage )
Voilà. |
|
| Back to top |
|
|
loopx
Advocate
Joined: 01 Apr 2005
Posts: 2787
Location: Belgium / Liège
|
| Posted: Tue Feb 14, 2006 5:54 pm Post subject: |
|
|
@_droop_: c'est vrai que c'est une bonne idée, mais il faut régler tout les pc client avec du nfs, et c'est quand meme pas génial. C'est une solution a garder pour la maison, mais pas pour un internat je pense... Je retiens quand meme
_________________
Mon MediaWiki perso : http://pix-mania.dyndns.org |
|
| Back to top |
|
|
bibi.skuk
Guru
Joined: 01 Aug 2005
Posts: 425
|
| Posted: Tue Feb 14, 2006 6:04 pm Post subject: |
|
|
| loopx wrote: | | @_droop_: c'est vrai que c'est une bonne idée, mais il faut régler tout les pc client avec du nfs, et c'est quand meme pas génial. C'est une solution a garder pour la maison, mais pas pour un internat je pense... Je retiens quand meme |
c'est pas plus compliquer que de specifier l'adresse du serveur... |
|
| Back to top |
|
|
loopx
Advocate
Joined: 01 Apr 2005
Posts: 2787
Location: Belgium / Liège
|
| Posted: Tue Feb 14, 2006 6:06 pm Post subject: |
|
|
Ca fais foirer le reboot, ca fais des lignes et des lignes dans les logs (client/serveur), faut ouvrir tout les port > 1023 sur le serveur et en gros, c'est pas très secure...
_________________
Mon MediaWiki perso : http://pix-mania.dyndns.org |
|
| Back to top |
|
|
|
|
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum
|
|
French
