Se connecter avec
S'enregistrer | Connectez-vous

Qui a deja utilise CLIC (linux) ?

Dernière réponse : dans Le monde de Linux
Lassé par la pub ? Créez un compte


Personne ?!

...........................

Je vais donc devoire essuier les erreurs et même les plus bete, car c'est la 1ere fois que je vais tester cela, je connais un peut la théorie mais pas la pratique des cluster de calcul !

cyplp a écrittu teste ca pourquoi ?
sur quelle machine ? dans quel cadre ?

question de simple curiosité ...


j'ai test pour le moment "il me manque des dd avec une taill suffisant"

mais je vais tester "et simplement pour test, sur 2 P200mmx, 256 Mo,"

le carde du test c'est une partie de curiosité, et de passe de la théorie a la pratique !"

et avoir un clusteur de calcule c'est mieux que dovercloking d'une machine ! et x plus puissant

Chorus a écrit

mais je vais tester "et simplement pour test, sur 2 P200mmx, 256 Mo,"

le carde du test c'est une partie de curiosité, et de passe de la théorie a la pratique !"

et avoir un clusteur de calcule c'est mieux que dovercloking d'une machine ! et x plus puissant



Il faut quand meme que tes softs soient orientees cluster sinon ca ne sert a rien.

mmoouuaa a écrit
Il faut quand meme que tes softs soient orientees cluster sinon ca ne sert a rien.


Oui, c'est je ne l'avais pas dit !

par contre ce que je sais pas c'est si même soft non orientees est utilisé il n'y a pas une amélioration du traitement (bien évidament pas enorme mais une amélioration quand) ?

Non, non, non, non, non ... Par défaut, un cluster de calcul répartit les calculs sur différentes machines de sorte à effectuer, si possible, des traitements en parallèle. Mais il faut que les applis soient prévues pour ça. Voir les bibliothèques PVM et MPI par exemple.

De façon plus évoluée, si le noyau gère la migration de processus (voir le patch OpenMosix pour le noyau Linux), une fois le cluster configuré, les programmes voient le cluster comme une machine multiprocesseur, il suffit donc d'avoir des programmes prévus pour fonctionner en SMP, ce qui n'est pas toujours le cas. L'avantage, c'est qu'il n'y a pas besoin d'avoir recours à PVM ou MPI pour améliorer les performances.

Autre solution, à gérer selon le traitement à faire : la parallélisation à la main si le traitement s'y prête. Par exemple, le codage d'un DVD en XviD/DivX/etc. J'ai écrit des scripts qui permettent de le faire, bien que les outils que j'utilise (transcode, oggenc et mencoder) ne supporte pas le SMP. L'idée, c'est que sur un DVD, on peut extraire chapitre par chapitre, et chaque chapitre peut être codé à peu près indépendament des autres. Sur 3 machines, chacune s'occupe d'abord de coder les pistes sons de chaque chapitre, puis d'effectuer les passes pour le codage vidéo (je fais ça en 3 passes, voir le script tuxrip sur tuxrip.free.fr pour la méthode de codage). Les fichiers .VOB extraits du DVD sont sur un espace partagé en NFS par les différentes machines, les scripts vérifient la présence de fichiers de verrouillage pour savoir quel fichier n'est pas encore traité.
En fait, sur chaque machine, il y a un script de codage, et une des machines a un script générique qui s'occupe de lancer les scripts de codage (en local ou au travers d'une commande ssh).
À la fin, chaque bout de film codé est assemblé par le script initial qui attend pour former la vidéo finale.

Bon, c'est un exemple, et en pratique, il y a quelque temps que je n'y ai plus touché, car il y a quelque problème de synchronisation de temps en temps lors de l'assemblage final (ogmcat, des ogmtools, n'est pas très au point. Chaque morceau du film est correctement synchronisé indépendament, mais pas la vidéo finale).

GNUJak a écritNon, non, non, non, non ... Par défaut, un cluster de calcul répartit les calculs sur différentes machines de sorte à effectuer, si possible, des traitements en parallèle. Mais il faut que les applis soient prévues pour ça. Voir les bibliothèques PVM et MPI par exemple.

De façon plus évoluée, si le noyau gère la migration de processus (voir le patch OpenMosix pour le noyau Linux), une fois le cluster configuré, les programmes voient le cluster comme une machine multiprocesseur, il suffit donc d'avoir des programmes prévus pour fonctionner en SMP, ce qui n'est pas toujours le cas. L'avantage, c'est qu'il n'y a pas besoin d'avoir recours à PVM ou MPI pour améliorer les performances.

Merci pour ton info si tu peut me dit + tu peut


Autre solution, à gérer selon le traitement à faire : la parallélisation à la main si le traitement s'y prête. Par exemple, le codage d'un DVD en XviD/DivX/etc. J'ai écrit des scripts qui permettent de le faire, bien que les outils que j'utilise (transcode, oggenc et mencoder) ne supporte pas le SMP. L'idée, c'est que sur un DVD, on peut extraire chapitre par chapitre, et chaque chapitre peut être codé à peu près indépendament des autres. Sur 3 machines, chacune s'occupe d'abord de coder les pistes sons de chaque chapitre, puis d'effectuer les passes pour le codage vidéo (je fais ça en 3 passes, voir le script tuxrip sur tuxrip.free.fr pour la méthode de codage). Les fichiers .VOB extraits du DVD sont sur un espace partagé en NFS par les différentes machines, les scripts vérifient la présence de fichiers de verrouillage pour savoir quel fichier n'est pas encore traité.
En fait, sur chaque machine, il y a un script de codage, et une des machines a un script générique qui s'occupe de lancer les scripts de codage (en local ou au travers d'une commande ssh).
À la fin, chaque bout de film codé est assemblé par le script initial qui attend pour former la vidéo finale.

Bon, c'est un exemple, et en pratique, il y a quelque temps que je n'y ai plus touché, car il y a quelque problème de synchronisation de temps en temps lors de l'assemblage final (ogmcat, des ogmtools, n'est pas très au point. Chaque morceau du film est correctement synchronisé indépendament, mais pas la vidéo finale).

C'est difficile à lire, les commentaires écrits dans la citation :) 

Sinon, la première question à se poser, c'est que faire d'un cluster de calcul ? Bah oui, comment et avec quoi le faire fonctionner. Éventuellement, PVMPoV, mais sinon, je pense qu'OpenMosix permet de faire pas mal de trucs.
http://www.openmosix.org

La FAQ est pas mal.
http://howto.ipng.be/openMosixWiki/index.php/FAQ

Après, il faut voir si il y a un réel intérêt à utiliser un cluster OpenMosix, mais juste pour apprendre, c'est quand même intéressant.

GNUJak a écritC'est difficile à lire, les commentaires écrits dans la citation :) 

Sinon, la première question à se poser, c'est que faire d'un cluster de calcul ? Bah oui, comment et avec quoi le faire fonctionner. Éventuellement, PVMPoV, mais sinon, je pense qu'OpenMosix permet de faire pas mal de trucs.
http://www.openmosix.org

La FAQ est pas mal.
http://howto.ipng.be/openMosixWiki/index.php/FAQ

Après, il faut voir si il y a un réel intérêt à utiliser un cluster OpenMosix, mais juste pour apprendre, c'est quand même intéressant.


c'est cela même !
voir comment cela tourne dans un premier temps !

et c'est la raison de sujet !

si non autre question (dont j'ai peur de la réponse ) car je me doute de la reponse, mais on ne sais jamais )

j'ai 2 pc P200MMx mais la CM n'est pas identique cela vat 'il fonctioner quand même ?

(toujours pas installer a ce jour, je veus le max d'info avent !, car comme beaucoup j'ai pas envie de perdre du temps a chercher un truc bete et que quelqu'un a déja la solution)

:jap: 


Chorus a écrit

c'est cela même !
voir comment cela tourne dans un premier temps !

et c'est la raison de sujet !

si non autre question (dont j'ai peur de la réponse ) car je me doute de la reponse, mais on ne sais jamais )

j'ai 2 pc P200MMx mais la CM n'est pas identique cela vat 'il fonctioner quand même ?

(toujours pas installer a ce jour, je veus le max d'info avent !, car comme beaucoup j'ai pas envie de perdre du temps a chercher un truc bete et que quelqu'un a déja la solution)

:jap: 
C'est expliqué dans la FAQ. Pour l'instant, ça ne marche qu'avec des x86, mais peu importe que ce soit des 486 ou des Athlons. Le noyau doit être identique sur chaque noeud, mais il peut être compilé spécifiquement pour chacun. On peut par exemple imaginer d'avoir des systèmes SMP faisant partie du cluster aux côtés de systèmes mono-processeurs, ce n'est pas un problème.
Cela dit, un point qui n'est pas abordé, en effet, c'est de savoir ce qui se passe si un programme compilé pour utiliser par exemple du 3DNow! vient à migrer sur un Pentium II. Il est probable que ce cas soit géré, mais ça serait à vérifier.
Lassé par la pub ? Créez un compte

Créer un nouveau sujet