NAS UNRAID

Turlu, en fait le système c'est plus du RAID-5 (que du JBOD) purement logiciel (pour le côté sécurité des donénes - parité), ce qui implique le risque d'avoir des performances réduites par les composants (CPU, bus et mémoire).

Ca demande donc un calcul intelligent sur le choix de la plateforme pour pouvoir profiter de toute la puissance offerte par les disques, donc de gros débits permis par les bus, la mémoire, le CPU et surtout le bus où est installé la partition unRAID (bref oublier l'USB 2.0).

Toutefois, ça semble un système prometteur, car tolérant avec le matériel, évolutif et peu contraignant.

Le seul problème c'est que Linux (donc unRAID) n'accepte pas l'Advanced Format (blocs de 4K sur le disque) qui a être imposé dans l'avenir comme standard et est déjà enc cours d'optimisation au niveau même du contrôleur des disques. Il reste tout de même des améliorations à attendre car les séries actuelles ont encore un peu de mal à gérer les petits fichiers aussi bien qu'avec des blocs de 512 octets. http://www.presence-pc.com/actualite/secteur-advanced-f...

J'ai comparé à du JBOD parce que, contrairement au RAID 5, les données ne sont pas réparties sur plusieurs disques en stripping, du moins c'est ce que j'ai compris et qui explique qu'en cas de perte de 2 disques (mettons sur une grappe de 5) les données sur les 3 disques restants sont accessibles de façon normale, sans passer par un RAID quelconque.
Chaque fichier est entier sur un seul disque et les données de parité sont enregistrées sur un disque réservé.
Pour les perfs, c'est prévu pour une machine dédiée. Les config proposées sont à base de Celeron ou de Core 2 pas très puissants mais elles ne font que ça.
La solution UNRAID présentant l'avantage d'accueillir un nombre de disque croissant à un coût inférieur à une solution genre Synology 1010+ et extension.
Ce qui revient le plus cher dans cette solution c'est le boîtier avec ses cages à disques (les cages coûtent aussi cher qu'un très bon boîtier, c'est incroyable)
Pour le débit, mon utilisation n'est pas très exigeante et le résultat offert suffit tout à fait.
Effectivement le problème de l'Advanced Format avec Linux se pose.

Ce que je cherche c'est comment sont calculées les données de parité et comment le RAID "récupère" des données perdues.

PS : mon attention a été attirée sur ce type de RAID car j'ai vu que c'était le même que celui proposé par Synology et Drobo et peut-être d'autres, je n'ai pas cherché plus loin.

Pour la mécanique de récupération des données je n'ai absolument aucune idée.

Si tu as l'information cela m'intéresse également  

Drapal, ça m'intéresse aussi  

As-tu avancé sur ce sujet ?

Je cherche quand je ne suis pas trop fatigué par le crabe. Presque tout ce que je trouve est en anglais avec lequel je décroche au bout d'un moment quand c'est trop "touffu" et, quand c'est en français, ça ne répond pas à mes questions.

Je fais aussi des simulations (les sous !) pour comparer une solution Unraid avec une solution NAS toute faite d'au moins 10 To utiles.

L'inconvénient du NAS tout fait c'est le prix et la nécessité de racheter un boîtier pour une extension éventuelle genre Synology Disk Station DS-1010+ DS1511+ et un ou deux DX510 derrière avec le gros avantage d'un software complet, très ergonomique, bien suivi, bref le minimum d'emmerdements pour faire fonctionner le tout avec un maximum de services autres que le seul stockage en RAID.

L'avantage d'une solution Unraid c'est le prix global pour une solution avec jusqu'à 20 DD (il y a le problème du boîtier mais on peut opter pour une solution bricolée maison, pas toujours esthétique mais je m'en tamponne) et le gros inconvénient d'un software moins complet, moins homogène, moins ergonomique avec un suivi aléatoire. Il faut y ajouter le problème de la langue, l'anglais n'étant pas forcément le plus simple pour moi dès que ça devient très technique.

Dans la mesure où je n'aurai sans doute pas besoin de fonctions logicielles du genre serveur iTunes ou Time Machine, mais juste d'un stockage RAID 5 ou équivalent avec serveur FTP, fonction DLNA pour exploiter au mieux mes données, le reste serait juste pour faire mumuse à me créer des problèmes en essayant de comprendre pourquoi ça ne marche plus après une manip quelconque, je me tâte.

Il y a aussi la solution WHS mais je n'ai pas étudié cette possibilité.

Compte tenu de mes vrais problèmes ailleurs, ça reste du domaine du loisir qui fait marcher les neurones, histoire de ne pas sombrer, ce qui tendrait à favoriser la solution DIY... jusqu'au moment où je voudrai que ça marche sans trop me faire ch... ce qui me ferait basculer du côté du système clef en main.

Sinon je n'ai pas de certitudes sur le fonctionnement de ce mode de RAID dont je sais seulement qu'on trouve l'équivalent fonctionnel sur les NAS Drobo et Synology, peut-être d'autres marques aussi.
J'essaye d'imaginer comment peut se faire le calcul de la redondance (il y a forcément du ou exclusif sous le tapis, à mon avis).

Si je pose comme hypothèse de départ une structure avec des disques de tailles différentes (de 2 To et 3 To), le système est supposé stocker les données utiles sans faire de tripping sur plusieurs disques et celles de parité sur un disque de 3 To (toujours le disque de plus forte capacité de la grappe).

Je n'arrive pas à comprendre comment ça fonctionne pour calculer les parités et les utiliser pour reconstituer un fichier ou un disque endommagé.
Avec les autres RAID, je n'ai aucun problème, c'est clair et évident. Là je sèche bêtement. D'ailleurs le fait que ça s'appelle Unraid me pousse à me poser des questions.
Je n'arrive pas du tout à comprendre comment le système serait capable de récupérer les données si un disque est totalement HS, en fait je ne sais même pas si c'est possible...

M'enfin...

Si tu veux fermer le sujet, je n'en mourrai pas, j'en ouvrirai un autre quand j'irai assez bien pour me plonger dedans à fond.
Je ne pensais pas que laisser le sujet en l'état en attendant d'avoir du neuf poserait problème au point d'être relancé ainsi...  

...  

Turlu, j'ai relancé pour avoir des news conernant tes recherches car on est plusieurs intéressés (dont moi-même)... C'est tout !
Je ne vois nullepart où les modos et admins ont évoqué de fermeture de ce super topic  

Aller, arrête de "bad-er" et vient prendre une mousse à la la maison.  

Pas de souci avec un fantasme de fermeture, t'inquiète, c'est juste que ton rappel après 2 ou 3 rappels automatiques par mail m'ont fait me poser la question.

Aujourd'hui, je suis au fond du pieu à surfer sur les sites de fabricants de NAS pour voir l'évolution.
En gros c'est :
l'Atom qui remplace des Celeron M
de 1 à 2 Go de DDR2 800 MHz, parfois 4 Go
je vise des NAS 5 ou 6 disques
je lis les specs et je me paume tellement il y en a.

Je regarde plus spécialement Synology qui a la bonne idée de proposer un "simulateur" du logiciel, histoire de faire connaissance avec leur produit qui a l'air vraiment bien (le patron de UltraMedi@ a un faible pour Synology ou Qnap et j'ai tendance à lui faire confiance).

S'il n'y avait pas le problème du logiciel j'aurais déjà opté pour Unraid pour avoir le choix d'une plateforme plus performante que l'Atom et utiliser la machine pour des bricoles supplémentaires mais aussi pour le côté "home made".
Mais comme c'est basé sur Linux que je suis très, trèèèèèèèès loin de maîtriser, l'agrégation de fonctions supplémentaires à Unraid et le manque d'homogénéité résultant sur l'ensemble me fait avancer en crabe, voire même à reculons.
M'enfin... faudra bien que je saute le pas un de ces prochains jours.

Je ne "lâche pas l'affaire" comme disent les djeunz.

Pour la mousse, faut que je fasse gaffe avec le Fentanyl, ça assomme et ce n'est pas très agréable !  
Le première fois où je me suis fait avoir, ça m'a fait tout drôle   (bon ! c'était pas de la bière, c'était du vieux rhum martiniquais offert par un copain, ça tape plus quand même...)
Je n'ai jamais aimé les sensations qu'on a quand on est un peu cuit...  

Je crois que je vais roupiller un peu, j'enchaîne les nuits blanches depuis 2 mois et je m'écroule en journée, va comprendre !

 

Synology c'est le numéro 1 dans le NAS particulier et semi-pro, et ils n'ont pas volé cette place !

QNAP par contre bof bof.
Ils essayent de copier Synology (c'est flagrant !) en proposant une interface est des fonctions moins bien foutues, moins chères, mais aussi moins équipées (moins de RAM généralement) et dont tu peux être certain que tu n'auras plus de support au delàs de 18 mois (contrairement à Synology où certains produits ont presque 5 ans de support !).

Personnellement, mon prochain NAS sera soit un Syonology, soit un home-made-barbarian-style  

Bonjour,

Peut-être vos choix sont t'ils déjà faits, sinon je peux vous faire part de mon avis sur Unraid.

J'ai construit, il y a quelques mois, une machine basée sur une "vieille" carte dotée d'un optéron et de 1Go de DDR.
J'ai ajouté une carte réseau standart 1000mbps (chip realtek) et une carte sata2 made in china (eBay).
Cela m'a permis de lier 8 disques de 320Go à 1,5T (j'ai commencé par 3 disques pour tester la version gratuite de Unraid)
Cerise sur le gateau : un disque SSD de 64Go qui sert de cache.

Quelques commentaires en vrac:

Tout le logiciel tient sur une clé USB, dont l'ID sert à valider la licence (version payante), donc :
- prendre une clé de qualité, car on perd la licence avec la clé si elle meurt   , bien qu'il semble que l'auteur accepte de fournir une nouvelle licence pour une nouvelle clé si on le contacte par mail.
- s'assurer que la clé ET la carte mère acceptent le boot sur la clé usb (ma première OCZ le refusait  ) On peut le vérifier avec la version gratuite de Unraid.

L'installation est vraiment facile et le paramétrage à peine plus dur, même pour un total étranger au monde de Linux ( <-- moi   )

Le NAS peut être vu comme un seul disque mais chaque disque peut être vu individuellement (la clé USB aussi).

Il semble, mais je ne l'ai pas vérifié, que les performance soient assez peu CPU dépendantes, mais le disque cache est, ça je l'ai vérifié, indispensable pour avoir de bonnes performances en écriture.
Et là, elles sont vraiment bonnes : entre 50 et 60Mo/s sur de gros fichiers. Un SSD n'est surement pas indispensable, j'imagine qu'un disque dur rapide doit donner d'aussi bon résultats, mais je pense que même un disque lent est préférable à pas de disque cache du tout.

Les disques sont mis au repos au bout d'un temps programmable et, conséquence de la méthode d'écriture, seul un disque à généralement besoin d'être activé pour une lecture, trois pour une écriture : 1 de donnée, le disque de parité et le disque cache. C'est bon pour les économies d'énergie et le portefeuille   J'imagine qu'avec une carte Atom on doit arriver à une consommation très réduite.

Je n'ai eu qu'un seul disque défaillant, j'en ai profité pour le remplacer par un plus gros, la réparation a été longue mais très simple.

Pour résumé, j'avais déjà eu d'autres nas raid, mais celui ci est nettement au dessus du lot pour son évolutivité, ses performances et la sécurité qu'il apporte par son indépendance du hardware. Et puis, quel plaisir de le constuire sois même  

PS: ce n'est pas une pub pour Unraid, mais juste un utilisateur satisfait.

Intéressant ton retour. Merci  
Si d'autres détails te reviennent n'hésite pas à les poster.

Patience et longueur de temps
font plus que force ni que rage.

Je savais bien qu'il y aurait une réponse avec retour d'expérience, un jour...

Mais dès le début j'écrivais :

"J'ai compris le principe à un détail près. Comment sont calculées les données de parité ?"

Enfin, tant pis, c'est toujours une bonne chose de savoir qu'un utilisateur pas spécialiste de Linux est satisfait du bazar...

Ce NAS remplit-il pour toi d'autres fonctions que le simple stockage de données et, si c'est le cas, lesquelles et avec quels logiciels ?
Si tu as le temps de nous en faire part, ne t'en prive surtout pas.

Petit détail qui n'en est pas vraiment un : le boîtier. Ben oui ! Il faut bien les caser tous ces disques.
Ce que j'ai trouvé jusqu'à présent revient plutôt cher : boîtier du segment milieu-haut de gamme pour avoir assez d'emplacements ou boîtier avec un nombre "normal" d'emplacements internes plus des baies 5.25 externes qu'on équipe de racks pouvant contenir jusqu'à 5 disques pour 3 emplacements mais ces racks coûtent quasiment le prix d'un très bon boîtier.
Alors, à moins d'être très bricoleur et équipé pour travailler le métal... il faut raquer.
Je vais reprendre ma calculette pour juger les mérites comparés d'une solution home made et d'un NAS "prêt à porter".

En tout cas, encore merci pour ton témoignage.

Comme expliqué sur wikipedia, https://secure.wikimedia.org/wikipedia/fr/wiki/RAID_%28informatique%29#Parit.C3.A9_et_redondance pour le RAID 5 la parité permet en fait de déterminer le nombre de 1 logique sur un même bit sur les différents disques : par exemple on a 4 disques, sur les 3 premiers disques pour le premier bit on a des données et sur le 4ème le bit de parité. Imaginons que l'on a 1, 0 et 1 sur les 3 premiers disques. On applique un XOR (OU Exclusif) sur les 3 bits et on se retrouve avec 0 (1 XOR 0 = 1 puis 1 XOR 1 = 0). On a 0 pour un nombre pair de 1 logique et 1 pour un nombre impair de 1 logique. Du coup on aura un 0 logique sur le 4ème disque.
Si un disque plante, on va dire le 3ème, le système va regarder déjà si c'était le bit de parité ou non. Si ça avait été le cas (le 4ème disque dans l'exemple) c'est tout simple le système aurait recalculé le bit de parité. Là on a un bit de donnée qui manque donc le système va déduire la valeur du bit de donnée en fonction des autres bits de données et du bit de parité : on a un bit de parité à 0 donc on sait que le nombre de 1 logique est pair. On a qu'un seul 1 logique sur le 1er disque (donc impair) donc pour avoir un nombre pair de 1 logique le système remettra un 1 logique dans le 3ème disque.

C'est bien pour cela que le RAID 5 est limité au plantage d'un seul disque et qu'il existe le RAID 6 (qui permet une redondance du bit de parité sur plusieurs disques, mais on perd autant en stockage). Reste que comme dit assez souvent la probabilité de voir 2 DD planter au même moment est quand même assez faible.

Pour l'unRAID j'ai quand même quelques interrogations au niveau des performances car finalement c'est en fonction du disque sur lequel seront écrites les données qui déterminera ces performances. On peut avoir de bonnes perf au début si on écrit sur un bon disque mais une fois que celui-ci est plein voir les perfs tomber si on écrit sur un très vieux disque qu'on a gardé par sentimentalisme (comme un Quantum Bigfoot, 4Go dans 5"1/4).

Sinon l'unRAID permet-il de faire un media server ?

Pour le boîtier Turlu ça peut se trouver : http://www.ldlc.com/fiche/PB00100723.html / http://www.ldlc.com/fiche/PB00073132.html / http://www.ldlc.com/fiche/PB00092288.html

Même s'il n'est pas facile de faire exactement la même config, serait-il envisageable de faire un test RAID5 VS unRAID ?
En effet que les bits de parité soient répartis sur un seul disque ou sur tous revient au même d'un point de vue purement sauvegarde. Après il faudrait comparer par exemple 3 disques en RAID 5 et 3 disques en unRAID (pour la version gratuite). Pour le RAID 5 vu que les bits de parité sont répartis (si j'ai bien compris) de façon homogène sur tous les disques on devrait avoir un temps de reconstruction de disque identique quelque soit le disque qui plante.
Par contre pour le unRAID, pas sur que se soit le cas si on a un disque de données qui plante ou le disque de parité.

Merci pour le rappel sur le RAID (je connaissais déjà mais ça ne fait pas de mal), ça m'a permis de comprendre qu'en fait je me posais un faux problème.
Que les données de parité soient sur un seul disque ou réparties sur plusieurs, le calcul doit être semblable. Les différences seront plus au niveau des performances et de la simplicité de récupération.
Quant à utiliser de vieux DD qui traînent, le problème ne se pose pas pour moi puisque je pars de zéro, mes vieux DD sont utilisés ici ou là pour dépanner de vieilles bécanes.
Il doit suffire de trouver la bonne application...
Effectivement, en partant d'un de ces boîtiers ça peut le faire si j'arrête d'avoir la manie de toujours chercher à faire plus grand que nécessaire selon la vieille règle des marins : "Trop fort n'a jamais manqué"  
Il me reste à évaluer mes besoins. Ai-je vraiment besoin de fonctions évoluées ? Ou bien me laissé-je charmer par la séduction high tech des solutions genres Synology, en bon geek qui s'ignore plus ou moins ?
Voilà qui demande réflexion.
Effectivement, j'étais parti sur des choses du genre ICY DOCK MB455SPF (que j'avais vu sur le site de UNRAID) et le tarif n'est pas du tout du même calibre !!!
Du coup ça rend la solution UNRAID abordable, même en prenant la licence la plus chère.
Soit un boîtier avec alim autour de 80€, un rack pour 4 DD supplémentaire à moins de 20 €, ça permet de monter 11 DD en bricolant avec de la mousse et de l'adhésif double face pour monter en plus un SSD en disque cache.
Avec une solution comme ça, j'ai le temps de voir venir avant de tout remplir et le Unraid permet d'ajouter simplement des DD au fur et à mesure, ce qui étale et limite la dépense.
Reste le contrôleur de DD. Il y a des chances que celui de la carte mère n'ait pas assez de ports (4 à 6 en général) sauf à taper dans de la CM haut de gamme, ce qui serait hors-sujet.
Il faut donc trouver un contrôleur SATA II avec au moins 8 ports et qui supporte les volumes de plus de 2 To (autant prévoir l'avenir proche quand le prix au Go des DD 3 To va baisser). A la rigueur on peut envisager 2 cartes contrôleur à 4 ports chacune en pensant qu'il faudra leur trouver de la place sur la CM.
Combien de disques sur ton NAS et quel contrôleur ?

Pour la CM et le CPU, pas besoin de chercher dans les nouveautés mais pas non plus dans les antiquités.
Il faudra définir un cahier des charges prenant en compte le nombre et le type des connecteurs, la RAM et d'autres bricoles comme un contrôleur impérativement Gigabit.

Bref ! Encore pas mal de réflexion à venir. Chouette ! Mes neurones vont s'entraîner  
Dans mon cas les perfs ne sont pas critiques, l'utilisation va être du stockage de films (images ISO de mes DVD pour pouvoir les ranger dans une caisse, plus les Laserdiscs que je vais numériser avec une carte Avermedia, soit environ 1800 films et une dizaines de séries, plus les 7 ou 800 CD empilés dans tous les coins). Une fois copiés, je pourrai voir les films soit sur la télé (Sony 40 pouces) soit sur le portable depuis mon lit (je risque d'y passer plus de temps dans l'avenir), donc le débit n'est "critique" qu'au moment de la copie des disques originaux.

Merci pour ces précisions.

Et merci à vous tous qui m'avez aidé en contribuant à ce fil.  

Meilleure réponse sélectionnée par turlupin en ptard.

Turlu, personnellement j'ai joint l'utile à l'agréable avec une carte mère serveur Super Micro doté de 6 SATA et 8 SAS avec au cul un véritable contrôleur RAID LSI   : http://www.supermicro.com/products/motherboard/Xeon3000... / http://www.priceminister.com/offer/buy/87179309/mb1366-...
Ca devient plus qu'un pur NAS avec un telle config, mais ça rocks méchamment avec mon Core i7 980X pour un serveur de virtualisation  

Bien sûr une telle solution ferait rêver n'importe quel high tech-addict dans mon genre mais vu l'usage prévu en ce qui me concerne, ce serait tout à fait déraisonnable.  

J'imagine que tu dois en faire une utilisation assez pointue et plus qu'exigeante en matière de performance... laquelle si ce n'est pas trop indiscret ?

Pour tout te dire, je rêve, sans oser me l'autoriser, d'un bi-980X en watercooling avec 2x16 Go de RAM mais pour faire ce que je fais, là ce serait carrément abusif.

Je ne me sens déjà pas la conscience en paix d'avoir claqué près de 600 € rien que pour l'ensemble CM+CPU+RAM de mon actuel PC (nommé Droopy), alors balancer plus de 3000 € pour cette config de rêve, tu imagines... je n'en dormirais plus  

Il va déjà falloir que je m'occupe de mon histoire de NAS...  

Peut-être que je craquerai dans un an.
J'ai prévu de monter un Ivy Bridge en watercooling bien overclocké mais si le socket 2011 offre des solutions plus puissantes à des prix psychologiquement supportables   pourquoi pas... peut-être mon seuil de tolérance aura-t-il évolué à la hausse d'ici-là  

Je me sers de deux machines (4 cores-8 threads et 6 cores-12 threads) pour virtualiser des solutions "entreprise" de test plus proches de la réalité (éléments réseau, réactivité, redondance physique) que du tout virtuel.

Avec un coup de bol monstre j'ai touché mon 980X à 600€ et la bécane m'est revenu à environ 1000 noros, psychologiquement ça va (même si on est loin d'un IGP qui permet quelques petits jeux, ça n'est pas taillé pour ce besoin)  

Les solutions Ivy Bridge en 1155 permettront de se faire une bonne config o/c (d'ailleurs tom's avait fait le test avec un i7 2600K poussé aux alentours des 4GHz je crois). Le proc est vraiment pas cher comparé à des i7 980 ou 990.
D'ailleurs accessoirement la première gigabyte en Z68 vient d'apparaitre sur le site de montgallet http://www.rue-montgallet.com/prix/acheter,gigabyte-z68x-ud4-b3,743959

Par contre si j'ai bien compris pour les DD de plus de 2To il faut un bios UEFI pour ne pas avoir besoin d'installer un logiciel supplémentaire pour qu'ils soient détectés comme tel (là encore y avait un test sur tom's). Donc une carte assez récente.

Je crois que le problème touche aussi le contrôleur de disques.

J'aimerais avoir un information primordiale pour moi.
Est-ce qu'il existe une procédure en français pour UnRaid?

Edit du modérateur : pas de mail.

Ce qui signifie ? Veux-tu dire "existe-t-il une version française" ?
A priori : non.

Je veux juste dire une procédure d'installation en français (même si le logiciel est en anglais) mais tant mieux si on trouve une version du logiciel en français.

pour la partie "l'unRAID permet-il de faire un media server " : totalement, il ya des dizaines de packages linux deja 'optimisés' pour Unraid avec la possibilité d'en installer soit meme (pour les plus connaissants en Linux)

Pour ma part, je fonctionne avec un 'petit' serveur Unraid ( Celeron E3400 avec 2Go de DDR2), et j'ai installé dessus:
- Subsonic (serveur de musique)
- Transmission (torrents)
- payLoad (Megaupload)
- sous peu installation de PS3 Mediaserver (DLNA)

je manque de disque très rapide, mais meme avec ca, je stream du 1080p sans probleme vers mon reseau gigabit