Changeset 252 for trunk

Timestamp:

07/05/10 10:51:30 (14 years ago)

Author:

nanardon

Message:

• most of the talk

Location:

trunk/public-mirror

Files:

• DoNotFeedTroll.svg (added)
• Makefile (modified) (2 diffs)
• disk-array.png (added)
• main.tex (modified) (3 diffs)

trunk/public-mirror/Makefile

@@ -12 +12 @@
 
 IMAGES= \
+        DoNotFeedTroll.png \
+        disk-array.png
 
 EXAMPLES = \
@@ -44 +46 @@
         cat $< | sed 's/notes/handout/' > $@
 
+DoNotFeedTroll.png: DoNotFeedTroll.svg
+        convert $< $@
+
 clean:
         rm -f $(EPS)

trunk/public-mirror/main.tex

@@ -6 +6 @@
 \usepackage{moreverb}
 \usepackage{graphicx}
+\usepackage{eurosym}
 
 \mode<presentation>
@@ -23 +24 @@
 \date{\today}
 
+%%\setcounter{tocdepth}{2}
 \AtBeginSection[]
 {
-\begin{frame}<beamer>
-    \frametitle{Plan}
-    \tableofcontents[currentsection]
+\begin{frame}
+    \frametitle{Plan - \secname}
+    \tableofcontents[currentsection,hideallsubsections]
+\end{frame}
+}
+
+\AtBeginSubsection[]
+{
+\begin{frame}
+    \frametitle{Plan - \secname}
+    \tableofcontents[currentsection,sectionstyle=show/hide,hideothersubsections,subsectionstyle=show/shaded/hide]
 \end{frame}
 }
@@ -36 +46 @@
 
 \begin{frame}{Plan}
-\tableofcontents
+\tableofcontents[hideallsubsections]
 \end{frame}
 
 \section{Généralité}
 
+\begin{frame}
+\frametitle{Définition}
+\vfill
+\begin{block}{Service de fichier}
+Un serveur accessible pour distribuer des fichiers de maniÚre anonyme et
+gratuite
+\begin{itemize}
+\item distributions Linux/BSD/\ldots
+\item logiciels
+\item documentations (RFC, \ldots)
+\end{itemize}
+\end{block}
+\vfill
+\pause
+\begin{block}{Pourquoi ?}
+\begin{itemize}
+\item accélérer les installations
+\item diffuser (aussi) vos propres fichiers
+\end{itemize}
+\end{block}
+\vfill
+\end{frame}
+
+\begin{frame}
+\frametitle{Les risques ?}
+\begin{block}{Ce que vous risquez}
+\begin{itemize}
+\item votre serveur va devenir important
+\pause
+\item il peut tomber en panne
+\pause
+\item sous la pression des utilisateurs, vous essayer de le réparer toute la
+nuit
+\pause
+\begin{itemize}
+\item votre femme vous quitte
+\item vous êtes viré car le service n'est pas assuré
+\end{itemize}
+\pause
+\item vous finissez célibataire, ruiné et honteux !
+\end{itemize}
+\end{block}
+\pause
+\vfill
+\begin{alertblock}{}
+Avez-vous mérité celà ?
+\end{alertblock}
+\end{frame}
+
 \section{Definition du besoin}
 
+\begin{frame}
+\frametitle{Rappels !}
+\begin{alertblock}{Unités de mesure}
+\begin{itemize}
+\item 1~octet fait 8~bits,\\
+donc 100~mbits fait 13~107~200~octets (12,5~Mo),\\
+donc 1~gbits fait 134~217~728~octets (128~Mo)
+\pause
+\item 1~kilo fait 1024,\\
+donc 1~Go fait 1~073~741~824~octets,\\
+donc 1~To fait 1~099~511~627~780~octets
+\pause
+\item un disque de 1~To ça fait $10^{12}$ octets,\\
+donc ce disque fait 931,32~Go
+\end{itemize}
+\end{alertblock}
+\end{frame}
+
+\begin{frame}
+\frametitle{Portée du service}
+\begin{block}{Serveur privé}
+\begin{itemize}
+\item réservé à des personnes / réseaux identifiés
+\item charge prévisible
+\end{itemize}
+Ne posent généralement pas de problÚmes particulier.
+\end{block}
+\vfill
+\onslide<2->{
+\begin{block}{Serveur public}
+\begin{itemize}
+\item visiteurs inconnus
+\begin{itemize}
+\item de part leurs identités
+\item de part leur nombre
+\end{itemize}
+\item risque de surcharge
+\item risque d'attaque (DoS, piratage)
+\end{itemize}
+\end{block}
+}
+\end{frame}
+
+\begin{frame}
+\frametitle{Contenus diffusés}
+\begin{block}{Quel contenus}
+\begin{itemize}
+\item SystÚme d'exploitation
+    \begin{itemize}
+    \item mise à jour
+    \item systÚme complets, image cd/dvd
+    \end{itemize}
+\item Source de logiciels
+\item Fichiers vidéos/son (légaux !!!)
+\end{itemize}
+\end{block}
+\pause
+
+\begin{block}{Vers qui ?}
+\begin{itemize}
+\item Utilisateurs/Sys admin.
+\item Developeurs/contributeurs
+\item d'autres miroirs
+\end{itemize}
+\end{block}
+\end{frame}
+
+\begin{frame}
+\frametitle{Exemple de taille}
+\begin{exampleblock}{Distribution (en Go)}
+\centering
+\begin{tabular}{|l|r@{.}l|l|r@{.}l|}
+\multicolumn{3}{|c|}{totalité}&\multicolumn{3}{|c|}{une version}\\
+\hline
+Mandriva&1258&90&2010.0&110&18\\
+\hline
+Fedora&620&89&12&89&95\\
+\hline
+Ubuntu&318&50&-&\multicolumn{2}{|c|}{-}\\
+\hline
+\end{tabular}
+
+%%TODO exemple pour des softs
+
+\end{exampleblock}
+\end{frame}
+
+\begin{frame}
+\frametitle{Questions:}
+\begin{alertblock}{La vie, l'univers et le reste}
+\begin{itemize}
+\item quelle capacité ?
+\item quelle bande passante ?
+\item quelle fiabilité du service ?
+\end{itemize}
+\pause
+\begin{itemize}
+\item le temps que vous pouvez y accorder
+\item le coût en \euro{}
+\end{itemize}
+\end{alertblock}
+\end{frame}
+
 \section{Le Matériel}
 
-\section{Les services}
+\subsection{infrastucture nécessaire}
+
+\begin{frame}
+\frametitle{Hébergement}
+\begin{block}{Les classiques}
+\begin{itemize}
+\item réseau électrique ondulé
+\item salle climatisée
+\item une solution d'accÚs distant est un plus (ipmi, kvm ip)
+\end{itemize}
+\end{block}
+\pause
+\vfill
+
+\begin{block}{connection du site à internet}
+\begin{itemize}
+\item en download
+\begin{itemize}
+\item 20~mbits peuvent suffire
+\item pour des mise à jours correcte: 100~mbits
+\end{itemize}
+\item en upload (serveur publique)
+\begin{itemize}
+\item 100~mbits minimum, gigabit recommandé
+\end{itemize}
+\end{itemize}
+\end{block}
+\end{frame}
+
+\subsection{La machine}
+
+\begin{frame}
+\frametitle{Configuration}
+\begin{block}{Puissance}
+\begin{itemize}
+\item 2 ou 4 CPU, peu importe la puissance
+\pause
+\item RAM: 4~Go minimum (faire du cache)
+\pause
+\item disque (pour l'OS):
+\begin{itemize}
+\item 20~Go (systÚme + swap)
+\item 30~Go pour les logs
+\end{itemize}
+\end{itemize}
+\end{block}
+\pause
+\vfill
+
+\begin{block}{Sécurité}
+\begin{itemize}
+\item alimentations redondantes
+\item garantie/maintenance constructeur (3 voir 5 ans)
+\pause
+\item un systÚme de sauvegarde du systÚme
+\end{itemize}
+\end{block}
+\end{frame}
+
+\subsection{Stockage}
+
+\begin{frame}
+\frametitle{Besoins:}
+
+\begin{block}{Performance}
+\begin{itemize}
+\item peu d'écriture, beaucoup de lecture
+\item peu de trÚs gros débit
+\item beaucoup d'accÚs concurrents
+\end{itemize}
+\end{block}
+\pause
+\vfill
+
+\begin{block}{Taille: prévoir large}
+\begin{itemize}
+\item espace utile $\approx$ 80\% espace brut
+\item les distributions grossissent\\
+    (Mdv 2007.0: 29G, Mdv 2010.0: 48G)
+\item répondre aux futurs besoins
+\end{itemize}
+\end{block}
+\end{frame}
+
+\begin{frame}
+\frametitle{Solution de stockage}
+\begin{block}{Disques internes}
+\begin{itemize}
+\item disques SATA ou SAS
+\item \textbf{Raid} hard ou soft
+\end{itemize}
+\end{block}
+\pause
+\vfill
+
+\begin{block}{Solution externes / Baies autonomes}
+\begin{tabular}{|c|c|l|}
+\hline
+Conn.&type disque&commentaire\\
+\hline
+\hline
+SCSI&IDE&vieilles baies\\
+\hline
+SCSI&SATA&bon compromis qualité/prix\\
+\hline
+SAS&SAS&trÚs couteux\\
+\hline
+F.C.&SATA&performant, voir le prix de la carte\\
+\hline
+F.C.&SAS&le top mais cher !\\
+\hline
+\end{tabular}
+\end{block}
+\end{frame}
+
+\begin{frame}
+\frametitle{Exemple de baies}
+\begin{exampleblock}{Baies de distrib-coffee}
+\begin{center}
+\includegraphics[width=75mm]{disk-array}
+\begin{itemize}
+\item haut: 8~x~250Go, Raid 5
+\item bas: 16~x~1To, Raid 6
+\end{itemize} 
+\end{center}
+\end{exampleblock}
+\end{frame}
+
+\begin{frame}
+\frametitle{Faire intervenir le RAID}
+\begin{block}{RAID hard ou soft ?}
+Pourquoi pas du soft:
+\begin{itemize}
+\item peu couteux sur les CPUs actuels
+\item indépendant du matériel
+\pause
+\item un RAID full hard reste plus souple et performant
+\item \textbf{fuyez les RAID semi hard}
+\end{itemize}
+\end{block}
+\pause
+\vfill
+
+\begin{block}{Quel RAID ?}
+\begin{tabular}{ccl}
+\only<3>{
+RAID 0&Stripping&Vous plaisantez ?\\
+}
+\only<4>{
+RAID 1&Mirroring&Cher\\
+RAID 0+1&Mirror + Stripe&Excellent mais cher\\
+RAID 5&Parité&Bon compromis\\
+RAID 6&2 parités&Bon compromis, plus lourd\\
+}
+\end{tabular}
+\end{block}
+\end{frame}
+
+\subsection{Résumé}
+
+\begin{frame}
+\frametitle{Prix}
+\begin{block}{Tarifs:}
+\centering
+\begin{tabular}{|l|c|}
+\hline
+Machine&500 - 2500 \euro{}\\
+\hline
+Stockage&300 - 20000 \euro{}\\
+\hline
+\end{tabular}
+\end{block}
+\pause
+\vfill
+
+\begin{exampleblock}{Distrib-coffee}
+\centering
+\begin{tabular}{|l|c|}
+\hline
+bi-quad 2ghz, 32Go RAM&1500 \euro\\
+\hline
+Stockage:&\\
+Baie 8x500Go SCSI&~ 3000 \euro\\
+Baie 16x1To SCSI&~ 5000 \euro\\
+\hline
+\end{tabular}
+\end{exampleblock}
+\pause
+\vfill
+\begin{alertblock}{}
+Nos prix sont exprimés hors taxes
+\end{alertblock}
+\end{frame}
+
+\section{Coté Soft}
 
 \subsection{L'OS}
 
-\subsection{http}
-
-\subsection{ftp}
-
-\subsection{rsync}
+\begin{frame}
+\frametitle{Quel Os ?}
+\begin{columns}
+\begin{column}{3cm}
+\only<2->{
+\includegraphics[width=25mm]{DoNotFeedTroll}
+
+Do not feed the troll.
+}
+\end{column}
+\begin{column}{8cm}
+\begin{block}{Unix}
+Préférez un systÚme 64bits.
+\pause
+\begin{itemize}
+\item Linux
+\item BSD
+\item autres\ldots
+\end{itemize}
+\end{block}
+\pause
+\begin{block}{Windows ?}
+Les retours d'expérience m'intéresse !
+\end{block}
+\pause
+\begin{exampleblock}{Distrib-coffee}
+Linux Mandriva 2010.0 x86\_64
+\end{exampleblock}
+\end{column}
+\end{columns}
+\end{frame}
+
+\begin{frame}
+\frametitle{Partitionnement 1/2}
+\begin{block}{Pour le systÚme}
+Prévoir:
+\begin{itemize}
+\item swap (4Go max)
+\item /var séparé (pensez aux logs !)
+\end{itemize}
+\end{block}
+\pause
+\vfill
+
+\begin{block}{Stockage}
+Utilisation de LVM (linux):
+\begin{itemize}
+\item facilite la gestion de gros volumes
+\item extension sur plusieurs disques
+\end{itemize}
+\end{block}
+\end{frame}
+
+\begin{frame}[fragile]
+\frametitle{Partitionnement 2/2}
+\begin{block}{Conseils}
+\begin{itemize}
+\item un seul systÚme de fichier (évite les déplacements coûteux entre disques)
+\item ne pas exposer la racine mais un sous répertoire
+\pause
+\begin{verbatim}
+/dev/vg/lv        /mnt/stockage auto
+/mnt/stockage/pub /var/ftp/pub  bind
+\end{verbatim}
+\pause
+\item systÚme supportant un grand nombre de fichiers
+\pause
+\item retaillable (Ã  chaud)
+\pause
+\item \textbf{journalisé}
+\pause
+\item fiable et maintenu
+\pause
+\end{itemize}
+Donc ext3, ext4, xfs (linux).
+\end{block}
+\end{frame}
+
+\subsection{Services}
+
+\subsubsection{http}
+
+\begin{frame}
+\frametitle{Le web}
+\begin{block}{Contraintes}
+\begin{itemize}
+\item protocol mal adapté à du téléchargement pur
+\item beaucoup de connections, de plus en plus utilisé
+\item des connections longue (temps de téléchargement)
+\end{itemize}
+\end{block}
+\pause
+\vfill
+\begin{block}{Apache ?}
+\begin{itemize}
+\item connu et classigue
+\item souple, nombreux support (via modules)
+\item configuration parfois peu aisée
+\item besoin de restart qui arrÚte toutes les connections en court
+\item gourmand en RAM
+\end{itemize}
+\end{block}
+\end{frame}
+
+\begin{frame}[fragile]
+\frametitle{Téléchargement intelligent ?}
+\begin{block}{ProblÚme des mass downloader}
+\begin{itemize}
+\item plusieurs connections (jusque 30 par téléchargement) simultanées et
+répétitives
+\item des accÚs (ouverture de fichiers) répétitifs et concurrents
+\end{itemize}
+\end{block}
+\pause
+\vfill
+\begin{block}{Solution:}
+Pour apache: mod-bw, renvoit une erreur \verb+503+ en cas de connections multiples
+\begin{itemize}
+\item permet de limiter seulement une arborescence
+\item ne detecte pas bien la fin des connections \verb+:\+
+\item éfficace
+\end{itemize}
+\end{block}
+\end{frame}
+
+\subsubsection{ftp}
+
+\begin{frame}[fragile]
+\frametitle{File Transfert Protocol}
+\begin{block}{Les problÚmes:}
+\begin{itemize}
+\item \verb+ls+ récursif: à interdire
+\item penser à autoriser le \verb+ftp passif+
+\end{itemize}
+\end{block}
+\pause
+\vfill
+\begin{block}{Quel serveur ?}
+\begin{itemize}
+\item proftpd
+\pause
+\item vsftpd
+\pause
+\item \ldots
+\end{itemize}
+\end{block}
+\end{frame}
+
+\subsubsection{Rsync}
+
+\begin{frame}[fragile]
+\frametitle{Rsync (serveur)}
+\begin{block}{Utilisation}
+\begin{itemize}
+\item avant tout synchronisation d'arborescence
+\item du téléchargement de fichier (certaines distributions)
+\end{itemize}
+\pause
+\begin{itemize}
+\item reprise de téléchargement long (y compris gros fichiers)
+\item gourmand en accÚs disque (coté serveur et client)
+\end{itemize}
+\end{block}
+\vfill
+\pause
+\begin{block}{Limiter rsync}
+\begin{itemize}
+\item désactiver la compression (\verb+-z+): trÚs souvent inutiles (fichiers compréssés)
+\pause
+\item désactiver le recalcul checksum (\verb+-c+): force coté serveur la
+relecture des fichiers
+\end{itemize}
+\end{block}
+\end{frame}
+
+\subsubsection{Autres}
+
+\begin{frame}[fragile]
+\frametitle{Soyez inventif}
+\begin{block}{Des exemples}
+\begin{itemize}
+\item p2p (\verb+bittorent+): trÚs lourd sur les firewall et parfois interdit
+\pause
+\item smb/cifs (\verb+samba+): trÚs utile, mais reste en {\bf interne}
+\pause
+\item appletalk (\verb+netatalk+): de moins en moins utile, en {\bf interne} seulement
+\pause
+\item nfs: trÚs utile sur les UNIX, en {\bf interne} et seulement en {\bf lecture
+seule}
+\end{itemize}
+\end{block}
+\end{frame}
+
+\subsection{QOS}
+
+\begin{frame}
+\frametitle{QOS: pourquoi ?}
+\begin{block}{Selon Philippe}
+\emph{De la qualité qui se résume à réduire la bande passante}
+\end{block}
+\vfill
+\pause
+\begin{block}{Raisons:}
+\begin{itemize}
+\item éviter la surcharge de le connection du site
+\item favoriser les réseau amis (ou l'entreprise)
+\item favoriser certaines méthodes de téléchargement
+\item rendre équitable les téléchargements
+\end{itemize}
+\end{block}
+\end{frame}
+
+\begin{frame}[fragile]
+\frametitle{QOS, mise en pratique (linux)}
+\begin{block}{Méthodes:}
+\begin{itemize}
+\item \verb+tc+: filtres et qos
+\item \verb+netfilter+ pour les filtres, \verb+tc+ pour la qos
+\end{itemize}
+Les filtres tc sont subtilement puissants, on préfÚre utiliser \verb+netfilter+
+(\verb+iptables+).
+\end{block}
+\vfill
+\pause
+\begin{block}{Quelles QOS ?}
+\begin{itemize}
+\item contrÃŽle de la bande passante: \verb+htb+
+\item régulation:
+\begin{itemize}
+\item \verb+pfifo+ pour les trÚs gros débits
+\item \verb+cfq+ pour égaliser les flux (\verb+ftp+, \verb+http+)
+\end{itemize}
+\end{itemize}
+\end{block}
+\end{frame}
+
+\begin{frame}[fragile]
+\frametitle{QOS, exemples}
+\begin{exampleblock}{iptables}
+{\small
+\begin{verbatim}
+iptables -t mangle -A OUTPUT -p tcp -m tcp \
+  --sport 80 -j MARK --set-mark 122
+\end{verbatim}
+}
+\end{exampleblock}
+
+\begin{exampleblock}{tc}
+{\scriptsize
+\begin{verbatim}
+tc qdisc add dev eth0 root handle 1: htb r2q 1500
+tc class add dev eth0 parent 1:1 classid 1:122 htb \
+  rate 26mbit ceil 60mbit prio 1 burst 50mbit cburst 100kb
+
+tc qdisc add dev eth0 parent 1:122  handle 122: sfq perturb 5
+
+# égalise par sources/destination et non par connection:
+tc filter add dev eth0 protocol ip parent 122: handle 1221 \
+  flow hash keys src,dst divisor 1024
+\end{verbatim}
+}
+\end{exampleblock}
+\end{frame}
+
+\subsection{Visibilité}
+
+\begin{frame}
+\frametitle{Ce que les gens verront}
+\begin{block}{Page Web principale:}
+\begin{itemize}
+\item un contact (un mail)
+\item qui héberge le serveur (votre société)
+\item comment acceder aux mirroirs
+\item informations légales
+\item les recommandations d'usage
+\end{itemize}
+\end{block}
+\begin{block}{Sur chaque service}
+\begin{itemize}
+\item rsync: motd
+\item ftp: welcome
+\end{itemize}
+\end{block}
+\end{frame}
 
 \section{Les miroirs}
 
+\begin{frame}[fragile]
+\frametitle{Mise en place}
+\begin{block}{Les distributions}
+\begin{itemize}
+\item difficulté à trouver les informations
+\item politiques différentes (outils, options des outils)
+\item multitudes de contact (un par distribution)
+\item communication inapropriée et/ou surnuméraire
+\end{itemize}
+\end{block}
+\begin{block}{Les (quelques) progrÚs}
+\begin{itemize}
+\item \href{http://mirrorbrain.org/}{Mirror Brain}
+\end{itemize}
+\end{block}
+\end{frame}
+
+\begin{frame}[fragile]
+\frametitle{Mes conseils}
+\begin{block}{rsync !}
+\begin{itemize}
+\item support des liens hard
+\item retprise de téléchargement partiel
+\end{itemize}
+\end{block}
+\begin{block}{rsync: les bonnes options}
+\begin{itemize}
+\item \verb+-a+ récursisif, permission
+\item \verb+-H+ préserve les \emph{liens hard}
+\pause
+\item \verb+--temp-dir+ répertoire temporaire
+\pause
+\item \verb+--partial --partial-dir+ garder les fichiers temporaire mais
+ailleurs
+
+\end{itemize}
+\end{block}
+\end{frame}
+
+\section{Fin}
+
+\begin{frame}[fragile]
+\frametitle{Merci}
+\begin{exampleblock}{Url}
+\href{http://distrib-coffee.ipsl.jussieu.fr}{http://distrib-coffee.ipsl.jussieu.fr}
+\end{exampleblock}
+\end{frame}
+
 \end{document}