Merge branch 'release/v0.0.3'

.gitignore

@@ -21,3 +21,5 @@
 *.mtc1
 *.out
 *.synctex.gz
+*.xml
+*.bcf

02.Bibliography/Bilbiography.tex

@@ -1,10 +1,6 @@
-\section{Bibliographie}
+\chapter{State of the art}
 
-Découper ici la bibliographie en sous sections :
-\begin{itemize}
-    \item Algorithmes de rendus
-    \item Image quality metrics
-    \item Approches Deep learning pures
-    \item Application détection de bruits images de synthèse
-    \item SVD
-\end{itemize}
+\section{Algorithmes de rendus}
+\section{Image quality metrics}
+\section{Application détection de bruits images de synthèse}
+\section{SVD}

03.Research/02.OthersAttributes.tex

@@ -0,0 +1,82 @@
+\section{Autres attributs}
+
+Après les différents résultats d'autres approches ont été explorées dans le but d'améliorer la prédiction du modèle. La remarque quand aux problème rencontrés précédemment concernés le fait que le modèle ne pouvait pas comprendre correctement un interval de données, d'où la transition sur la sélection automatisées de composantes du vecteur SV. Ici, nous nous intéresserons à des approches orientées statistiques.
+
+
+\subsection{Description des extractions}
+
+L'idée principale de ces nouveaux calculs d'attributs viennent du fait que l'on va s'interesser à des valeurs statistiques issues des valeurs de pixels des blocs de la zone (redécoupage de l'image).  L'hypothèse était ici que le fait de travailler directement sur des parties plus petites de l'image permettrait d'extraire des propriétés plus intéressantes. La compression SVD est aussi étudiée dans le cadre de ces approches.
+
+\vspace{2mm}
+\noindent
+Voici la liste des extractions statistiques d'une zone proposées dans le cadre de la thèse :
+
+
+\begin{itemize}
+	\item \textbf{sub\_blocks\_stats :} la zone est découpée en 4 blocs de taille identiques ($100x100$). Pour chaque bloc on extrait des statistiques telles que la moyenne, la médiane, le premier quartil, le troisième quartil et la variance du vecteur SV extrait de ce bloc. L'aire sous la courbe (l'intégrale) SV est également calculée (suivant la méthode trapézoidale). L'ensemble des statistiques de chaque bloc sont concaténées et utilisées comme entrée au modèle. 
+	
+	\item \textbf{sub\_blocks\_area :} la zone est découpée en 16 blocs de taille identiques ($50x50$). Pour chaque bloc l'aire sous la courbe (l'intégrale) SV est calculée (suivant la méthode trapézoidale). L'ensemble des aires de chaque bloc sont concaténées et utilisées comme entrée au modèle. 
+	
+	\item \textbf{ sub\_blocks\_stats\_reduced :} la zone est découpée en 4 blocs de taille identiques ($100x100$). Pour chaque bloc on extrait des statistiques telles que la moyenne, la médiane, le premier quartil, le troisième quartil et la variance du vecteur SV extrait de ce bloc. L'ensemble des statistiques de chaque bloc sont concaténées et utilisées comme entrée au modèle. 
+	
+	\item \textbf{sub\_blocks\_area\_normed :} Les valeurs utilisées en entrée sont identiques à la l'extraction \enquote{sub\_blocks\_area :} mais sont ici normalisées.
+	
+	\item \textbf{mscn\_var\_4 :} la zone est découpée en 4 blocs. Pour chaque bloc on réalisé la transformation MSCN (voir annexe \ref{appendices_mscn_transformation}). Pour chaque nouvelle matrice on calcule la variance. Le vecteur d'information statistiques est ensuite utilisé comme entrée au modèle.
+	
+	\item \textbf{mscn\_var\_16 :} Même processus que pour l'extraction proposée dans \enquote{mscn\_var\_4} mais avec ici 16 blocs.
+	
+	\item \textbf{mscn\_var\_64 :} Même processus que pour l'extraction proposée dans \enquote{mscn\_var\_4} mais avec ici 64 blocs.
+	
+	
+	\item \textbf{mscn\_var\_16\_max :} Même processus que pour l'extraction proposée \enquote{mscn\_var\_16} mais les valeurs du vecteur d'entrée sont ordonnées de la valeur de variance la plus grande à la plus petite.
+	
+	\item \textbf{mscn\_var\_64\_max :} Même processus que pour l'extraction proposée \enquote{mscn\_var\_64} mais les valeurs du vecteur d'entrée sont ordonnées de la valeur de variance la plus grande à la plus petite.
+\end{itemize}
+
+
+\subsection{Paramètres et résultats}
+
+\subsubsection{Paramètres}
+Tout comme les calculs effectués sur les composantes du vecteur de valeurs singulières, les paramètres concernant les modèles et la normalisation des données sont identiques. Pour rappel, l'annexe \ref{appendix:models_architecture} présente ces différents modèles. Enfin, comme précédemment, la normalisation des données d'entrée est effectuée de la manière suivante :
+
+\begin{itemize}
+	\item \textbf{svd :} sans normalisation
+	\item \textbf{svdn :} le sous-vector est normalisé avec ces propres valeurs
+	\item \textbf{svdne :} le sous-vector est normalisé en utilisant les valeurs minimale et maximale
+	des sous-vectors ou composantes de l'ensemble du dataset.
+\end{itemize}
+
+\subsubsection{Résultats}
+
+Le tableau \ref{table:03_Research_02_best_models_statistics} indique les 5 meilleurs modèles obtenus dans le cadre de cette étude. Les simulations du meilleur modèle obtenu sont également disponibles.
+
+% TODO : ajout simulation
+%\ref{simu1} et \ref{simu2}.
+% ensemble_model_v2_N24_B0_E24_nb_zones_12_sub_blocks_stats_reduced_svd
+
+
+\begin{table}[h!]
+	\centering
+	\begin{tabular}{|>{\scriptsize}l|>{\scriptsize}c|>{\scriptsize}r|>{\scriptsize}r|>{\scriptsize}r|>{\scriptsize}r|>{\scriptsize}r|}
+		\hline
+		Model & feature & size & zones & ROC Train & ROC Val & ROC Test\\
+		\hline
+		M3 & sub\_block\_stats\_reduced (svd) & 24 & 12 & 1 & 0.8288 & 0.8565 \\
+		M2 & sub\_block\_stats\_reduced (svd) & 24 & 10 & 1 & 0.8714 & 0.8539 \\
+		M2 & sub\_block\_stats\_reduced (svd) & 24 & 12 & 1 & 0.8030 & 0.8342 \\
+		M2 & sub\_block\_stats\_reduced (svd) & 24 & 8 & 1 & 0.8119 & 0.8294 \\
+		M1 & sub\_block\_stats (svd) & 24 & 8 & 1 & 0.8595 & 0.8376 \\
+		\hline
+	\end{tabular}
+	\caption{5 meilleurs modèles avec approche statistiques sur le score ROC AUC}
+	\label{table:03_Research_02_best_models_statistics}
+\end{table}
+
+\subsection{Conclusion}
+
+% TODO : finir conclusion
+- Overfitting
+
+\vspace{2mm}
+\noindent
+\textbf{Ressources :} \href{https://github.com/prise-3d/Thesis-NoiseDetection-attributes}{Projet github} comprenant l'ensemble des développements réalisés dans cette section.

03.Research/03.SampleAnalysis.tex

@@ -1 +1,51 @@
-\subsection{Etude des échantillons de rendu}
+\section{Etude des échantillons de rendu}
+
+Dans le cadre d'une étude plus minutieuse, nous nous sommes intéressés à l'étude de l'évolution des valeurs de pixels et des approximations durant le rendu. A chaque échantillon, une approximation du pixel est réalisée, c'est enfin la moyenne empirique de ces esttimations qui permet de représenter la valeur finale d'un pixel. Une base de données d'images a été créée dans le but de pouvoir étudier sur 1000 échantillons chacun des valeurs.
+
+Cette base comprend pour chaque pixel les 1000 estimations (échantillons) réalisés lors du rendu sur son niveau de gris (canal de luminance).
+
+
+\subsection{Description de l'objectif}
+
+L'objectif au travers de cette base d'images disponibles et de pouvoir chercher un modèle pouvant prédire la moyenne empirique (de l'image de référence) en ayant pris connaissance des $n$ premiers échantillons. Cela revient à dire que le problème est d'estimer par rapport à la distribution actuelle (des $n$ premiers échantillons), la distribution finale des estimations des pixels afin d'en obtenir la moyenne empirique comme présente sur l'image de référence.
+
+Deux approches on été  faites, l'une directement sur les valeurs des pixels à chaque échantillon jusqu'à $n$ échantillons, l'autre sur l'évolution de la variance des pixels connus à $n$ échantillons.
+
+\subsection{Paramètres et résultats}
+
+Un ensemble de modèles statistiques ou non ont été essayés pour répondre à cet objectif :
+
+\begin{itemize}
+	\item M1 : Stochastic Gradient Descent
+	\item M2 : Support Vector Regression
+	\item M3 : Ridge regression
+	\item M4 : Deep Learning approach (NN)
+\end{itemize}
+
+C'est le coefficient de détermination qui est utilisé comme validation du modèle (score objectif). La comparaison des modèles se fait toutefois sur l'erreur quadratique moyenne entre l'image actuelle obtenue (image reconstruite via le modèle) et l'image de référence (voir tableau \ref{table:03_Research_03_best_regression_models}).
+
+% TODO : description des paramètres ($n$, variance/mean)
+
+\begin{table}[h!]
+	\centering
+	\begin{tabular}{|>{\scriptsize}l|>{\scriptsize}c|>{\scriptsize}r|>{\scriptsize}r|>{\scriptsize}r|>{\scriptsize}r|>{\scriptsize}r|>{\scriptsize}r|}
+		\hline
+		Model & samples & column & row & data size & coefficient & MSE 10 samples & MSE 1000 \\
+		\hline
+		M4 & 30 & 2 & 4 & 327680 & 0.9269 & 2.0186 & 6.8187 \\
+		M4 & 30 & 2 & 1 & 1310720 & 0.9637 & 2.8522 & 8.8948 \\
+		M2 & 25 & 2 & 1 & 1310720 & 0.8606 & 3.3147 & 9.7976 \\
+		M2 & 30 & 2 & 5 & 263680 & 0.9425 & 3.5712 & 8.8095 \\
+		\hline
+	\end{tabular}
+	\caption{4 meilleurs modèles avec approche statistiques sur le score ROC AUC}
+	\label{table:03_Research_03_best_regression_models}
+\end{table}
+
+
+\subsection{Conclusion}
+
+
+\vspace{2mm}
+\noindent
+\textbf{Ressources :} \href{https://github.com/prise-3d/Thesis-SampleAnalysis}{Projet github} comprenant l'ensemble des développements réalisés dans cette section.

05.Formations/Formation.tex

@@ -0,0 +1,5 @@
+\chapter{Formations}
+
+\section{les formations doctorales}
+
+\section{Orientation actuelle souhaitée}

Annexes/MSCN.tex

@@ -1,22 +1,22 @@
-\chapter{ Mean Subtracted Contrast Normalized (MSCN)}
-\label{appendices_mscn_transformation}
-
-In order to compute MSCN matrix, we first need to convert our rgb image in grayscale image. MSCN will extract (Natural Scene Structure) NSS information from this grayscale image. An operation is applied to luminance image $I(i, j)$ to produce :
-
+\chapter{ Mean Subtracted Contrast Normalized (MSCN)}
+\label{appendix:mscn_transformation}
+
+Pour construire la matrice MSCN, il faut premièrement convertir l'image RGB en une image de niveau de gris. La matrice MSCN va permettre d'extraire les informations naturelles de structures de la scène (Natural Scene Structure : NSS) de cette image en niveau de gris. Une opération est appliquée An operation is applied à la luminance de l'image $I(i, j)$ pour obtenir :
+
 \begin{equation}
-\hat{I}(i, j) = {I(i, j) - \mu(i, j)} \over {\sigma(i, j) + C}
 \label{mscn_equation}
+\hat{I}(i, j)= \frac{I(i, j) - \mu(i, j)}{\sigma(i, j) + C}
 \end{equation}
-
+
 \noindent
 où $i \in 1, 2...M, j \in 1, 2...N$ sont les indices spatiaux, $M$, $N$ sont la hauteur et la largeur de l'image respectivement, $C$ est une constante, de valeur $1$ pour prévenir des instabilité et où 
-
+
 \begin{equation}
 \mu(i, j) = \sum_{k=-K}^{K}{\sum_{l=-L}^{L} w_{k,l}I_{k,l}(i, j)}
 \label{mscn_mu_equation}
 \end{equation}
-
+
 \begin{equation}
 \sigma(i, j) = \sqrt{\sum_{k=-K}^{K}{\sum_{l=-L}^{L} w_{k,l}(I_{k,l}(i, j) - \mu(i, j))^2}}
 \label{mscn_sigma_equation}
-\end{equation}
+\end{equation}

Annexes/Models.tex

@@ -0,0 +1,40 @@
+\chapter{Modèles utilisés}
+
+\label{appendix:models_architecture}
+
+\section{M1 : SVM classique}
+
+Nous utilisons le fameux modèle SVM (Support Vector Machine) pour prédire le bruit et non les images bruyantes. SVM est principalement utilisé et fonctionne très bien pour les problèmes NR-IQA (No Reference Image Quality Assessment) avec ces paramètres :
+
+\begin{itemize}
+	\item Kernel : \textit{rbf}
+	\item $C \in \{0.001, 0.01, 0.1, 1, 10, 100, 1000\}$
+	\item $\gamma \in \{0.001, 0.01, 0.1, 1, 5, 10, 100\}$
+	\item $cv = 10$ (paramètre de validation croisée pour les données d'entraînement, ce qui augmente la précision et évite le surapprentissage)
+\end{itemize}
+
+Ensuite, tous ces paramètres sont testés à l'aide du principe de recherche par grille et le meilleur modèle est obtenu.
+
+\vspace{2mm}
+\section{M2 : Voting classifier avec 3 estimateurs}
+
+Nous proposons également un modèle Voting classifier (ensemble de modèles) qui est composé de 3 sous modèles :
+
+\begin{itemize}
+	\item \textbf{\textit{SVM}} avec un kernel RBF comme présenté précédemment.
+	\item \textbf{\textit{Random Forest}} avec 100 estimateurs
+	\item \textbf{\textit{Logistic Regression}} avec le noyau \textit{liblinear} et le paramètre \textit{ovr} pour la classification
+\end{itemize}
+
+\vspace{2mm}
+\section{M3 : Voting classifier avec 5 estimateurs}
+
+Ce nouveau modèle est aussi un Voting classifier et est composé de 5 sous modèles :
+
+\begin{itemize}
+	\item \textbf{\textit{SVM}} avec le RBF Kernel comme présenté précédemment
+	\item \textbf{\textit{Random Forest}} avec 100 estimaeurs
+	\item \textbf{\textit{Logistic Regression}} avec le noyau \textit{liblinear} et le paramètre \textit{ovr} pour la classification
+	\item \textbf{\textit{KNeighbors Classifier}} avec seulement deux voisins (bruité, non bruité)
+	\item \textbf{\textit{Gradient Boosting Classifier}} avec 100 estimateurs, une fonction de perte réglée sur \textit{déviance} et \textit{pas d'apprentissage} de 1.0
+\end{itemize}

Annexes/lab.tex

@@ -1,5 +1,5 @@
 \chapter{Transformation L*a*b}
-\label{appendices_lab_transformation}
+\label{appendix:lab_transformation}
 
 L*a*b est otbenu en utilisant la transformation XYZ de la matrice d'image (espace CIZ XYZ). Les équations (\ref{eq:Lab_L}), (\ref{eq:Lab_a}), (\ref{eq:Lab_b}) détaillent la manière dont chaque canal est calculé.
 

main.tex

@@ -2,17 +2,20 @@
 
 % main preambule
 \usepackage[utf8]{inputenc}
-\usepackage{natbib}
 \usepackage[T1]{fontenc}
 \usepackage[french]{babel}
 
 % other packages
-\usepackage{graphicx}
+\usepackage{graphicx}
 \usepackage{subcaption}
 \usepackage{csquotes}
 \usepackage[locale=FR]{siunitx}
 
 \usepackage[toc,page]{appendix} 
+\usepackage{hyperref}
+
+\usepackage{biblatex}
+\addbibresource{references.bib}
 
 \title{Rapport CST : \textit{Détection de
 bruit dans les images de synthèses
@@ -31,18 +34,17 @@ automatiques}}
 
 \listoftables
 
-% Section 1 : introduction\\
-\chapter{Introduction}
+
+% Section 1 : Introduction
 \include{01.Introduction/Introduction}
 
 % Section 2 : Bibliography
-\chapter{Bibliographie}
 \include{02.Bibliography/Bilbiography}
 
 % Section 3 : Research
-\chapter{Travaux réalisés}
 \include{03.Research/00.Research}
 \include{03.Research/01.SVD}
+\include{03.Research/02.OthersAttributes}
 \include{03.Research/03.SampleAnalysis}
 \include{03.Research/04.FutureWorks}
 
@@ -55,20 +57,23 @@ automatiques}}
     \item \textbf{DUT 1\iere{} année Informatique :} Bases de la POO (28 Eq TD)
 \end{itemize}
 
-% Section 5 : enseignements
-\chapter{Formation}
+% Section 5 : formations
+\include{05.Formations/Formation}
+
 
-% Tableau récapitulatif des formations
+\chapter{Conclusion}
 
-\section{Conclusion}
+\chapter{References}
+
+\printbibliography
 
 \begin{appendices}
 	
 	\include{Annexes/lab}
 	
 	\include{Annexes/MSCN}
+	
+	\include{Annexes/Models}
 \end{appendices} 
 
-\bibliographystyle{plain}
-\bibliography{references}
 \end{document}

references.bib

@@ -1,36 +1,36 @@
 % Encoding: UTF-8
 
-%%% Rendering equations
+
 @inproceedings{DBLP:conf/siggraph/Kajiya86,
-  author    = {James T. Kajiya},
-  title     = {The rendering equation},
-  booktitle = {Proceedings of the 13th Annual Conference on Computer Graphics and
-               Interactive Techniques, {SIGGRAPH} 1986, Dallas, Texas, USA, August
-               18-22, 1986},
-  pages     = {143--150},
-  year      = {1986},
-  crossref  = {DBLP:conf/siggraph/1986},
-  url       = {http://doi.acm.org/10.1145/15922.15902},
-  doi       = {10.1145/15922.15902},
-  timestamp = {Wed, 14 Feb 2018 13:29:27 +0100},
-  biburl    = {https://dblp.org/rec/bib/conf/siggraph/Kajiya86},
-  bibsource = {dblp computer science bibliography, https://dblp.org}
+	author    = {James T. Kajiya},
+	title     = {The rendering equation},
+	booktitle = {Proceedings of the 13th Annual Conference on Computer Graphics and
+	Interactive Techniques, {SIGGRAPH} 1986, Dallas, Texas, USA, August
+	18-22, 1986},
+	pages     = {143--150},
+	year      = {1986},
+	crossref  = {DBLP:conf/siggraph/1986},
+	url       = {http://doi.acm.org/10.1145/15922.15902},
+	doi       = {10.1145/15922.15902},
+	timestamp = {Wed, 14 Feb 2018 13:29:27 +0100},
+	biburl    = {https://dblp.org/rec/bib/conf/siggraph/Kajiya86},
+	bibsource = {dblp computer science bibliography, https://dblp.org}
 }
 
 @proceedings{DBLP:conf/siggraph/1986,
-  editor    = {David C. Evans and
-               Russell J. Athay},
-  title     = {Proceedings of the 13th Annual Conference on Computer Graphics and
-               Interactive Techniques, {SIGGRAPH} 1986, Dallas, Texas, USA, August
-               18-22, 1986},
-  publisher = {{ACM}},
-  year      = {1986},
-  url       = {http://doi.acm.org/10.1145/15922},
-  doi       = {10.1145/15922},
-  isbn      = {0-89791-196-2},
-  timestamp = {Wed, 14 Feb 2018 13:29:27 +0100},
-  biburl    = {https://dblp.org/rec/bib/conf/siggraph/1986},
-  bibsource = {dblp computer science bibliography, https://dblp.org}
+	editor    = {David C. Evans and
+	Russell J. Athay},
+	title     = {Proceedings of the 13th Annual Conference on Computer Graphics and
+	Interactive Techniques, {SIGGRAPH} 1986, Dallas, Texas, USA, August
+	18-22, 1986},
+	publisher = {{ACM}},
+	year      = {1986},
+	url       = {http://doi.acm.org/10.1145/15922},
+	doi       = {10.1145/15922},
+	isbn      = {0-89791-196-2},
+	timestamp = {Wed, 14 Feb 2018 13:29:27 +0100},
+	biburl    = {https://dblp.org/rec/bib/conf/siggraph/1986},
+	bibsource = {dblp computer science bibliography, https://dblp.org}
 }
 
 @article{DBLP:journals/tog/ShirleyWZ96,
@@ -1777,15 +1777,64 @@ Conclusion :
   bibsource = {dblp computer science bibliography, https://dblp.org}
 }
 
-@Article{DBLP:journals/tip/MittalMB12,
-	author    = {Anish Mittal and Anush Krishna Moorthy and Alan Conrad Bovik},
-	title     = {No-Reference Image Quality Assessment in the Spatial Domain},
-	journal   = {{IEEE} Trans. Image Processing},
-	year      = {2012},
-	volume    = {21},
-	number    = {12},
-	pages     = {4695--4708},
+@article{DBLP:journals/tip/MittalMB12,
+	author    = {Anish Mittal and Anush Krishna Moorthy and Alan Conrad Bovik},
+	title     = {No-Reference Image Quality Assessment in the Spatial Domain},
+	journal   = {{IEEE} Trans. Image Processing},
+	year      = {2012},
+	volume    = {21},
+	number    = {12},
+	pages     = {4695--4708},
 	abstract  = {Présentation de la métrique BRISQUE}
 }
 
+@article{DBLP:journals/ijon/ConstantinBCH15,
+	author    = {Joseph Constantin and
+	Andr{\'{e}} Bigand and
+	Ibtissam Constantin and
+	Denis Hamad},
+	title     = {Image noise detection in global illumination methods based on {FRVM}},
+	journal   = {Neurocomputing},
+	volume    = {164},
+	pages     = {82--95},
+	year      = {2015},
+	url       = {https://doi.org/10.1016/j.neucom.2014.10.090},
+	doi       = {10.1016/j.neucom.2014.10.090},
+	timestamp = {Sat, 20 May 2017 00:24:59 +0200},
+	biburl    = {https://dblp.org/rec/bib/journals/ijon/ConstantinBCH15},
+	bibsource = {dblp computer science bibliography, https://dblp.org}
+}
+
+@inproceedings{DBLP:conf/siggraph/Kajiya86,
+	author    = {James T. Kajiya},
+	title     = {The rendering equation},
+	booktitle = {Proceedings of the 13th Annual Conference on Computer Graphics and
+	Interactive Techniques, {SIGGRAPH} 1986, Dallas, Texas, USA, August
+	18-22, 1986},
+	pages     = {143--150},
+	year      = {1986},
+	crossref  = {DBLP:conf/siggraph/1986},
+	url       = {http://doi.acm.org/10.1145/15922.15902},
+	doi       = {10.1145/15922.15902},
+	timestamp = {Wed, 14 Feb 2018 13:29:27 +0100},
+	biburl    = {https://dblp.org/rec/bib/conf/siggraph/Kajiya86},
+	bibsource = {dblp computer science bibliography, https://dblp.org}
+}
+
+@proceedings{DBLP:conf/siggraph/1986,
+	editor    = {David C. Evans and
+	Russell J. Athay},
+	title     = {Proceedings of the 13th Annual Conference on Computer Graphics and
+	Interactive Techniques, {SIGGRAPH} 1986, Dallas, Texas, USA, August
+	18-22, 1986},
+	publisher = {{ACM}},
+	year      = {1986},
+	url       = {http://doi.acm.org/10.1145/15922},
+	doi       = {10.1145/15922},
+	isbn      = {0-89791-196-2},
+	timestamp = {Wed, 14 Feb 2018 13:29:27 +0100},
+	biburl    = {https://dblp.org/rec/bib/conf/siggraph/1986},
+	bibsource = {dblp computer science bibliography, https://dblp.org}
+}
+
 @Comment{jabref-meta: databaseType:bibtex;}