Soutenance de thèse de Riikka HUUSARI

L'époque actuelle de collecte massive de données mène de plus en plus à des jeux de données ayant des structures non-standard. Cela inclut le cadre multi-tâches déjà bien connu, où chaque échantillon de données est associé à plusieurs étiquettes de sortie, ainsi que le paradigme d'apprentissage multi-vues, dans lequel chaque échantillon de données peut avoir de nombreuses descriptions éventuellement hétérogènes. Pour obtenir de bonnes performances dans de telles tâches, il est important de bien modéliser les interactions présentes dans les vues ou les variables de sortie. Les méthodes à noyaux offrent un moyen justifié et élégant de résoudre de nombreux problèmes d’apprentissage automatique. Les noyaux à valeurs opérateurs, qui généralisent les noyaux à valeur scalaire bien connus, ont récemment fait l’objet d’une attention particulière en tant que moyen d’apprentissage pour des fonctions à valeur vectorielle. Dans ces deux contextes, le choix d’une bonne fonction noyau, adaptée aux données, joue un rôle crucial dans la réussite de la tâche d’apprentissage. On peut naturellement se poser la question : est-il possible d’automatiser le choix du noyau? L'apprentissage des noyaux tente de répondre à cette question en la considérant comme un problème d’apprentissage automatique. Cette thèse propose l’apprentissage par noyau comme une solution à divers problèmes d’apprentissage automatique. Les problèmes vont de supervisés à non supervisés, mais les données sont toujours décrites sous plusieurs vues, ou associées à plusieurs variables de sortie. Dans ces deux cas, il est important de modéliser les interactions présentes afin d'obtenir de bons résultats d'apprentissage. Les chapitres deux et trois étudient l’apprentissage des interactions entre données à vues multiples. Dans le deuxième chapitre, l'accent est mis sur l'apprentissage inductif supervisé et les interactions sont modélisées avec des noyaux à valeurs opérateurs. Ces noyaux sont apprenables et s’adaptent aux données disponibles au stade de l’apprentissage. Nous donnons une borne de généralisation à l'algorithme développé pour apprendre conjointement ce noyau et la fonction prédictive, et illustrons ses performances expérimentalement. Le chapitre trois traite les données multi-vues et l’apprentissage à base de noyaux dans un contexte non supervisé et propose une méthode d’apprentissage du noyau à valeurs scalaires pour compléter les données manquantes dans les matrices à noyaux issues d’un problème à vues multiples. Dans le dernier chapitre, nous passons d'un apprentissage multi-vues à un apprentissage à sorties multiples, pour revenir au paradigme de l'apprentissage inductif supervisé. Nous proposons une méthode d’apprentissage de noyaux inséparables à valeurs opérateurs qui modélisent les interactions entre les entrées et de multiples variables de sortie. Nous fournissons également un aperçu de l'état actuel de l'apprentissage par noyau à valeurs opérateur et présentons un cadre général pour les étudier.

The current era of enthusiastic data gathering has made datasets with non-standard structures more common. This includes the already well-known multi-task framework where each data sample is associated with multiple output lables, as well as the multi-view learning paradigm, in which each data sample can be seen to contain numerous possibly heterogenous descriptions. % To obtain a good performance in tasks like these, it is important to model the interactions present in the views or output variables well. Kernel methods offer a justified and elegant way to solve many machine learning problems. Operator-valued kernels, which generalize the well-known scalar-valued kernels, have been under attention recently as a way to learn vector-valued functions. In both of these settings the choice of a good kernel function suitable for the data plays crucial role for the success on the learning task, and a natural question to ask is: is it possible to automate the choice of the kernel? Kernel learning tries to answer this question by treating it as a machine learning problem. This thesis offers kernel learning as a solution for various machine learning problems. The problems range from supervised to unsupervised, yet the data is always described under multiple views or has multiple output variables. In both of these cases it is important to model the interactions present in order to obtain good learning results. Chapters two and three investigate learning the interactions with multi-view data. In the first of these, the focus is in supervised inductive learning and the interactions are modeled with operator-valued kernels. These kernels are learnable, adapting to the data at hand in the learning stage. We give a generalization bound for the algorithm developed to jointly learn this kernel and predictive function, and illustrate its performance experimentally. Chapter three tackles multi-view data and kernel learning in unsupervised context and proposes a scalar-valued kernel learning method for completing missing data in kernel matrices of a multi-view problem. In the last chapter we turn from multi-view to multi-output learning, and return to the supervised inductive learning paradigm. We propose a method for learning inseparable operator-valued kernels that model interactions between inputs and multiple output variables. We also provide insight to current state of operator-valued kernel learning and introduce a general framework to study them.