Supervised by Rosalind W. Picard An Image Database Browser that Learns From User Interactio
- 格式:pdf
- 大小:879.11 KB
- 文档页数:56
: : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : :
13
3 Learning image annotations
3.1 Machine learning formalism 3.2 Three classical algorithms : 3.2.1 Set covering : : : : : 3.2.2 Decision list : : : : : 3.2.3 Decision tree : : : : 3.3 Experiments : : : : : : : : : 3.3.1 Brodatz collection : 3.3.2 VisTex collection : : 3.3.3 BT collection : : : : 3.4 Conclusions : : : : : : : : : 4.1 4.2 4.3 4.4
: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
MIT Media Laboratory Technical Report 365 Also appears as MIT thesis for the degree of Master of Engineering in Electrical Engineering and Computer Science Supervised by Rosalind W. Picard
An Image Database Browser that Learns From User Interaction
Thomas Minka Vision and Modeling Group MIT Media Laboratory 20 Ames Street; Cambridge, MA 02139 tpminka@
: : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
: : : : : : : : : :
: : : : : : : : : :
: : : : : : : : : :
: : : : : : : : : :
: : : : : : : : : :
: : : : : : : : : :
: : : : : : : : : :
: : : : : : : : : :
This work was supported in part by BT, HP, and IBM.
Contents
1 Introduction
1.1 Introduction : : : : : : : : : : : : : : : : : : : : : : 1.1.1 Visual indexing is hard : : : : : : : : : : : 1.1.2 Browsing via similarity measures : : : : : : 1.1.3 Browsing via relevance feedback : : : : : : 1.2 The FourEyes extension to Photobook : : : : : : : 1.3 Applications : : : : : : : : : : : : : : : : : : : : : : 1.3.1 Example-based User Interfaces : : : : : : : 1.3.2 Attribute Selection for Pattern Recognition 1.3.3 User-Adaptive Image Segmentation : : : : : 1.3.4 Bias Selection for Machine Learning : : : : 1.3.5 Malleable Solutions for Ill-Posed Problems : 2.1 A dual view of retrieval : : : : : : : : : : : : : 2.1.1 Document retrieval : : : : : : : : : : : : 2.1.2 Image retrieval : : : : : : : : : : : : : : 2.1.3 Vector quantization in FourEyes : : : : 2.1.4 Combining multiple similarity measures 2.1.5 The query formulation problem : : : : : 2.2 The dual view applied to annotation : : : : : : 2.3 Constructing groupings from images : : : :: : : : : : : : : : :
: : : : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
Abstract
Digital libraries of images and video are rapidly growing in size and availability. To avoid the expense and limitations of text, there is considerable interest in navigation by perceptual and other automatically extractable attributes. Unfortunately, the relevance of an attribute for a query is not always obvious. Queries which go beyond explicit color, shape, and positional cues must incorporate multiple features in complex ways. This dissertation uses machine learning to automatically select and combine features to satisfy a query, based on positive and negative examples from the user. The learning algorithm does not just learn during the course of one session: it learns continuously, across sessions. The learner improves its learning ability by dynamically modifying its inductive bias, based on experience over multiple sessions. Experiments demonstrate the ability to assist image classi cation, segmentation, and annotation (labeling of image regions). The common theme of this work, applied to computer vision, database retrieval, and machine learning, is building in enough exibility to allow adaptation to changing goals.