Abstract
For supervised classification problems, it is well known that learnability is equivalent to uniform convergence of the empirical risks and thus to learnability by empirical minimization. Inspired by recent regret bounds for online convex optimization, we study stochastic convex optimization, and uncover a surprisingly different situation in the more general setting: although the stochastic convex optimization problem is learnable (e.g. using online-to-batch conversions), no uniform convergence holds in the general case, and empirical minimization might fail. Rather then being a difference between online methods and a global minimization approach, we show that the key ingredient is strong convexity and regularization. Our results demonstrate that the celebrated theorem of Alon et al on the equivalence of learnability and uniform convergence does not extend to Vapnik's General Setting of Learning, that in the General Setting considering only empirical minimization is not enough, and that despite Vanpnik's result on the equivalence of strict consistency and uniform convergence, uniform convergence is only a sufficient, but not necessary, condition for meaningful non-trivial learnability.
| Original language | English |
|---|---|
| State | Published - 2009 |
| Externally published | Yes |
| Event | 22nd Conference on Learning Theory, COLT 2009 - Montreal, QC, Canada Duration: 18 Jun 2009 → 21 Jun 2009 |
Conference
| Conference | 22nd Conference on Learning Theory, COLT 2009 |
|---|---|
| Country/Territory | Canada |
| City | Montreal, QC |
| Period | 18/06/09 → 21/06/09 |
Bibliographical note
Funding Information:Para Nancy lo que se anuncia el 68 es el fin no solamente de la “época de las concepciones del mundo” sino también del trazado de horizontes, la determinación de objetivos y la previsión operativa, el abandono, en definitiva de la era de la historia, o “ya no una historia en la cual fuésemos los sujetos, sino una historia que nos sorprendiera y nos arrebatara” (Ibíd.: 65), que es para Nancy inseparable del evento, “el evento sorprende o no es un evento” (Nancy 2000a: 97). En el 68, de diversas maneras, se abandonaba el régimen de la “concepción” para abrir otro régimen de pensamiento: ya no más formas encargadas de modelar un dato histórico preformado como “progreso” y de inspeccionar las cosas en nombre de la razón. Lo que cuenta es esta verdad: que la autoridad no puede ser definida por ninguna autorización previa y solo puede proceder de un deseo que se expresa o reconoce en ella. La democracia no debe disponer de autoridad alguna identificada a partir de un lugar diferente a un deseo en el cual se exprese y reconozca una verdadera posibilidad de ser todos juntos en común. La comunidad no es un ser en común sino un ser en común, estar uno con otro. Lo que significa que puedo decir “yo” solo si puedo decir “nosotros”, la alteridad consiste en la no presencia a sí: “Somos otros –cada uno para el otro y cada uno para sí– por el nacimiento y la muerte que exponen nuestra finitud o que hoy exponen a la finitud” (Nancy 2000: 176).