🧠Nuevo en el blog del CITP del estudiante de doctorado Boyi Wei (@wei_boyi) del laboratorio POLARIS: "La 'burbuja' del riesgo: mejora de las evaluaciones para los agentes de ciberseguridad ofensivos" Lea sobre cómo los adversarios pueden adaptar y modificar los modelos de código abierto para eludir las salvaguardas. 👇

En la escuela de posgrado, cuando me di cuenta de cómo funciona realmente el "mercado de ideas", sentí que había encontrado los códigos de trucos para una carrera de investigación. Hoy, esto es lo más importante que enseño a los estudiantes, más que cualquier cosa relacionada con la sustancia de nuestra investigación. Un prefacio rápido: cuando hablo de éxito de la investigación no me refiero a publicar muchos artículos. La mayoría de los artículos publicados acumulan polvo porque hay demasiada investigación en cualquier campo para que la gente preste atención. Y especialmente dada la facilidad de publicar preprints, la investigación no necesita ser publicada oficialmente para tener éxito. Entonces, si bien las publicaciones pueden ser un requisito previo para el avance profesional, no deberían ser el objetivo. Para mí, el éxito de la investigación es la autoría de ideas que influyen en tus compañeros y hacen del mundo un lugar mejor. Entonces, la idea básica es que hay demasiadas ideas que ingresan al mercado de ideas, y debemos comprender cuáles terminan siendo influyentes. La buena noticia es que la calidad importa: en igualdad de condiciones, una mejor investigación tendrá más éxito. La mala noticia es que la calidad solo se correlaciona débilmente con el éxito, y hay muchos otros factores que importan. Primero, date múltiples tiros a puerta. El papel de la suerte es un tema habitual de mis consejos profesionales. Es cierto que la suerte importa mucho para determinar qué trabajos tienen éxito, pero eso no significa resignarse a ella. Puedes aumentar tu "superficie de suerte". Por ejemplo, si siempre publicas preprints, tienes múltiples oportunidades de que tu trabajo se note: una vez con el preprint y otra con la publicación (además, si estás en un campo con grandes retrasos en la publicación, puedes asegurarte de que la investigación no sea exclusiva o irrelevante para cuando salga). De manera más general, trate los proyectos de investigación como nuevas empresas: acepte que existe una variación muy alta en los resultados, y que algunos proyectos son 10 o 100 veces más exitosos que otros. Esto significa probar muchas cosas diferentes, dar grandes golpes, estar dispuesto a perseguir lo que tus compañeros consideran malas ideas, pero con alguna idea de por qué podrías tener éxito donde otros antes que tú fracasaron. ¿Sabes algo que otros no saben, o saben algo que tú no sabes? Y si descubre que es lo último, debe estar dispuesto a abandonar el proyecto rápidamente, sin caer presa de la falacia del costo hundido. Para ser claros, el éxito no se debe solo a la suerte: la calidad y la profundidad importan mucho. Y se necesitan algunos años de investigación para profundizar en un tema. Pero pasar algunos años investigando un tema antes de publicar algo es extremadamente arriesgado, especialmente al principio de su carrera. La solución es simple: perseguir proyectos, no problemas. Los proyectos son agendas de investigación a largo plazo que duran de 3 a 5 años o más. Un proyecto productivo podría producir fácilmente una docena o más de artículos (dependiendo del campo). ¿Por qué elegir proyectos en lugar de problemas? Si su método es saltar de un problema a otro, es probable que los artículos resultantes sean algo superficiales y no tengan mucho impacto. Y en segundo lugar, si ya eres conocido por tus artículos sobre un tema en particular, es más probable que la gente preste atención a tus futuros artículos sobre ese tema. (Sí, la reputación del autor importa mucho. Cualquier noción igualitaria de cómo la gente elige qué leer es un mito). Para recapitular, generalmente trabajo en 2-3 proyectos a largo plazo a la vez, y dentro de cada proyecto hay muchos problemas que se investigan y muchos artículos que se producen en varias etapas de la tubería. La parte más difícil es saber cuándo terminar un proyecto. En el momento en que estás considerando un nuevo proyecto, estás comparando algo que tardará algunos años en llegar a buen término con un tema en el que ya eres muy productivo. Pero tienes que terminar algo para dejar espacio para algo nuevo. Dejar de fumar en el momento adecuado siempre se siente como renunciar demasiado pronto. Si sigues tu instinto, permanecerás en la misma área de investigación durante demasiado tiempo. Finalmente, cree su propia distribución. En el pasado, la publicación oficial de un artículo tenía dos propósitos: darle la credibilidad que proviene de la revisión por pares y distribuir el artículo a sus pares. Ahora esas dos funciones se han cortado por completo. La publicación aún brinda credibilidad, ¡pero la distribución depende casi por completo de usted! Es por eso que las redes sociales son tan importantes. Desafortunadamente, las redes sociales introducen incentivos poco saludables para exagerar sus hallazgos, por lo que encuentro que los blogs / boletines y los videos de formato largo son canales mucho mejores. Estamos en una segunda edad de oro de los blogs y hay una escasez extrema de personas que puedan explicar la investigación de vanguardia desde sus disciplinas de una manera accesible pero sin simplificarla como en comunicados de prensa o artículos de noticias. Nunca es demasiado pronto: comencé un blog durante mi doctorado y jugó un papel importante en la difusión de mi investigación doctoral, tanto dentro de mi comunidad de investigación como fuera de ella. Resumen * El éxito de la investigación no solo significa publicación * El mercado de ideas está saturado * Date múltiples tiros a puerta * Elige proyectos, no problemas * Tratar los proyectos como startups * Construye tu propia distribución

Los expertos en el trastorno dismórfico corporal han advertido que las personas que luchan contra él se han vuelto cada vez más dependientes de los chatbots de IA para evaluar sus defectos autopercibidos y recomendar cirugías estéticas. "Es casi algo que aparece en cada sesión", me dice un terapeuta.

Si comparáramos las capacidades de la IA con las de los humanos sin acceso a herramientas, como Internet, probablemente encontraríamos que la IA ya superó a los humanos en muchas o la mayoría de las tareas cognitivas que realizamos en el trabajo. Pero, por supuesto, esta no es una comparación útil y no nos dice mucho sobre los impactos económicos de la IA. No somos nada sin nuestras herramientas. Y, sin embargo, muchas predicciones sobre el impacto de "AGI" se basan en comparaciones hipotéticas entre humanos e IA en las que los humanos tienen acceso a Internet pero no acceso a IA. Este tipo de comparación es igualmente irrelevante. La verdadera pregunta es humanos + IA vs IA sola. En tal comparación, la IA no superará a los pares humano-IA, excepto en dominios estrechos y computacionalmente pesados como los juegos donde la velocidad es primordial y tener un humano en la imagen solo ralentiza las cosas. Entonces, si la IA reemplazará o no a los humanos se reduce a factores más allá de la precisión: cosas como la responsabilidad, la capacidad de manejar incógnitas desconocidas y las preferencias potenciales de los clientes y otros trabajadores para interactuar con un humano, todo ello comparado con el costo de emplear a un humano. Esto no quiere decir que la IA no desplazará los puestos de trabajo. Pero mirar los puntos de referencia de capacidad e ir directamente a las afirmaciones sobre la pérdida de empleos es completamente ingenuo. * Hay muchos estudios en los que los trabajadores anulan incorrectamente la IA con demasiada frecuencia, pero eso se debe a que no recibieron capacitación sobre cuándo anular y cuándo no, lo cual es una habilidad esencial en los flujos de trabajo habilitados por IA.

SB1047 fue una mala idea. Pero la última SB53 del senador Wiener está en el camino correcto y es importante destacar el progreso. Aquí está mi razonamiento. Mi enfoque para regular la tecnología novedosa como los modelos es: no sabemos cómo definir la "buena" mitigación y la garantía, pero lo sabremos cuando lo veamos. Hay dos implicaciones. #1. No debemos prescribir umbrales de riesgo o estándares de atención para el desarrollo de modelos. No podemos ponernos de acuerdo sobre los riesgos que importan, cómo medirlos o cuánto es demasiado. La única guía para desarrolladores, reguladores y tribunales es un conjunto de prácticas incipientes determinadas principalmente por empresas de código cerrado que dependen de muros de pago para hacer el trabajo pesado. Hacerlo podría enfriar la innovación abierta al exponer a los desarrolladores a una responsabilidad vaga o mayor por la publicación generalizada. Eso fue SB1047 en pocas palabras, junto con ~ 5 equivalentes que inspiró en los EE. UU. en esta sesión, como la Ley RAISE en Nueva York. Debemos evitar ese enfoque. Estas propuestas están, en aspectos estrechos pero cruciales, demasiado lejos de sus esquís. Y sin embargo: #2. Necesitamos arrojar luz sobre las prácticas de la industria para comprender mejor la diligencia, o la falta de ella, aplicada por diferentes empresas. Si los desarrolladores tienen que comprometerse con una política de seguridad y protección, mostrar su trabajo y dejar un rastro de papel, podemos evaluar mejor la solidez de sus afirmaciones, monitorear el riesgo emergente y decidir sobre la intervención futura. Esa es la Ley de IA de la UE y el Código de Prácticas final en pocas palabras, que tanto OpenAI como Mistral han respaldado, y también es la última versión de SB53 de @Scott_Wiener. Si vamos a regular el desarrollo de modelos, ese es fundamentalmente el mejor enfoque: regular la transparencia, no las capacidades, las mitigaciones o el riesgo aceptable. Le daría al menos una jurisdicción estadounidense a la autoridad de supervisión de Bruselas y evitaría efectos no deseados en el desarrollo abierto. Para ser claros, todavía hay icebergs por delante: > complejidad. Big Tech o no, estas son obligaciones onerosas de documentación e informes. Tácticamente hablando, cuanto más complejo, más vulnerable se volverá este proyecto de ley. > Incentivos. La notificación pública obligatoria de las evaluaciones voluntarias de riesgos crea un incentivo perverso para que los desarrolladores prueben sus modelos y hagan la vista gorda ante los riesgos difíciles. Permitir que los desarrolladores divulguen sus resultados a auditores o agencias en lugar de hacerlo públicamente puede ayudar a promover una mayor franqueza en sus evaluaciones internas. > caballo de Troya. La cultura hiperactiva de California puede dificultar la investigación de estos proyectos de ley. Si SB53 se transforma en un proyecto de ley estándar de atención como SB1047 o RAISE, debería ser rechazado por las mismas razones que antes. Cuantas más chucherías se agreguen a este árbol de Navidad, más polémico será el proyecto de ley. > Amplitud. El proyecto de ley arroja una amplia red con definiciones expansivas de riesgo catastrófico y capacidad peligrosa. Para un proyecto de ley de "informes obligatorios / prácticas voluntarias", funcionan. Si este proyecto de ley fuera un proyecto de ley estándar de atención, serían inviables. En resumen: me quito el sombrero ante el senador Wiener por participar y responder cuidadosamente a los comentarios durante el año pasado. Es refrescante ver un proyecto de ley que realmente se basa en críticas anteriores. Todavía hay muchos caminos que este proyecto de ley podría tomar, y ha evolucionado mucho más allá de la propuesta original de denuncia de irregularidades, pero la trayectoria es prometedora.

Para las personas que se preguntan qué está sucediendo aquí técnicamente, una explicación: Cuando hay muchos datos de entrenamiento con un estilo en particular, el uso de un estilo similar en el mensaje hará que el LLM responda en ese estilo. En este caso, hay un montón de fanfics: 🧵

La vida de un desarrollador de Apple siempre está a una decisión caprichosa y burocrática de dejarte arruinado. Intolerable.

Nosotros mismos somos usuarios entusiastas de la IA en nuestros flujos de trabajo científicos. En el día a día, todo se siente muy emocionante. Pero el impacto de la IA en la ciencia como institución, en lugar de en los científicos individuales, es una cuestión diferente que exige un tipo diferente de análisis. Escribir este ensayo requirió luchar contra nuestras propias intuiciones en muchos casos. Si usted es un científico que está igualmente entusiasmado con el uso de estas herramientas, le instamos a que tenga en cuenta esta diferencia. ¿Podría la IA ralentizar la ciencia? Enfrentando la paradoja producción-progreso La tragedia es que hay muchas herramientas de IA para la ciencia que marcarían una diferencia real, como la IA para señalar posibles errores en el código científico. Pero los laboratorios están obsesionados con otras cosas como la revisión de la literatura / "investigación profunda". Esto no es un cuello de botella real, por lo que no importa cuánto más rápido lo hagas. Mientras tanto, los riesgos de cortocircuitar el entendimiento humano son enormes. Las evaluaciones son parte del problema. Hay tres tipos de preguntas que uno puede hacer acerca de una herramienta de revisión literaria: ¿Ahorra tiempo al investigador y produce resultados de calidad comparable a las herramientas existentes? ¿Cómo impacta el uso de la herramienta en la comprensión de la literatura por parte del investigador en comparación con la búsqueda tradicional? ¿Cuáles serán los impactos colectivos en la comunidad si la herramienta se adoptara ampliamente? Por ejemplo, ¿todos terminarán citando los mismos artículos? En la actualidad, solo la primera pregunta se considera parte de lo que significa la evaluación. Los dos últimos están fuera del alcance, y ni siquiera existen métodos o métricas establecidos para dicha medición. Esto significa que se garantiza que la evaluación de la IA para la ciencia proporcionará una imagen muy incompleta y sesgada de la utilidad de estas herramientas y minimizará sus posibles daños. En última instancia, todo se reduce a los incentivos desordenados de los laboratorios de IA para ciencias, especialmente los de las grandes empresas de IA. Quieren titulares llamativos de "¡La IA descubre X!" para poder sostener la narrativa de que la IA resolverá los problemas de la humanidad, lo que les otorga un trato político favorable. No estamos conteniendo la respiración para que esto cambie. Pero la conciencia de que algo está seriamente mal en la trayectoria actual es un buen primer paso, y ese es el objetivo de este ensayo de @sayashk y mío.

Nueva publicación: Delirios de centros de datos Entre las potencias medias, los Emiratos Árabes Unidos tienen la estrategia de IA más clara: convertirse en un "estado petrolero de IA" con una participación significativa en la computación global. La mayoría de los demás países están construyendo centros de datos sin apuntar a umbrales de soberanía viables. 🧵

En el siglo XVIII, había una posibilidad real de muerte en cualquier momento de la vida, y no había un gran pico en la vejez. No se trataba solo de una mayor mortalidad infantil, sino de que toda la distribución era completamente diferente. Gran gráfico de @Scientific_Bird.