PaLM, l'IA de Google entiende la arrogancia

PaLM, l’IA de Google entiende la arrogancia


El modelo de aprendizaje profundo de Google calcula 540 mil millones de parámetros. El lenguaje de generación automática de texto es la generación de código de aplicación de forma nativa, las aplicaciones PaLM son anónimas.

Palm, c’est quoi?

Pathways Language Model (PaLM), desarrollado por Google, es una de las neuronas artificiales que guía automáticamente el lenguaje artificial. Un Transformador tipo IA con 540 mil millones de parámetros.

PaLM se ajusta a las trazas GPT-3 del modo de lenguaje OpenAI. 175 mil millones de parámetros, un modelo de aprendizaje profundo, un complemento del género Transformer y más de mil millones de centavos en entrada. Ingrese GPT-3, PALM traduce los nombres de uso y los códigos de información de generación automática de texto a medida que pasan por la generación.

PaLM, una estrella del GPT-3, está condenado con una técnica de aprendizaje de tiro bajo. ¿Comentario? El tipo de aplicación que debería descartar fotos con un identificador (por ejemplo, una vista) para el identificador de baño durante el descubrimiento de imágenes. En lugar de incluir en clase como parte de un conjunto de ejemplos, el aprendizaje de tiro bajo utiliza patrones de referencia básicos para calcular la puntuación de similitud.

Los pros de megacuración de las neuronas están inspirados en GPT-3 y un método de aprendizaje de pocos pasos en améliorer vue d’améliorer en el bis de las actuaciones logradas. GLaM, LaMDA y Gopher cas, tous trois également créés es un sistema desarrollado por Google, o de Megatron-Turing NLG qui, lui, Microsoft y Nvidia.

¿Cómo es el rendimiento de PaLM?

En Google, el BIG-bench (pour Beyond Imitation Game Benchmark) es el viejo PaLM en la última moulinette de referencia. Un marco de código abierto puede superar 150 veces el idioma. “Resultado: PaLM superó a Gopher y Chinchilla en una comunidad de 58 municipios”, constantemente Sharan Narang y Aakanksha Chowdhery verificaron Google Research (ver gráficos ci-dessous).

Las acciones parmi les son vanguardistas de Google, PaLM notamment son épingle du jeu en matière of code application, y a partir de quêtes génération de code à partir de fórmulas requeridas el lenguaje más natural. “Dance ce domaine es comparable en rendimiento sonoro y aprendizaje y células Codex en unos pocos pasos (Una gota en el centro de GPT-3, pluma, en el centro de los tipos de mama ndlr) Además, el conjunto de datos de estudiantes que constituye 50 meses de contenido en Python”, animaron Sharan Narang y Aakanksha Chowdhery. d’apprentissage en provenance d’autres langages […] est meilleur.”

Creadores lógicos del complemento de Google: “PaLM démontre par ailleurs des capacités impressions de comprehension and natural language generation. monde et du langage. Por ejemplo, los más talentosos d’expliquer des blagues inédites”. (ver gif ci-dessous)

PaLM está integrado en la infraestructura de la Unidad de procesamiento de tensores (TPU) de Google. 6 144 partes, manual, nube en la formación de particiones de TPU en Estados Unidos, clase de procesamiento de datos en paralelo en una partición o en otro lugar.

Apprentissage es la realidad de una serie de conjuntos de datos multilingües, una combinación de documentos y libreas disponibles en una red, conversaciones, contenido de Wikipedia y código fuente disponible en GitHub.

Leave a Comment

Your email address will not be published. Required fields are marked *