Leo en lostinjapan.info una entrada muy interesante sobre el cangrejo de Heike con vídeo de Carl Sagan incluído. Este dichoso cangrejo es una de las cosas que más me llamó la atención cuando leí Cosmos.
El «cangrejo Heike» o «cangrejo samurai» es famoso por parecerse a los guerreros samuráis de principios del milenio pasado. Según cuenta Carl Sagan, los Heike perdieron contra los Genji en una batalla decisiva en 1185 en las costas de Japón. La gran mayoría de los cadáveres de los Heike quedaron flotando en aguas cercanas a tierra y apareciendo en playas de la zona.
Los pescadores de la zona tomaron como constumbre devolver al mar aquellos cangrejos que tuvieran cierta similaridad a una cara humana ya que temían que los espíritus de los Heike habitaran dentro de ellos. De esta forma se puso en marcha un proceso de selección artificial llevado a cabo de forma involuntaria. Haciendo esto durante centurias consiguió no solo que los cangrejos supervivientes fueran los más similares a una cara humana ¡sino que incluso comenzaron a haber ejemplares con similitud a un guerrero samurai Heike! Y por supuesto estos son los más fuertes, los que sobreviven porque nadie se los quiere comer.
Cara de un guerrero Heike.
La explicación no científica, la leyenda de la zona, cuenta estos cangrejos son guerreros Heike transformados. Incluso hay fábulas y cuentos en los que ataques de ejércitos de cangrejos vuelve a combatir contra los Heike. Por ejemplo, a continuación un grabado con barcos fantasmas de los Heike y cangrejos que atacan de nuevo a los Genji.
Y para terminar no os perdáis este fabuloso vídeo (cortesía de lostinjapan) subtitulado en español donde Carl Sagan nos lo explica mucho mejor que yo.
Akira Haraguchi es un ingeniero retirado japonés que tiene 61 años y lleva desde el 2001 hasta la actualidad memorizando el número Pi. En vez de ver la tele después de cenar, se dedica a memorizar Pi.
Para conseguirlo Haraguchi ha creado un sistema para asociar números a caracteres hiragana japoneses, por ejemplo, para el número 0 asocia を、ら、る、れ、ろ; para el 1 asocia あ、い、う、え、ひ、び、ぴ etc. A continuación busca patrones dentro del número Pi con los que pueda formar frases usando su sistema de codificación que acabamos de explicar.
Por ejemplo, para los primero 15 dígitos utiliza la frase «saishi ikokuni mukosan kowakunaku» – 妻子異国むこさん怖くなく. Que significa «Los niños y la mujer están en el extranjero, el marido no está asustado». Akira Haraguchi memoriza esta frase y luego la «traduce» a números (usando su convención de Hiraganas<->Números) con gran rapidez cuando le toca recitar Pi de memoria.
Seguramente Akira Haraguchi tenga una libreta enorme bien guardada con todo el texto en japonés que ha escrito para las 100.000 primera cifras de Pi. Su trabajo cada día es repasar ese texto, generar nuevo texto para las siguientes cifras que aun no ha codificado y practicar un poco la decodificación. Es curioso que si Akira Haraguchi continuara su tarea hasta el fin de los tiempos sin repetir asociaciones seguramente terminaría escribiendo El Quijote en japonés, o descubriendo la Teoría de la Relatividad sin darse cuenta.
Si queréis superar a Akira Haraguchi podéis empezar probando a memorizar los primeros 1000 dígitos usando el póster de pi. Usando nuestro idioma la asociación de letras a números es incluso más fácil, por cada número tocarían 2 o 3 letras. El problema vendría a la hora de buscar palabras o frases que se adecuaran al número Pi, en el caso del japonés es bastante «fácil» porque resulta que el número de palabras homófonas en la lengua japonesa es enorme. El chino también un idioma con muchas palabras homófonas, quizás esta sea una de las razones por las que Lu Chao se sabe casi 70.000 dígitos de Pi.
Así que bueno, si realmente os lo queréis tomar en serio aprended chino o japonés, desarrollad vuestro sistema de codificación, poneos a escribir vuestra traducción de Pi al japonés o al chino durante unos años…. y aseguraos de grabar vuestra proeza al completo ante las cámaras para que os den el Récord Guiness.
Para escribir esta entrada he usado muchas cosas-he copiado-he traducido-he sido inspirado por Japantimes y Microsiervos.
El problema fundamental del japonés que debéis de mantener en mente durante la lectura de este artículo es que para una sílaba, por ejemplo KI, existen muchas maneras de representarla, por ejemplo:樹、来、木、機、匱… Un humano es capaz de saber por el conexto y por lo que quiere escribir cual de los Kanjis quiere utilizar para el sonido KI, pero en cambio para un dispositivo automático no es una tarea tan sencilla. Lo mismo pasa con el Chino.
Con algo más de 15 teclas es posible escribir japonés, un idioma con más de 2000 caracteres de uso cotidiano. Con un ordenador el problema es algo más sencillo, pero aun así nos tenemos que apañar con un sistema de entrada de unas cuantas decenas de teclas para conseguir una salida de varios miles de letras. Pues resulta que después de muchos años comiéndose el coco, los japoneses tienen teléfonos móviles con los que puedo escribir en Japonés mucho más rápido que en mi propio idioma, el español.
Con esta entrada espero responder a las típicas preguntas ¿Cómo son los teclados japoneses? ¿Cómo es posible escribir japonés en un ordenador? ¿Cómo escriben los chinos que aun tienen más símbolos que en Japón?
Voy a hablar en general de cómo se solucionó el problema de los «sistemas de entrada/input» de idiomas CJK (Chinese-Japanese-Korean). Que no hay que confundir con otro problema muy distinto que es el de la representación en memoria y en pantalla de «salida/output de caracteres» de idiomas CJK; un problema que en principio tecnológicamente es mucho más sencillo de solucionar pero para el que hace falta que TODO EL MUNDO se ponga de acuerdo. Algo que se está intentando conseguir gracias a Unicode.
La imprenta fue el primer método de entrada/salida medianamente automatizado de la historia. Crear un sistema de entrada para una imprenta japonesa es un problema que se soluciona «simplemente» añadiendo más tipos a la colección. Seguramente en esa época chinos y japoneses acabarían locos buscando el caracteres para escribir unas pocas páginas.
Tipos para imprenta.
Miles de caractere y japoneses buscando los que necesitan. ¡Tarea de chinos! Estas dos fotos las saqué el otro día en una tienda que está en la planta B1 de Parco en Shibuya en una esquina recóndita, por si alguien está interesado en aficionarse 😉
En los años 20, un inventor Japonés creó la primera máquina de escribir japonesa medianamente automática. Para conseguirlo utilizó un mecanismo totalmente diferente al de las máquinas tradicionales occientales para que pudiera manejar muchas más teclas. Estudió la frecuencia de uso de cada caracter a partir de escritos en periódicos nacionales y ordenó los 2400 caracteres más usados para crear el primer teclado japonés de la historia. Para utilizar su invento hacía falta un entrenamiento especial y aun así escribir con ella era lento y pesado.
Máquina de escribir japonesa con más de 2000 teclas que produjo Canon (Se conserva una en el museo de la ciencia de Ueno)
Canon y Toshiba entre otras produjo estos trastos, que se usaron en empresas, en La Segunda Guerra Mundial, en instituciones del gobierno y poco más. Las máquinas de escribir mecánicas nunca llegaron al hogar común en Japón y la gente de a pie escribió «a mano» hasta los años 80.
Esto es una gran p***** porque Japón entró en la era de la computación sin poder introducir texto en su propio idioma. Durante los años 50 se apañaron con teclados occidentales para programar en Fortran, ejecutar comandos y poco más. Pero, en los 60 comenzaron a verlo negro. Varias universidades se unieron a NTT y se pusieron manos a la obra. El problema a solucionar era el de convertir una entrada de Hiragana/Katakana(Que solo son cincuenta y pico caracteres) a una salida de Kanjis(varios miles). Lo intentaron durante varios años intentando convertir frases enteras escritas mediante un teclado Katakana a Kanjis, pero solo consiguieron sistemas con tasas de error en la conversión mayores al 90%. Lo que si desarrollaron fueron menús que mostraban todos los kanjis posibles para un Kana(Hiragana, Katakana), de esta forma era posible escribir con kanjis pero muy muy lentamente. Por ejemplo, si escribimos «KIき» (1 pulsación con un teclado Kana(Hiragana, Katakana) de 50 teclas o 2 pulsaciones con un teclado occidental) aparece un menú con todos los Kanjis cuya pronunciación es KI, el resultado es que el menú se reduce de los más de 2000 Kanjis que tendría un menú convencional a una media de (2229Kanjis/50Kanas)=45 Kanjis por menú. Si seguimos con mi cálculo bestia, si ordenamos los menús de Kanjis para que salgan ordenados según frecuencia seguramente encontremos el Kanji deseado en la posición 8 del menú como término medio. Lo cual quiere decir que para escribir un Kanji necesitamos pulsar 8(acceso al menú)+1(teclaき)=9 teclas en total si usamos un teclado Kana y 8(acceso al menú)+2(teclas «K» e «I»)=10 teclas en total si usamos un teclado occidental; que no está nada mal pero es mejorable. (Datos obtenidos usando un teléfono móvil japonés de los años 90 que usaba este sistema ancestral para la conversión Kana-Kanji).
Si a estas alturas del artículo estás totalmente perdido es porque o bien no has el Sistema de escritura Japonés, o no te interesa nada lo que estoy escribiendo, o soy yo que lo estoy liando demasiado 🙂
Hubo también cierta gente que pensó métodos para solucionar el problema rápidamente. Unos intentaron poner de moda máquinas de escribir que solo permitían introducir Kana (Hiragana y Katakana). Otros propusieron utilizar Romanji para todo e incluso los más radicales proponían eliminar el japonés e implantar el inglés. Todas estas propuestas evidentemente fracasaron, ya que el japonés sin Kanjis es prácticamente incomprensible.
La primera solución buena al problema vino de la mano de Toshiba en 1978, cuando lanzaron al mercado «el primer procesador de textos japonés de la historia». El sistema de Toshiba era capaz de inducir con cierta precisión la conversión Kana-Kanji no solo para una sílaba sino para conexiones de varias sílabas y palabras. Lo que hacía el procesador de textos es inducir usando el contexto, la palabra que quieres utilizar y buscar los kanjis apropiados para esa palabra en un diccionario. El número de pulsaciones media para conseguir el Kanji deseado se situó entre 4 o 5 pulsaciones, si tenemos en cuenta que un Kanji se corresponde con una sílaba nuestra de 2/3 pulsaciones no está nada mal. Toshiba había conseguido que con un teclado de 50 caracteres(O menos) se pudieran escribir varios miles de forma sencilla.
Primer aparato de la historia con el que se podía escribir japonés de forma automática y en tiempo «finito».
Veamos un ejemplo del funcionamiento del procesador de Toshiba, que es muy parecido a los sistema actuales (IME en Windows, Canna en Unix y Kotoeri en MacOSX). Supongamos que queremos escribir «KIWOTSUKETE» (¡cuídate! en japonés), con nuestro alfabeto como podéis ver lo podemos escribir con 11 pulsaciones. En Japonés en cambio sería «気を付けて», para conseguirlo he pulsado 11 teclas que corresponden con las mismas que he pulsado cuando he escrito KIWOTSUKETE, al pulsar las 11 teclas me aparece «きをつけって» en pantalla que sería el Hiragana correspondiente, algo sencillo para el ordenador porque simplemente hay que «mapear» cada Kana con su pronunciación correspondiente. La magia viene cuando pulso ESPACIO y «きをつけて» cambia por «気を付けて», ¡han aparecido dos Kanjis! que el ordenador ha tenido que escoger entre varios miles. KI ha sido cambiado por 気, WO->を, TSU->付, KE->け, TE->て. Al final de la operación pustamos ENTER para aceptar la conversión.
Escribiendo «気を付けて» con 12 pulsaciones «K» «I» «W» «O» «T» «S» «U» «K» «E» «T» «E») + ESPACIO(para convertir de Kana a Kanji) + ENTER (Para confirmar que la conversión es la que tu quieres). En total he pulsado 13 teclas para generar la frase deseada usando los símbolos deseados.
Nota: en los videos me equivoco y escribo 気を付けって en vez de 気を付けて.
¿cómo ha decidido que esta era la transformación correcta? Por ejemplo KI puede convertirse en más de 50 kanjis diferentes, y KE también, podría haber sido 帰を付けて, 期を付けって, 樹を樹けて… y así podría pasarme horas escribiendo los varios miles de combinaciones de caracteres Japoneses con los que se pueden escribir la pronunciación «KIWOTSUKETE».
En este vídeo muestro muchas de las varias formas que hay de escribir KIWOTSUKETE con Kanjis que va visualizando el sistema Kotoeri en el sistema operativo MacOSX. Para ello voy pulsando la tecla ESPACIO repetidas veces.
¿Cómo hace magia el procesador de textos de Toshiba y los sistemas actuales para acertar con la transformación correcta a la primera? Lo primero que se nos vendría a la cabeza para hacer un sistema parecido consistiría en introducir un diccionario de japonés entero en el ordenador, y una gramática del idioma japonés. De esta forma podríamos ir cortando trozos de KIWOTSUKETE, ir procesando con la gramática para decidir las palabras(nombres-verbos-partículas…) que hay, y a continuación ir buscando en el diccionario las palabras con más probabilidad de ser utilizadas. Problemas: un diccionario de japonés tienes cientos de miles de palabras, una búsqueda con los ordenadores de la época era muy costoso; la ambigüedad que surgue usando una gramática es demasiado alta y se equivocaría mucho.
La verdad es que aunque se lo curraron mucho no hubo ningún iluminado en Toshiba, el desarrollo de la ciencia de la computación en los 60-70 fue la clave. En concreto se avanzó mucho en métodos bayesianos con los que se podía hacer «aprender» a una computadora. El objetivo pues, era enseñar japonés a los ordenadores. En concreto una «cosa» llamada Hidden Markov Models fue la clave para una revolución en el sector del procesamiento del lenguaje. Con Hidden Markov Models, un ordenador puede aprender a reconocer patrones después de haber sido entrenado usando diccionarios, gramáticas, frases y otras cosillas según el uso que se le quiera dar. Para enseñar a un ordenador Japonés usando Hidden Markov Models eran necesarias varias semanas de procesamiento usando un algoritmo llamado Buam -Welch, pero una vez aprendido el sistema era capaz de decodificar-detectar-inducir patrones prácticamente en tiempo real usando el algoritmo de Viterbi.
La clave para que esta paranoia funcionara está en que Viterbi es muy muy rápido y necesita poca potencia computacional, es un algoritmo típico dentro de la Programación dinámica. Además de ser muy rápido, si los Hidden Markov Models se entrenan bien con buenos diccionarios etc, Viterbi acierta en la conversión en un 98-99% de las ocasiones para palabras, un 95% de las ocasiones para frases cortas y un 90% para frases largas e incluso párrafos.
Esquema general y MUY simplificado de como funcionaría la conversión de KIWOTSUKETE a 気を付けて en cualquier ordenador o dispositivo electrónico actual basados en la idea original de Toshiba. En el primer vídeo que he puesto en este artículo cuando presiono la tecla ESPACIO es cuando se pone en marcha el algoritmo de Viterbi.
Las primeras aplicaciones con éxito de los Hidden Markov Models se hicieron en el sector del reconocimiento automático de voz , pero pronto se empezó a ver su potencial en otros campos. En Toshiba fueron los primeros en aplicarlo a la escritura de japonés, pero pronto muchas otras empresas japonesas como por ejemplo Canon empezaron a copiar las ideas de Toshiba y a crear procesadores de texto CJK(Chino-Japonés-Coreano) y máquinas de escribir electrónicas que triunfaron en el Asia de los años 80.
Muchas empresas japonesas se concentraron en crear más aplicaciones a partir de la tecnología base. A partir de ellas se crearon los primeros correctores ortográficos no solo de japonés sino también de inglés, Microsoft más tarde contrataría a muchos japoneses para crear un laboratorio de procesamiento del lenguaje. El corrector de vuestro Microsoft Word también usa Hidden Markov Models de una forma algo diferente, pero al fin y al cabo es más de lo mismo.
Un ejemplo, de como ante la presión de unas restricciones a las que se estaba viendo sometida la sociedad y los idiomas asiáticos ante la llegada de nuevas tecnologías supieron ser creativos y buscar una solución que no solo le sirvió a Japón y al japonés sino a todo el mundo. ¡Cuando escribes usando el modo diccionario con tu teléfono móvil estás usando tecnología japonesa cuyas bases se asentaron en los años 70! y sin olvidar a Andrei Markov que hace más de cien años desarrolló la base matemática.
«Mi teoría Super-Albertiana dice que se podrá explicar el orígen de las Leyes del Universo el día en que se demuestre que no podían ser de otra forma, es decir, que eran las necesarias para que nosotros existamos y podamos decir que eran las necesarias.» – Albert Ferrer Florit
A todo el mundo le hace ilusión eso de poder ser Premio Nobel alguna vez en la vida. El problema es que no hay Nobel para los ingenieros y tampoco para los matemáticos. En el caso de los matemáticos tienen desde hace tiempo la Medalla Fields para motivarse. Y para los ingenieros han creado hace un par de años el Millennium Technology Prize que se otorgará cada dos años a grandes invenciones tecnológicas que hayan cambiado el mundo. Así que estamos de suerte 😉 ¡El premio es de un millón de euros!
El primer Millennium Technology Prize lo ganó Tim Berners-Lee por la invención de la www. Y el segundo lo ha ganado hace unos días un japonés llamado Shuji Nakamura por la invención de los LEDs azules, verdes y blancos. Algo que a simple vista parece una tontería pero constituye toda una revolución que va a cambiar nuestras vidas, hasta ahora sólo se podían producir LEDs que emitían luz de color rojo. Al no poder conseguir luz blanca, los hacía inútiles para iluminación cotidianta.
Por ejemplo, los nuevos lectores de Blu-ray y HD-DVD, que substituirán a los actuales DVDs utilizan un láser azul. Otro ejemplos, es el de Phillips que presentaba hace unos días sus vestimentas iluminadas con LEDs de colores.
Shuji Nakamura trabajaba para una pequeña compañía japonesa investigando con GaN. Usando el GaN consiguió a principios de los noventa, crear un diodo que emitiera luz en varios colores. A partir de 1993 Nichia, la compañía en la que trabajaba, empezó a producir LEDs azules, verdes etc. En principio Shuji Nakamura, recibió tan solo una paga extra de unos 150 euros por su invención. Pero al cabo de unos años Shuji Nakamura se dio cuenta que una vez en producción, sus nuevos LEDs iban a cambiar el mundo. El año pasado consiguió que Nichia le pagara más de cinco millones de euros por su invención.
Quizás la durante la década que viene presenciemos una revolución en la iluminación del mundo. Ya hay quien llama a Shuji Nakamura el Edison del siglo XXI.
Vía La Cosa Húmeda he estado leyendo un artículo de Seed magazine en el que se habla de lo importantes que son los científicos en Asia, y como muchos llegan a hacerse famosos.
En Japón la ciencia tiene una gran importancia para el gobierno, ¡es algo prioritario! . Tienen montones de centros de investigación, grandes universidades, e incluso hay una ciudad llamada Tsukuba en la que más del 40% de los habitantes (En total son 150.000 habitantes) son científicos trabajando en varios centros de investigación y universidades. Tsukuba es algo así como una sociedad dedicada al 100% al progreso de la ciencia.
Los científicos aquí son muy respetados, la opinión de alguien que tiene un Doctorado sobre algún tema siempre es tomada por encima de cualquier otra opinión. Lo que dice el «Sensei» (El maestro) va a misa. El muchíiiisimos programas de televisión japoneses suelen suelen consultar la opinión de algún experto en el tema. Por ejemplo, si están hablando sobre los efectos del aceite de soja en el hígado, van al centro de investigación del hígado más importante del mundo (Aunque esto les cueste viajar al Extranjero) y entrevistan a los expertos preguntando hasta el mínimo detalle. Y cuando digo hasta el mínimo, es hasta el mínimo detalle, realmente se pueden aprender cosas viendo muchos de los programas de la televisión japonesa.
Además de respetados están muy bien pagados y puedes tener una vida más que decente simplemente dedicándote a investigar durante toda la vida. En Japón hay un plan para centrarse en conseguir 30 premios Nobel en 50 años. Gracias a esta iniciativa los jóvenes Japoneses se están motivando y muchos han decidido que prefieren convertirse en investigadores antes que convertirse en estrellas de cine. Digamos que «están intentando crear una cultura en la que se traten a los grandes científicos como si fueran estrellas de Hollywood»Seed magazine, de esta forma intentan motivar a las nuevas generaciones para que tomen el camino de la ciencia durante sus vidas.
