¿Cómo soluciono los errores de codificación de caracteres en archivos
de texto en Ubuntu?
¡Trabajadores!
En su constante evolución, el hombre ha pasado distintos estadíos.
Primero en las cavernas, luego en tribus, para finalmente conformar
políticamente clanes, ciudades estado, reinos, y naciones. Sin embargo,
esta evolución social y política no hubiese sido posible sin el
consecuente avance del lenguaje y la escritura, que la cimentó y
posibilitó las instituciones de avanzada que rigen el devenir de la
historia.
En la misma tenida histórica, nuestros antepasados se han valido de
lenguajes formados por convenciones sociales, de forma hablada. Luego se
utilizaron pictogramas en las cavernas, y finalmente se transitó al
jeroglífico e ideogramas. Desde los tiempos de Nabucodonosor a esta
parte, nos hemos valido de lenguajes escrito para conservar y transmitir
las ideas. En base a ellos se crean los alfabetos de las grandes
civilizaciones humanas.
No es secreto para nadie que, en la medida que existen diferencias entre
las culturas que acunan a los hombres, existen diferenciaciones entre
los distintos alfabetos, según los lenguajes e idiomas que utilicemos.
Nosotros utilizamos el alfabeto latino, con particularidades que tiene
el castellano traído a las Américas. En una serie fluida de
convencionalismos, disponemos de nuestras propias reglas idiomáticas,
las hacemos nuestras y son nuestro medio de expresión.
Pues bien, si a esto lo llevamos a la telemática, nos encontraremos con
la necesidad de representar numéricamente en la computadora (de forma
binaria) varias decenas de caracteres para almacenar la información.
Esta debe ser comprendida no sólo por el sistema informático, sino por
todos los demás sistemas informáticos con los que deseemos
intercomunicarnos; estamos - entonces - en la era de la información.
Adicionalmente no podemos ser eurocéntricos: hemos de poder dar lugar
también a centenas o miles de caracteres, según usemos alfabetos
latinos, cirílicos, asiáticos, semitas, del valle del indo, etc; de todo
hay en la viña del Xeñor...
El Movimiento Justicialista entiende esta panoplia necesaria para
comunicarnos con todos los hombres de buena voluntad de la Tierra, pero
esto no fue obvio para quienes - a través de su pernicioso imperialismo
cultural - intentan sojuzgar a los Pueblos. Ellos dieron en iniciar las
convenciones para convertir información binarias a caracteres en base al
alfabeto latino limitado que emplean los anglosajones. Esto es
particularmente triste pues el inglés se trata de uno de los idiomas más
simplones y que requiere menos caracteres, y que se presenta
especialmente ilimitado para el resto de los ricos idiomas del mundo (el
castellano entre ellos).
Esto obligó - con el correr de pocos años - a especificar distintas
convenciones informáticas que extendieran la cantidad de caracteres y
símbolos posibles de reproducir por un sistema computado. Estos
múltiples estándares de codificación son bastante compatibles entre sí,
pero no lo son completamente, y en ciertos casos pueden provocar
discrepancias en la representación de un texto codificado con un formato
antiguo o distinto a los actuales.
En GNU con Linux, este tipo de errores se da cuando transferimos
archivos de texto originados en sistemas diferentes, específicamente
cuando se emplean codificaciones de texto distintas a la UTF-8 que se
usa actualmente. En otros casos puede suceder lo mismo, dependiendo de
la codificación que use el sistema.
Un ejemplo suele aclararlo todo, como decía Napoleón. Si tenemos un
texto codificado en el viejo estándar de M$-DO$ de los 90s, podríamos
ver que al abrirlo con un editor actual, muchos caracteres del
castellano los representa con errores. Por ejemplo:
Evitar este problema actualmente es simple: basta utilizar una
codificación moderna, como la extendida Unicode o su variación más
común, la UTF-8. Naturalmente los editores modernos en GNU y otros
sistemas actuales ya lo hacen por defecto.
Sin embargo, si el texto ya está realizado, parecería necesario el arduo
trabajo de buscar y reemplazar los caracteres erróneos por los que
corresponde. Afortunadamente en nuestro sistema GNU con Linux podremos
convertir la codificación mediante el programa iconv.
Iconv es un pequeño conversor codificaciones para texto que opera en la
consola terminal de un sistema GNU con Linux como lo es Ubuntu. Para
abrir una terminal ingresamos Ctrl+Alt+T, y podremos emplear el comando.
Para que funcione debemos usar la siguiente sintaxis:
Como vemos, es preciso conocer la codificación de origen del archivo de
texto original y la codificación de destino que queremos darle. El
problema es que las opciones de codificación son numerosísimas; en
particular esta opción de iconv puede operar 588 conversiones distintas
(ida y vuelta) para totalizar 1176 posibilidades. Si queremos verlas
todas, podremos ingresar en nuestra terminal iconv -f y presionar la
tecla Tab, y el sistema nos devolverá todas las opciones (debemos
presionar la barra espaciadora para paginar la lista).
Para hacer las cosas mas sencillas os explicaré en detalle las
conversiones más utilizadas, y por tanto las que cobran mas relevancia
histórica.
US-ASCII: Es el estándar de codificación mas viejo para teletipos
(télex tipo americano), y no permite acentos ni eñes, solo mayúsculas y
minúsculas, junto con caracteres de comunicación y control. Esta
prácticamente no requiere conversión, pues no presenta caracteres
especiales.
CP437: Es la antigua codificación empleada en MS-DOS y las PC
originales. Estaba limitada a la memoria ROM del hardware de video de
las computadoras de los 80s que contenía el conjunto de caracteres (unas
pocas docenas de ellos incluyendo caracteres gráficos. Se la usó mucho
durante los 80s y 90s. No tenía mayúsculas acentuadas, diéresis ni ñ
mayúsculas.
CP850: Codificación empleada en MS-DOS llamada "Europa Occidental",
que extendía a través de un software residente en memoria del sistema
operativo MS-DOS los caracteres de las plaquetas de video originales, a
fin de para suplir los problemas de la anterior, con la que retenía
compatibilidad. Se la llamaba "ANSI".
ISO-8859-1: Codificación llamada "Latin-1", europea. Es de
principios de los 90s pero se extendió hasta mediados del 2000.
Windows-1252: Codificación empleada por Windows 95 y superiores. Es
casi similar a ISO-8859-1 salvo por unos caracteres de monedas y
puntuación, y encomillado. Es muy común confundir la codificación de
caracteres Windows-1252 con la de ISO-8859-1. El resultado habitual era
que todas las comillas y apóstrofos (producidos por las "comillas
inteligentes" de Micro$oft) son reemplazadas por signos de interrogación
o por cajas en sistemas operativos libres.
ISO-8859-15: Codificación llamada "Latin 9". Reemplaza algunos
caracteres y agrega el de Euro (€), modernizando la ISO-8859-1. Sirve
para todos los idiomas de Europa occidental.
UNICODE: también llamada UTF-16, En la medida que aumentó la memoria
y capacidad gráfica de los sistemas, se propuso este conjunto de amplia
estandarización, que pretende incluir todos los caracteres para
intercambios multilingûes, por lo cual es preferida para evitar
problemas de conversión. Incluye también miles de ideogramas asiáticos,
e incluso caracteres históricos (arameo antiguo, hebreo, persas, etc).
El Unicode dispone de varios ordenamientos, que varían en cuanto a la
representación en bytes y orden. Esto no suele ser de gran importancia
pues mayoritariamente se utiliza la codificación más simple, de Unicode,
la UTF.8
UTF-8: Codificación preferida por Linux y la mayoría de los sistemas
modernos y normalmente es la recomendable.
Por lejos el caso más común es convertir entre codificaciones "viejas"
de DOS o Windows a la nueva UTF-8. Si quisiéramos convertir el archivo
original "razon.txt" codificado en Windows-1252 a la codificación actual
UTF-8 y llamarlo "razon_corregido.txt", debemos ingresar el siguiente
Comando de Organización:
Y el archivo será corregido, quedando de la siguiente manera:
Para colmo de complicaciones, existen distintos tipos de condificación
para indicar la creación de una nueva línea. En archivos de texto
DOS/Windows, un salto de línea, también conocido como nueva línea, es
una combinación de dos caracteres: un retorno de carro (CR) seguido por
un salto de línea (LF). En archivos de texto Unix, un salto de línea es
solamente un carácter: el salto de línea (LF). En archivos de texto Mac,
antes de Mac OS X, un salto de línea era sólo un carácter retorno de
carro (CR). Actualmente, Mac OS usa el estilo Unix de saltos de línea
(LF).
Esto hace que los archivos de DOS/Windows antiguos aparezcan con líneas
"cortadas". Para este tipo de archivos no alcanza con convertir la
codificación, y por ello existe un programa específico que se encarga de
todo. Se trata del paquete dos2unix, que consta de dos programas, el
mismo dos2unix y el conversor contrario, unix2dos. Ambos forman parte
del primero y los instalamos con el siguiente comando de organización:
-ascii: Sólo convierte los saltos de línea.
-iso: Convierte con ISO-8859-1
-1252: Convierte usando la codificacin Windows-1252
-437: Convierte usando la codificación CP437
-850: Convierte usando la codificación CP850 europea.
-7: Convierte usando la codificación de 7 bits (desde 1982 se usa de 8
bits, esta se usa para archivos de teletipo o codificaciones muy
antiguas).
-i: muestra información sobre la coficación del archivo indicado.
