Linux系统查找替换非UTF-8编码文件的方法

linux下的中⽂编码问题
很多linux的初学者都会碰到这样⼀个问题：把windows下的⽂档拷到linux系统，会出现乱码！其实这涉及到中⽂编码的问题。

linux系统默认的是统⼀码（utf8）。

⽽如果你的⽂件是big5，显然会出现乱码！针对此问题，你可以采⽤下述两种⽅法：
⼀、在知道乱码⽂档编码格式的前提下，更改系统⽀持的语系：
假设乱码⽂档编码格式为gb2312（简体中⽂），则可使⽤命令:LANG=gb2312。

也可以通过终端界⾯的菜单栏 -> ⼯具栏 ->终端机 -> 设置字符编码进⾏设置。

但此⽅法会出现问题，就是系统下的其他中⽂成了乱码。

所以，如果此⽂档若在linux下常⽤，不建议采⽤此⽅法。

⼆、语系编码转换:
强⼤的linux绝对不会让你在这个⼩问题上束⼿⽆策的。

系统提供了⼀个转换⽂档编码格式的⼯具：
命令格式为：iconv -f 原来编码格式 -t 新编码格式⽂件名 [-o 新⽂件名] 其中新⽂件名为可选项
例如windows下的thinker.txt的简体中⽂编码为gb2312，则可以这样转换：
iconv -f gb2312 -t utf8 thinker.txt -o thinker.utf8
以上探讨的内容都是针对⽂档内容乱码问题，⽆法解决⽂件名及⽬录乱码问题。

⽂件名及⽬录乱码可以⽤⼯具convmv；具体⽤法类似iconv，但要注意加上--notest选项才是真正的转换，否则只是个测试效果⽽已！。

Linux命令高级技巧使用find和sed进行高级文件搜索和文本替换Linux命令高级技巧：使用find和sed进行高级文件搜索和文本替换在Linux系统中，命令行是进行各种操作和管理的重要工具。

其中，find和sed是两个非常强大的命令，可以帮助用户进行高级文件搜索和文本替换。

本文将介绍如何使用find命令来查找文件，并结合sed命令实现文本替换的高级技巧。

一、使用find命令进行高级文件搜索find命令是在指定目录下进行文件搜索的常用命令。

它支持多种搜索条件和选项，可以根据文件名、大小、权限等属性来搜索文件。

以下是一些常用的find命令示例：1. 在当前目录及其子目录中搜索所有以.txt结尾的文件：```shellfind . -name "*.txt"```2. 在指定目录中搜索文件名包含关键字的文件：```shellfind /path/to/directory -name "*keyword*"```3. 在当前目录下搜索大于100MB的文件：```shellfind . -size +100M```4. 在当前目录下搜索修改时间在7天内的文件：```shellfind . -mtime -7```通过组合不同的选项，可以实现更加复杂的文件搜索功能。

使用man命令可以查看find命令的详细用法和更多选项。

二、使用sed命令进行高级文本替换sed命令是一种用于对文本进行替换、删除、插入等操作的流编辑器。

它支持使用正则表达式匹配文本，并进行相应的操作。

以下是一些常用的sed命令示例：1. 使用sed命令替换文本中的指定字符串：```shellsed 's/old_string/new_string/g' filename```其中，old_string是需要被替换的字符串，new_string是替换后的新字符串，filename是需要进行替换的文件名。

linux下文件编码格式转换方法1. 使用iconv进行转换将使用gb18030编码的文件file1.txt转换为utf-8编码的文件file2.txt：iconv -f gb18030 -t utf-8 file1.txt -o file2.txt但是这个命令不好使，一方面容易重复转换，另一方面不支持通配符，无法成批转换，还有如果转换出错就会停止转换。

可以加上-c来忽视非法字符：iconv -c -f gb18030 -t utf-8 file1.txt -o file2.txt有时候转换需要的时间比较长，或者输出比较多，需要在后台运行：nohup iconv -f utf-8 -t gb18030 file2.txt -o file1.txt &>file12.out &这条命令实现了将utf-8格式的file2.txt转换为gb18030格式的file1.txt，且在后台运行，输出放在file12.out中。

2. iconv命令【功能】对于给定文件把它的内容从一种编码转换成另一种编码。

【描述】-f encoding :把字符从encoding编码开始转换。

-t encoding :把字符转换到encoding编码。

-l :列出已知的编码字符集合-o file :指定输出文件-c :忽略输出的非法字符-s :禁止警告信息，但不是错误信息–verbose :显示进度信息-f和-t所能指定的合法字符在-l选项的命令里面都列出来了。

【举例】*列出当前支持的字符编码：iconv -l*将文件file1转码,转后文件输出到fil2中：iconv -f EUC-JP-MS -t UTF-8 file1 -o file2 //没-o那么会输出到标准输出.*实际需求，从hive中取出的数据是utf8的，要load到mysql 中，gbk编码。

所以在load之前要先对文件进行转码。

mysql_cmd = 'iconv -c -f utf-8 -t gbk ./data/al_ver_' + yesterday_time + '.xls -o ./data/GBK_al_ver_' + yesterday_time + '.xls 'print(mysql_cmd)os.system(mysql_cmd)mysql_cmd = 'mysql -h60.28.200.78 -uroot -pyeelion -A LogStat_RT -e \'load data local infile \'./data/GBK_al_ver_' + yesterday_time + '.xls ' into table HiveData_508\''print(mysql_cmd)os.system(mysql_cmd)3. 以指定的编码打开文件将file.txt文件按照GB18030的格式打开：vim file.txt -c 'e ++enc=GB18030'vim字符编码设置,修改~/.vimrc文件4. 如何查看一个文件的编码（1）在vim下面使用：:set fileencoding。

linux中文件内容替换的方法Linux中文件内容替换的方法在Linux操作系统中，文件内容替换是一项常见的操作。

当我们需要将文件中的特定内容进行替换时，可以使用一些命令和工具来实现。

本文将介绍几种常用的方法来进行文件内容替换。

一、sed命令替换文件内容sed命令是一个强大的文本处理工具，可以用来进行文件内容的替换。

其基本语法如下：sed 's/old/new/g' file其中，old表示需要被替换的内容，new表示替换后的内容，g表示全局替换，file表示需要进行替换的文件名。

例如，我们有一个名为test.txt的文件，内容如下：This is a test file. It is a good file.现在我们想将其中的"good"替换为"great"，可以使用以下命令：sed 's/good/great/g' test.txt执行该命令后，test.txt文件的内容会变为：This is a test file. It is a great file.二、grep命令替换文件内容grep命令是一个用于查找文件中匹配的模式的工具，但它也可以用来进行文件内容的替换。

其基本语法如下：grep -rl old directory | xargs sed -i 's/old/new/g'其中，old表示需要被替换的内容，new表示替换后的内容，directory表示需要进行替换的目录。

例如，我们有一个名为test.txt的文件，内容如下：This is a test file. It is a good file.现在我们想将其中的"good"替换为"great"，可以使用以下命令：grep -rl good /path/to/directory | xargs sed -i 's/good/great/g'执行该命令后，目录中所有含有"good"的文件都会被替换为"great"。