8.shell

Thu, 25 Dec 2025 00:00:00 +0000

目录
文件操作
- 文件查找与过滤
- 文件处理
- 文件压缩
- 文件权限管理
HDFS操作
- 文件查看
- 文件大小统计
- 文件上传
文本处理
- 文件读取
- 文本过滤
- 高级文本处理
控制结构
- 条件判断
- 分支语句
- 循环语句
- 函数定义
- 信号与异常处理
字符串处理
- 字符串基本操作
- 字符串截取与替换
- 字符串转换
- 字符串比较与判断
- 字符串切割生成数组
- 正则表达式处理
数组操作
- 数组定义与初始化
  - 索引数组
  - 数组初始化技巧
- 数组访问与修改
- 数组遍历
  - 基本遍历方法
  - 高级遍历技巧
- 数组操作方法
- 关联数组
- 数组实用示例
数学运算
- 基本算术运算
- 高级数学运算
  - 浮点数运算
  - 使用awk进行数学运算
- 数值比较与判断
  - 数值比较操作
  - 数值范围判断
- 进制转换
  - 不同进制之间的转换
- 随机数生成
  - 生成各种随机数
- 数学运算实用示例
进程管理
- 进程监控与控制
- 组合查杀实战（精准定位与终止）
- 后台任务管理
时间处理
- 日期格式化
- 时间计算
网络请求
- 基本网络命令
- 高级网络操作
curl 高级用法与变量传递
- Shell 中向 curl 传递变量的核心原则
  - 基本原则：变量展开
  - 引号使用口诀
- 不同场景下的变量传递方法
- Shell 数组与 JSON 处理
- Shell 数组的进阶操作
- 脚本执行环境与常见错误
- 实战案例：geohash 校验脚本链路
  - 完整流程与黄金模板
  - 关键陷阱与防御性编程
- jq 常用操作
终端代理配置
- Windows PowerShell代理
- Windows CMD代理
- Git Bash代理
- Mac终端代理
- Linux终端代理
- 代理测试与故障排除
- 代理管理脚本
Windows 网络诊断
- 常用命令行工具
- 网卡信息解读实战
- 多网卡路由优先级
开发环境
- Node.js 管理
系统监控
- 资源使用监控
- 日志分析
性能分析
- 性能测试工具
- 性能优化技巧
安全操作
- 权限管理
- 加密与解密
数据库操作
- MySQL操作
- PostgreSQL操作
自动化脚本示例
- 定时备份
- 批量处理
Windows 常用操作
- PowerShell 基础
- 文件与目录操作
- 网络操作
- 进程与系统管理
- 常用快捷键与技巧
终端复用（tmux）
Cloudflare Wrangler
- 安装与配置
- 项目管理
- 开发调试
- 部署发布
- Pages（静态站点/博客部署）
- 常用资源操作
- 配置文件 (wrangler.toml)
Hugo
- 安装与版本
- 本地开发
- 内容编写
- 构建发布
- 配合 Cloudflare Pages（Direct Upload）
- 主题与模块（常见维护）
- 主题本地/远程不一致（排查与修复）
OpenSkills
- 安装与配置
- 技能管理
- 常用安装源

文件操作

文件查找与过滤

# 查找目录下以8位数字结尾的文件（YYYYMMDD格式）
find /path/to/dir -type f -regextype posix-extended -regex '.*[0-9]{8}$'

# 检查文件是否存在
if [ ! -f "$file" ]; then
 echo "File not found: $file"
 exit 1
fi

# 查找最近7天修改过的文件
find /path/to/dir -type f -mtime -7

# 查找大于100MB的文件
find /path/to/dir -type f -size +100M

# 查找并删除空文件
find /path/to/dir -type f -empty -delete

# 查找特定权限的文件
find /path/to/dir -type f -perm 644

文件处理

# 分割大文件
split -b 10M large_file.txt output_

# 合并文件
cat output_* > combined_file.txt

# 按行分割文件
split -l 1000 large_file.txt output_

# 批量重命名文件
rename 's/\.txt$/.md/' *.txt # 将所有.txt文件重命名为.md

# 查找重复文件
fdupes -r /path/to/directory

# 创建文件链接
ln -s /path/to/original /path/to/link # 软链接
ln /path/to/original /path/to/link # 硬链接

# 查看二进制文件
hexdump -C binary_file | head

# 查看文件类型
file filename

# 批量替换文件内容
find . -type f -name "*.txt" -exec sed -i 's/old_text/new_text/g' {} \;

# 递归创建目录
mkdir -p path/to/nested/directory

文件压缩

# 压缩文件
gzip a.txt # 压缩并删除原文件
gzip -c a.txt # 压缩并保留原文件

# 解压文件
gunzip your_file.txt.gz

# tar压缩
tar -czvf archive.tar.gz directory/ # 创建gzip压缩的tar归档
tar -cjvf archive.tar.bz2 directory/ # 创建bzip2压缩的tar归档

# tar解压
tar -xzvf archive.tar.gz # 解压gzip压缩的tar归档
tar -xjvf archive.tar.bz2 # 解压bzip2压缩的tar归档

# zip压缩
zip -r archive.zip directory/

# zip解压
unzip archive.zip

文件权限管理

# 修改文件权限
chmod 755 file.sh # 设置可执行权限
chmod -R 644 dir/ # 递归修改目录下所有文件权限

# 修改文件所有者
chown user:group file.txt
chown -R user:group directory/ # 递归修改

# 设置SUID/SGID/Sticky位
chmod u+s file # 设置SUID
chmod g+s directory # 设置SGID
chmod +t directory # 设置Sticky位

# 复制权限
getfacl source_file | setfacl --set-file=- target_file

# 添加ACL权限
setfacl -m u:user:rwx file.txt # 为特定用户添加权限
setfacl -m g:group:rx file.txt # 为特定组添加权限

HDFS操作

文件查看

# 列出HDFS目录下以8位数字结尾的文件
hadoop fs -ls /path/to/dir | awk '$NF ~ /[0-9]{8}$/ {print $NF}'

# 使用grep过滤HDFS目录
hadoop fs -ls /data/dept/bi/dim/data | grep -E "[0-9]{8}$"

文件大小统计

# 获取目录文件大小并选择最后一行
hadoop fs -du -h $line | tail -n 1 >> file_size_result.txt

文件上传

### 多行文件上传
cat <<EOF | hdfs dfs -put - /path/in/hdfs/multiline.txt
This is line 1
This is line 2
This is line 3
EOF

文本处理

文件读取

# 遍历文件每一行
file="example.txt"
while IFS= read -r line; do
 echo "$line"
done < "$file"

# 另一种读取方式
cat "$file" | while read line; do
 echo "$line"
done

文本过滤

# 查看grep过滤结果的前100个字符
grep "关键词" file.txt | cut -c 1-100

# 显示匹配行及其后5行
curl -s "http://localhost:8080/hotsearch" | grep -A 5 "wallpaper-menu"

高级文本处理

sed 流编辑器

基本语法

Bash on Ralph's Blog

8.shell

目录

文件操作

文件查找与过滤

文件处理

文件压缩

文件权限管理

HDFS操作

文件查看

文件大小统计

文件上传

文本处理

文件读取

文本过滤

高级文本处理

sed 流编辑器