Linux常用命令

# 查看分辨率等信息
$ identify xxx.jpg

# 关闭模型评估内存异常未正确推出的进程
$ ps aux | grep 'tools/train.py'  | awk '{print $2}' | xargs kill -9
$ ps aux | grep 'tools/eval.py'  | awk '{print $2}' | xargs kill -9

# 按照文件大小排序显示，按字节排序，按兆（M）加参数 ‘h’
$ du -sh ./* | sort -rn   从大到小
$ du -sh ./* | sort -n    从小到大
# 选择部分列出
$ du -s /usr/* | sort -rn | head     前面的10个
$ du -s /usr/* | sort -rn | tail     后面的10个
# 查找文件内容
$ find ./ -type f -name "*.xml" | xargs grep "0000280.png"
# 远程Copy文件到本地
$ scp rtzh@10.11.109.247:/data/aiimages/dataset/anjian/gkpw.zip ./

#统计文件数量
$ ls -l | grep "^-" | wc -l

# 列出 tar.xz 文件内容
tar -tf archive.tar.xz

#压缩
tar –zcvf jpg.tar.gz a/

# 将文件或者文件件打包为zip压缩包，book.zip大小为38.8M
zip -r book.zip ./input.pdf
# 将book.zip分割，每个压缩包不超过20M，生成两个压缩包subbook.zip（17.8M）和subbook.z01（21M）
zip -s 20m book.zip --out subbook.zip

#解压到指定目录
tar -zxvf /bbs.tar.zip -C /zzz/bbs    

# 解压多个
unzip \*.zip 

#实时显示GPU资源使用情况
watch -n 2 -d nvidia-smi 

#启动 visualdl
$ visualdl --logdir ./vdl_dir/scalar --host 0.0.0.0 --port 8088
# 查看Docker环境变量信息
$ systemctl show docker --property Environment
# Docker proxy config
$ /etc/systemd/system/docker.service.d
$ nano proxy.conf
[Service]
Environment="HTTP_PROXY=http://127.0.0.1:2340/"
Environment="HTTPS_PROXY=http://127.0.0.1:2340/"
Environment="NO_PROXY=localhost,127.0.0.1,.example.com"
$ systemctl daemon-reload
$ systemctl restart docker
$ systemctl status docker

#清除历史编译文件夹
$ find . -name pom.xml -exec mvn clean -f '{}' \;
$ find . -name 'target' -a -type d -exec rm -rfv '{}' \;


# docker端口转发
docker inspect xxxx

sudo iptables --list
sudo iptables -t nat -A DOCKER -p tcp --dport 5432 -j DNAT --to 172.18.0.13:5432

# linux 挂载共享
mount -t cifs -o username=ligger //192.168.1.121/dataset /mnt/win_share
sudo mount -t cifs -o username=rtzh //10.11.109.247/aiimages /mnt/local_share/

nohup jupyter-lab --ip=0.0.0.0 --port=8088 --allow-root --notebook-dir=/home/kevin/workspace > /dev/null &

#设置终端代理
export https_proxy=http://10.9.98.199:2340 http_proxy=http://10.9.98.199:2340 all_proxy=socks5://10.9.98.199:2341
export https_proxy=http://10.11.109.206:2340 http_proxy=http://10.11.109.206:2340 all_proxy=socks5://10.11.109.206:2341

#取消代理
unset http_proxy & unset https_proxy & unset all_proxy

#查看kafka分区数量
./kafka-topics.sh --describe --zookeeper zookeeper:2181 --topic captureTask
#修改分区数量
./kafka-topics.sh --alter --zookeeper zookeeper:2181 --topic captureTask --partitions 7
#如果你使用的是新版本的Kafka，它可能使用了Kafka自己的协调器而不是Zookeeper。在这种情况下，你需要使用--bootstrap-server参数而不是--zookeeper参数。例如：
./kafka-topics.sh --alter --bootstrap-server kafka:9092 --topic captureTask --partitions 7

#查看分组数量
./kafka-consumer-groups.sh --bootstrap-server <kafka-broker-host>:<kafka-broker-port> --describe --group <consumer-group-id>
./kafka-consumer-groups.sh --bootstrap-server kafka:9092 --describe --group  consumer-group2
#查看显卡信息
nvidia-xconfig --query-gpu-info

[nvidia docker install](https://www.ibm.com/docs/en/maximo-vi/8.2.0?topic=planning-installing-docker-nvidia-docker2)

#docker-compose build proxy
$ sudo -E docker-compose build #--build-arg  http_proxy=http://10.9.98.199:2340 --build-arg https_proxy=http://10.9.98.199:2340
# 统计文件数量
find {2021,2023} -type f | wc -l
# 
sudo find . -name "*.xml" -exec cp {} /home/rongtong/ml/workspcae/PaddleDetection/dataset/zhgd_dataset/Annotations/ \;

# 校验hash值
openssl dgst -sha256 采购硬盘说明书
# 以下是一些常见的哈希算法及其标识符：
# MD5: md5
# SHA-1: sha1
# SHA-256: sha256
# SHA-512: sha512