CB2 101 BioComp 课程总结(Linux命令)
课程简介
课时8小时(2天),介绍linux。
第一天
首先呢,第一节课就讲了怎么用虚拟机载入已经制作好的虚拟镜像。 第二节是历史课,先对自己做了自我介绍,做实验的,博士后开始转行搞生物信息,纯自学成才(还学的这么厉害,我非常佩服)。 先从什么是window/unix/linux谈起,介绍了这几个的区别和历史进程,介绍了linux的读音,mac的OS和linux的有些类似。 然后开始login用户,学习简单的命令。 第三节课用到了挂在的本地目录地址,在目录下写了第一个shell脚本(helloworld.sh)。 由于安装的是极简版的CentOS,所以先从下载firefox和gedit以及gedit插件开始,然后还修改了gedit的首选项。 shebang line别忘了写。 可能还顺便讲了一下C语言的helloworld写法。
第二天
开始讲更多的linux命令,和ncbi数据库。中间还扯到了Joseph Lister Hill捐助了好多钱用来建立数据库(是哪个我忘了)。
虚拟机载入
首先,这个课程已经提前为大家制作了虚拟镜像,只要下载VirtualBox。
第一步,新建一个虚拟机。根据已有镜像文件CentOS-64bit选择linux和RedHat64bit,给虚拟机起个名字,一路next,但最后要选择加载已有镜像。
第二步,在镜像创建之后,选择设置,在里面将虚拟机和外部电脑桌面的互动打开。
第三步,选择本地磁盘存储,一定要勾选自动挂载(automount),这样在/media/
文件夹下可以出现你的本地磁盘目录。例如:/media/sf_CB2/
。
在folder path这一项中,选择other,就可以找到本地文件夹了。
设置完之后可以运行start,开始玩虚拟机!
关机时可以选择保存现有的操作,这样就不用重复启动系统,直接点开始,就能进入桌面。
另外挂载的硬盘只能用root账户来访问,如果想用其他账户访问,需要将此账号加入vboxsf
的用户组里。
命令如下:
su -c "usermod -a -G vboxsf cb2user"
Linux 命令
CB2讲述的linux相关内容有:
- –help 查看帮助
ls--help
- man 查看详细帮助
man ls
- info 查看详细信息
info ls
- apropos 在一些特定的包含系统命令的简短描述的数据库文件里查找关键字,然后把结果送到标准输出
apropos ls
- 重定向和管道 重定向
>
写入文件;>>
追加写入文件;cat abc.txt | less
管道符号|
用于链接两个命令,前一个命令的输出将作为后一个命令的输入。 - cat 标准输出(打印到屏幕)文件内容
cat abc.txt
- more 类似于
cat
,more以分页的显示形式显示内容more abc.txt
- wc 统计文档的行数,单词数,字节数
wc abc.txt
- head 用来显示文档的开头内容,标准输出(打印到屏幕)
head abc.txt
- tail 用来显示文档的结尾内容,标准输出(打印到屏幕)
tail abc.txt
- alias
- 路径(pwd, ., ..)
pwd
可以显示当前路径 - 环境变量 (export)
- 执行程序
- echo 终端打印输出
echo "hello world"
- 打包和解压缩(tar, gz, bzip2, xz
-_,- 一下子讲这么多,记得过来就怪了
) - cut 剪切文件的某一列或者某几列
cut -f 1 abc.txt
(剪切第一列,并输入第一列到屏幕) - sort 文件按某列排序
cat abc.txt | sort
- uniq 文件按某列去除冗余
cat abc.txt | sort | uniq
- wget 下载网上的文件
- grep 查找关键词
grep "hello" abc.txt
- tr 对来自标准输入的字符进行替换、压缩和删除。
- find 查找文件
- rsync 海量文件的快速准确备份,复制,删除
- unison 文件同步工具
- ls 目录文件列表
- cp 拷贝
- rm 删除
- mv 移动
- cd 进入目录
cd /home/abc
- mkdir 创建文件夹
- yum/dnf/apt-get 下载软件包的命令(ubuntu用apt-get)
- chmod 改变文件的权限
Hello World! 脚本
#!/bin/bash
echo "Hello World!"
课程用到的命令
所有下面的工作最好都在挂载的外部文件夹中操作
cd /media/sf_CB2
下载软件
yum install firefox
yum downgrade http://vault.centos.org/7.1.1503/os/x86_64/Packages/pygobject3-3.8.2-6.el7.x86_64.rpm http://vault.centos.org/7.1.1503/os/x86_64/Packages/pygobject3-base-3.8.2-6.el7.x86_64.rpm
yum install gedit gedit-plugins
下载蛋白质氨基酸序列
wget ftp://ftp.ebi.ac.uk/pub/databases/Pfam/current_release/proteomes/9606.tsv.gz
查找上述氨基酸序列文件中第七列名称中重复次数最高的名称
zcat 9606.tsv.gz | tail -n+4 | cut -f 7 | sort | uniq -c | sort -gr
下载ncib斑马鱼数据
wget -r -A.faa ftp://ftp.ncbi.nlm.nih.gov/genomes/archive/old_refseq/Drosophila_melanogaster/RELEASE_5_48/
将斑马鱼数据复制到当前目录下的faa文件夹中
find ftp.ncbi.nlm.nih.gov/ -name "*.faa" -exec cp {} ./faa \;
安装tree,查看目录结构
yum install tree
tree ./
将所有.faa文件合并成一个dm.faa文件
cat ./faa/*.faa > dm.faa
计算dm.faa文件中的氨基酸序列条数
cat dm.faa | grep ">" | wc -l
计算dm.faa文件中的氨基酸数量
cat dm.faa | grep -v ">" | tr -d "\n" | wc -c
作业
Problem 1
wget ftp://ftp.ebi.ac.uk/pub/databases/Pfam/current_release/proteomes/9606.tsv.gz
zcat 9606.tsv.gz | tail -n+4 | cut -f 7 | sort | uniq -c | sort -gr
Problem 2
wget -r -A.faa ftp://ftp.ncbi.nih.gov/genomes/archive/old_refseq/Bacteria/Yersinia_pestis*
Problem 3
find ftp.ncbi.nih.gov/genomes/archive/old_refseq/Bacteria/ -name "*.faa" -exec cp {} ./ypest \;
cat ./ypest/*.faa > ypest.faa
cat ypest.faa| grep ">" | wc -l
Problem 4
下载
wget ftp://ftp.ncbi.nlm.nih.gov/genomes/archive/old_refseq/Bacteria/Escherichia_coli_K_12_substr__MG1655_uid57779/NC_000913.faa
写脚本计算
提示:
Performing Math Calculation in Bash
#!/bin/bash
faa=$1
c=`cat $faa | grep ">" | wc -l`
l=`cat $faa| grep -v ">" | tr -d "\n" | wc -c`
result1=`expr $l/$c`
result2=$(expr "$l"/"$c")
result3=$(($l/$c))
result4=$(awk 'BEGIN{print $l/$c}')
result5=$(echo "scale=6;$l/$c"|bc)
echo $result1
echo $result2
echo $result3
echo $result4
echo $result5