课程简介

课时8小时(2天),介绍linux。

第一天

首先呢,第一节课就讲了怎么用虚拟机载入已经制作好的虚拟镜像。 第二节是历史课,先对自己做了自我介绍,做实验的,博士后开始转行搞生物信息,纯自学成才(还学的这么厉害,我非常佩服)。 先从什么是window/unix/linux谈起,介绍了这几个的区别和历史进程,介绍了linux的读音,mac的OS和linux的有些类似。 然后开始login用户,学习简单的命令。 第三节课用到了挂在的本地目录地址,在目录下写了第一个shell脚本(helloworld.sh)。 由于安装的是极简版的CentOS,所以先从下载firefox和gedit以及gedit插件开始,然后还修改了gedit的首选项。 shebang line别忘了写。 可能还顺便讲了一下C语言的helloworld写法。

第二天

开始讲更多的linux命令,和ncbi数据库。中间还扯到了Joseph Lister Hill捐助了好多钱用来建立数据库(是哪个我忘了)。

虚拟机载入

首先,这个课程已经提前为大家制作了虚拟镜像,只要下载VirtualBox。

第一步,新建一个虚拟机。根据已有镜像文件CentOS-64bit选择linux和RedHat64bit,给虚拟机起个名字,一路next,但最后要选择加载已有镜像。

img

img

第二步,在镜像创建之后,选择设置,在里面将虚拟机和外部电脑桌面的互动打开。

img

第三步,选择本地磁盘存储,一定要勾选自动挂载(automount),这样在/media/文件夹下可以出现你的本地磁盘目录。例如:/media/sf_CB2/。 在folder path这一项中,选择other,就可以找到本地文件夹了。

img

设置完之后可以运行start,开始玩虚拟机!

关机时可以选择保存现有的操作,这样就不用重复启动系统,直接点开始,就能进入桌面。

img

另外挂载的硬盘只能用root账户来访问,如果想用其他账户访问,需要将此账号加入vboxsf的用户组里。 命令如下:

su -c "usermod -a -G vboxsf cb2user"

Linux 命令

CB2讲述的linux相关内容有:

  • –help 查看帮助 ls--help
  • man 查看详细帮助 man ls
  • info 查看详细信息 info ls
  • apropos 在一些特定的包含系统命令的简短描述的数据库文件里查找关键字,然后把结果送到标准输出 apropos ls
  • 重定向和管道 重定向>写入文件;>>追加写入文件; cat abc.txt | less 管道符号|用于链接两个命令,前一个命令的输出将作为后一个命令的输入。
  • cat 标准输出(打印到屏幕)文件内容 cat abc.txt
  • more 类似于cat,more以分页的显示形式显示内容 more abc.txt
  • wc 统计文档的行数,单词数,字节数 wc abc.txt
  • head 用来显示文档的开头内容,标准输出(打印到屏幕) head abc.txt
  • tail 用来显示文档的结尾内容,标准输出(打印到屏幕) tail abc.txt
  • alias
  • 路径(pwd, ., ..) pwd可以显示当前路径
  • 环境变量 (export)
  • 执行程序
  • echo 终端打印输出 echo "hello world"
  • 打包和解压缩(tar, gz, bzip2, xz -_,- 一下子讲这么多,记得过来就怪了
  • cut 剪切文件的某一列或者某几列 cut -f 1 abc.txt (剪切第一列,并输入第一列到屏幕)
  • sort 文件按某列排序 cat abc.txt | sort
  • uniq 文件按某列去除冗余 cat abc.txt | sort | uniq
  • wget 下载网上的文件
  • grep 查找关键词 grep "hello" abc.txt
  • tr 对来自标准输入的字符进行替换、压缩和删除。
  • find 查找文件
  • rsync 海量文件的快速准确备份,复制,删除
  • unison 文件同步工具
  • ls 目录文件列表
  • cp 拷贝
  • rm 删除
  • mv 移动
  • cd 进入目录 cd /home/abc
  • mkdir 创建文件夹
  • yum/dnf/apt-get 下载软件包的命令(ubuntu用apt-get)
  • chmod 改变文件的权限

Hello World! 脚本


#!/bin/bash

echo "Hello World!"

课程用到的命令

所有下面的工作最好都在挂载的外部文件夹中操作

cd /media/sf_CB2

下载软件

yum install firefox
yum downgrade http://vault.centos.org/7.1.1503/os/x86_64/Packages/pygobject3-3.8.2-6.el7.x86_64.rpm http://vault.centos.org/7.1.1503/os/x86_64/Packages/pygobject3-base-3.8.2-6.el7.x86_64.rpm
yum install gedit gedit-plugins

下载蛋白质氨基酸序列

wget ftp://ftp.ebi.ac.uk/pub/databases/Pfam/current_release/proteomes/9606.tsv.gz

查找上述氨基酸序列文件中第七列名称中重复次数最高的名称

zcat 9606.tsv.gz | tail -n+4 | cut -f 7 | sort | uniq -c | sort -gr

下载ncib斑马鱼数据

wget -r -A.faa ftp://ftp.ncbi.nlm.nih.gov/genomes/archive/old_refseq/Drosophila_melanogaster/RELEASE_5_48/

将斑马鱼数据复制到当前目录下的faa文件夹中

find ftp.ncbi.nlm.nih.gov/ -name "*.faa" -exec cp {} ./faa \;

安装tree,查看目录结构

yum install tree

tree ./

将所有.faa文件合并成一个dm.faa文件

cat ./faa/*.faa > dm.faa 

计算dm.faa文件中的氨基酸序列条数

cat dm.faa | grep ">" | wc -l

计算dm.faa文件中的氨基酸数量

cat dm.faa | grep -v ">" | tr -d "\n" | wc -c

作业

Problem 1

wget ftp://ftp.ebi.ac.uk/pub/databases/Pfam/current_release/proteomes/9606.tsv.gz
zcat 9606.tsv.gz | tail -n+4 | cut -f 7 | sort | uniq -c | sort -gr

Problem 2

wget -r -A.faa ftp://ftp.ncbi.nih.gov/genomes/archive/old_refseq/Bacteria/Yersinia_pestis*

Problem 3

find ftp.ncbi.nih.gov/genomes/archive/old_refseq/Bacteria/ -name "*.faa" -exec cp {} ./ypest \;

cat ./ypest/*.faa >  ypest.faa

cat ypest.faa| grep ">" | wc -l

Problem 4

下载

wget ftp://ftp.ncbi.nlm.nih.gov/genomes/archive/old_refseq/Bacteria/Escherichia_coli_K_12_substr__MG1655_uid57779/NC_000913.faa

写脚本计算

提示:

Performing Math Calculation in Bash

shell float number in expr

How to use expr on float?

#!/bin/bash

faa=$1

c=`cat $faa | grep ">" | wc -l`

l=`cat $faa| grep -v ">" | tr -d "\n" | wc -c`

result1=`expr $l/$c`
result2=$(expr "$l"/"$c")
result3=$(($l/$c))
result4=$(awk 'BEGIN{print $l/$c}')
result5=$(echo "scale=6;$l/$c"|bc)

echo $result1
echo $result2
echo $result3
echo $result4
echo $result5