Com processadores multi-core semi-parados na maior parte das nossas tarefas e com a necessidade de processar grandes quantidades de informação / ficheiros é importante aproveitar toda a potencialidade de todos os núcleos.

Nos sistemas Unix (neste caso testei num sistema Linux com a distro Ubuntu) é possível separar uma tarefa em vários processos de forma a que a tarefa seja distribuida por mais que um núcleo do processador (no caso dos processadores multi-core) e por vários processos (jobs) que podem ser executados em simultâneo não dependendo que o primeiro acabe para executar o segundo podendo ter vários a correr ao mesmo tempo aumentando assim a performance da acção.

Este comando suporta a opção -P com a qual podemos especificar a quantidade de processos (jobs) a correr em paralelo.

$ man xargs
(...)
 --max-procs=max-procs
-P max-procs
Run  up  to max-procs processes at a time; the default is 1.
If max-procs is 0, xargs will run as many processes as possible  at a  time.
Use the -n option with -P; otherwise chances are that only one exec will be done.
(...)

Exemplo de Utilização

$ ls . | xargs -P 0 -i -t cp -R {} ../novo/

Decompondo o Exemplo

Listagem dos ficheiros da pasta

$ ls .

Xargs

xargs -P 0 -i -t

“-P 0″ utiliza o número máximo de processos
“-t” verbose mode activo

Cópia

cp -R {} ../novo/

“-R” copia de forma recursiva as pastas existentes
“{}” existe devido ao parâmetro “-i” do comando xargs utilizado, que corresponde a cada ficheiro/pasta que queremos copiar
“../novo” pasta de destino

Mais exemplos

Apagar todos os ficheiros com a extensão pdf

find ./ -name "*.pdf" | xargs -t -Istr rm str

Converter ficheiros pdf (.pdf) para ficheiros de texto simples (.txt)

find ./ -name "*.pdf" | xargs -Istr pdftotext str

Nestes exemplos podem acrescentar sempre a opção “-P x” em que x é o valor de processos que querem a correr em paralelo, em algumas situações permite-nos aumentar a performance do processamento através da resolução de tarefas em paralelo como veremos a seguir.

Testes de Performance

:~/teste$ ls
teste1  teste2
~/teste$ ls teste1/ | wc
33      58    1036
~/teste$ ls teste2/ | wc
33      58    1036

~/teste$ time find ./teste1/ -name "*.pdf" | xargs -Istr pdftotext str
real	1m9.805s
user	0m44.795s
sys	0m6.564s

~/teste$ time find ./teste2/ -name "*.pdf" | xargs -P 6 -Istr pdftotext str
real	0m39.911s
user	0m44.523s
sys	0m6.304s

Utilizando exactamente os mesmos ficheiros vemos alguma diferença a executar a mesma operação com e sem processamento distribuído da tarefa, que é realizada por diversos processos executados em paralelo.

~/teste$ time find ./teste1/ -name "*.pdf" | xargs -Istr rm str
real	0m0.296s
user	0m0.060s
sys	0m0.088s

~/teste$ time find ./teste2/ -name "*.pdf" | xargs -P 6 -Istr rm str
real	0m0.163s
user	0m0.060s
sys	0m0.084s

Novamente podemos verificar um aumento na performance das acções com o processamento em paralelo.

Outras utilizações

Além destas tarefas que foram mostradas em cima digamos, do dia-a-dia de qualquer utilizador de um sistema Unix que tenha descoberto as maravilhas da consola, podem ser destacadas utilizações mais direccionadas a áreas de trabalho:

• utilização do xargs em conjunto com o ping para detectar vários hosts simultaneamente diminuindo o tempo de espera para grandes pesquisas
• utilização do xargs em conjunto com o nmap. O nmap nos scans não utiliza muita bandwidth para não ser detectado e então podemos fazer scan a mais que um host em simultâneo aproveitando as capacidades da ligação e da máquina
• conversão de discografias completas ou de albuns inteiros de fotos

Mais ideias diferentes?

Man Pages

$ man cp
$ man rm
$ man xargs
$ man ls
$ man find

Neste post o serão abordadas ligações por SSH, Secure Shell ou SSH que é além de um programa, um protocolo de rede que permite a ligação a outra máquina. Possui as mesmas funcionalidades do telnet, no entanto, tem a vantagem de ter a ligação encriptada. E é hoje uma ferramenta utilizada diariamente por SysAdmins (administradores de sistemas) ou por qualquer pessoa que tenha a necessidade de se ligar a um computador remotamente.

Esta dica é especialmente importante para aqueles que utilizam a linha de comandos em sistemas Linux e não aplicações como o Putty, por exemplo.

Para aqueles que precisam de se ligar por SSH a máquinas com diferentes credenciais, existe uma alternativa ao

$ ssh -l joaopedropereira maquina.dominio.com

Podemos configurar o SSH para que para cada domínio determine diferentes credenciais e configurações.

Exemplo Ficheiro: ~/.ssh/config (pode ser necessário criar)

Host *.fe.up.pt
User login_feup

Host 192.168.1.150
Compression Yes
User login_deskop

Host *.remote.shell.com
User  xpto

Existem imensas opções para configurar a ligação, só é preciso dar uma vista de olhos aos man files
ssh_config, por exemplo:

$ man ssh_config

Para mim é extremamente útil isto. Espero que a dica seja útil para vocês

O Ubuntu 9.10 já ai está à algum tempo e eu decidi fazer o upgrade pois estava ainda com a versão 8.04 LTS do Ubuntu, e 14 (catorze) dias depois de instalar na minha máquina o Ubuntu 9.10 – Karmic Koala (instalada dia 4 de Novembro de 2009) vou deixar aqui a minha opinião sobre ele, tal como prometido: http://tr.im/Ff89 .

O gestor de arranque System-V foi substituído pelo Upstart, o USplash foi substituído pelo XSplash, o que tornou o boot mais rápido. O reboot já não demora tanto como antigamente, desligando o computador completamente em cerca de 3 segundos, o que é óptimo para os utilizadores de computadores portáteis.

O Karmic Koala, traz a versão do Kernel Linux 2.6.31, e o sistema de ficheiros ext4 está agora disponível por omissão.

O Ubuntu é uma das primeiras distribuições a incluir o Gnome 2.28, que proporciona notórias melhorias no ambiente gráfico. O gdm foi também totalmente rescrito, tornando o ambiente de login muito mais acessível e intuitivo. Ao sistema de notificações foram introduzidas melhorias significativas.

Está também mais seguro, o AppArmor foi também melhorado, tendo agora a integração com a Libvirt.

Software Center

Os utilizadores que migram de Windows para Linux, ou que testam um sistema Linux pela primeira vez têm normalmente dificuldades na instalação de aplicações.

A consola parece ser muito complicada e o software center de versões anteriores do Linux também era confuso e complexo. Mas esta última versão não sofre do mesmo problema, tem um repositório de software bem organizado, intuitivo e de fácil utilização. Sem dúvida uma excelente introdução/modificação no sistema pois pode facilmente fixar novos utilizadores.

Gestor de Redes

O gestor de redes também está mais intuitivo, completo e organizado facilitando as operações.

Hardware e Estabilidade

Ao nível de detecção e compatibilidade com hardware também existem melhorias introduzidas pelo Ubuntu 9.10, quando instalei o Ubuntu 8.04 no meu Toshiba A200 foi-me necessário instalar os drivers da WebCam, da placa wireless e da placa de som.

O mesmo não foi necessário desta vez, foi tudo reconhecido e está tudo a funcionar perfeitamente sem qualquer tipo de configuração ou instalação de extras.

Está também mais estável. Antes na reprodução de vídeos existiam por vezes crashes completos do sistema, coisa que agora não acontece.

Mas nem tudo é bom…

O meu leitor preferido era e continua a ser o Amarok, até agora utilizava a versão 1.4, no entanto, o Ubuntu trouxe a versão 2.2.0 que provavelmente não foi testada correctamente pois apenas funcionava correctamente a tocar streams pois não tocava música a correr directamente do computador. Foi necessário fazer um downgrade do phonon-backend-xine para que tudo ficasse correctamente.

Download Ubuntu: http://www.ubuntu.com/getubuntu/download

Recentemente decidi fazer update do sistema operativo secundário do meu portátil, o Windows Vista, pois este para além da lentidão própria do sistema, estava a dar-me muitos problemas e não me permitia trabalhar correctamente.

Então decidi experimentar o Windows Seven. Depois de fazer a instalação do Windows Seven, tal como estava à espera fiquei sem o boot menu ao qual acedia anteriormente, e não conseguia aceder ao meu sistema principal, Linux distribuição Ubuntu. Fiz boot do sistema normalmente com Windows Seven e comecei à procura de como solucionar isto, há muito que não tinha de resolver estas questões… E nada encontrei talvez por ainda o problema ser recente, não o caso geral mas o caso particular. Depois de alguma pesquisa e tentativas cheguei a uma solução.

Como solucionar o problema

• Correr o Ubuntu em LiveCD
• Abrir a consola
• escrever sudo grub
• escrever find /boot/grub/stage1
• Verificar output [meu ex.: hd(0,5)]
• escrever root(hd(0,5)
• escrever setup(hd0)

E com estes passos já deve estar o problema solucionado e devem novamente conseguir aceder à listagem dos vários sistemas operativos.

Alguém teve a mesma situação? Conhecem outra forma de o fazer?