The Blog of a WebDeveloper

English Version | Versão Portuguesa

It’s been a while since I’ve planned on developing a new platform for my work as Web Developer, and next to all Web Developers, and I started to develop some modules and this RSS Generator Class born to fulfill my needs.

Supported versions:
RSS 2.0

Download:
Download it

Features:
Generates RSS 2.0 feeds
All feeds are validated by feed validator
Supports all feed elements
Simple & easy to define channel proprieties
Simple & easy to define item elements
Enables usage of sub-tags and attributes

Example

It’s a minimum “how to” example needed to understand how to use this class. It’s part of the download package.

include( "feed.php" );
 
	//Create a new Feed
	$feed = new Feed( );
 
	//Setting the channel elements
	//Helper -> http://www.rssboard.org/rss-specification
	$feed->setFeedTitle( 'Demo - RSS Generator Class' );
	$feed->setFeedLink( 'http://joaopedropereira.com/blog/rss' );
	$feed->setFeedDesc( 'This is demo of generating a RSS feed. ONLY RSS Version 2.0 Supported' );
	$feed->setFeedImage( 'Oh, my photo...', 'http://joaopedropereira.com/projects/rss_gen', 'http://s3.amazonaws.com/twitter_production/profile_images/63969619/imagemresized.jpg' );
 
	//Is possible to use setChannelElm() function for setting other optional channel elements
	$feed->setChannelElm( 'language', 'en-us' );
 
	//Create a new Item
	$item1 = new Item( );
 
	//Setting the Item elements
	//Helper -> http://www.rssboard.org/rss-specification
	$item1->setItemTitle( 'Item nº 1' );
	$item1->setItemLink( 'http://joaopedropereira.com' );
	$item1->setItemDate( time( ) );
	$item1->setItemDesc( 'Bla, bla, bla, item nº 1.' );
	$item1->setItemEnclosure( 'http://www.beardodisco.com/beatelectric/music/Loverboy12Mix.mp3', '17121349', 'audio/mpeg' );
	$item1->setItemAuthor( 'contacto@joaopedropereira.com (João Pedro Pereira)' );
	//As in Channel is possible to use setItemElm() function for setting other optional item elements
 
	//Create another Item
	$item2 = new Item( 'Item nº 2', 'http://twitter.com/joaoppereira', 'Bla, bla, bla, twitter of the owner of the blog of a webdeveloper' );
 
	$item2->setItemDate( time( ) );
	$item2->setItemAuthor( 'contacto@joaopedropereira.com (João Pedro Pereira)' );
 
	//Adding both created items
	$feed->addItem( $item1 );
	$feed->addItem( $item2 );
 
	//Now we're ready to generate the Feed, Awesome!
	$feed->genFeed( );

Download | Demo

Download | Demo

Há já algum tempo que pretendo desenvolver uma nova plataforma para o meu trabalho como Web Developer, e numa fase posterior abrir como serviço para todos os Web Developers, e por isso comecei a desenvolver alguns módulos para essa plataforma, trabalho que deu, entre outros, no módulo de RSS Feed’s surgindo assim a RSS Generator Class para satisfazer as necessidades.

Versões Suportadas:
RSS 2.0

Download:
Download it

Funcionalidades:
Gera RSS Feeds versão 2.0
As feeds são válidas conforme o feed validator
Suporta todos os elementos quer dos channel’s quer dos item’s
É simples definir as propriedades do channel
É simples definir as propriedades dos items

É possível utilizar sub-tags e atributos

Exemplo

Um pequeno exemplo que mostra como se pode fazer uso desta classe. Faz parte do pacote disponível para download.

include( "feed.php" );
 
	//Create a new Feed
	$feed = new Feed( );
 
	//Setting the channel elements
	//Helper -> http://www.rssboard.org/rss-specification
	$feed->setFeedTitle( 'Demo - RSS Generator Class' );
	$feed->setFeedLink( 'http://joaopedropereira.com/blog/rss' );
	$feed->setFeedDesc( 'This is demo of generating a RSS feed. ONLY RSS Version 2.0 Supported' );
	$feed->setFeedImage( 'Oh, my photo...', 'http://joaopedropereira.com/projects/rss_gen', 'http://s3.amazonaws.com/twitter_production/profile_images/63969619/imagemresized.jpg' );
 
	//Is possible to use setChannelElm() function for setting other optional channel elements
	$feed->setChannelElm( 'language', 'en-us' );
 
	//Create a new Item
	$item1 = new Item( );
 
	//Setting the Item elements
	//Helper -> http://www.rssboard.org/rss-specification
	$item1->setItemTitle( 'Item nº 1' );
	$item1->setItemLink( 'http://joaopedropereira.com' );
	$item1->setItemDate( time( ) );
	$item1->setItemDesc( 'Bla, bla, bla, item nº 1.' );
	$item1->setItemEnclosure( 'http://www.beardodisco.com/beatelectric/music/Loverboy12Mix.mp3', '17121349', 'audio/mpeg' );
	$item1->setItemAuthor( 'contacto@joaopedropereira.com (João Pedro Pereira)' );
	//As in Channel is possible to use setItemElm() function for setting other optional item elements
 
	//Create another Item
	$item2 = new Item( 'Item nº 2', 'http://twitter.com/joaoppereira', 'Bla, bla, bla, twitter of the owner of the blog of a webdeveloper' );
 
	$item2->setItemDate( time( ) );
	$item2->setItemAuthor( 'contacto@joaopedropereira.com (João Pedro Pereira)' );
 
	//Adding both created items
	$feed->addItem( $item1 );
	$feed->addItem( $item2 );
 
	//Now we're ready to generate the Feed, Awesome!
	$feed->genFeed( );

Download | Demo

O PHP-SimpleEventsSystem é uma simples classe em PHP que permite a qualquer programador criar uma aplicação orientada a eventos em PHP. Sendo assim, esta classe possibilita a criação mais facilmente de aplicações web com possibilidade de adicionar plugins, sem que estes tenham de mexer com o código interno da aplicação, permite que uma framework use internamente a classe PHP-SES e melhorando consideravelmente a interacção entre a framework e a aplicação. Mas permite muito mais, permite até onde a sua imaginação chegar.

Basic Overview

Quem quiser ver a documentação completa da framework, pode aceder aqui. No entanto, aqui vai ficar uma explicação da classe e de como ela funciona, que é bastante simples.

A classe cria um array multi-dimensional onde guarda as funções e o respectivo evento a que elas foram anexadas. Sempre que se anexa uma função, a classe pode ou não verificar se a função existe, conforme os parâmetros que o programador introduzir. Se passar nesse teste, verifica se a função já está anexada a esse mesmo evento, e só depois anexa a função (as funções caso seja um array).

Ao executar-mos um determinado evento, a classe verifica se este existe, e em caso afirmativo, percorre o array com as funções anexadas a esse evento, e executa-as a todas pela ordem com que forma anexadas. Caso a opção Auto_run esteja activa, a função vai ainda percorrer todas as funções definidas pelo utilizador (programador da aplicação, utilizador da classe entenda-se) e verifica se alguma coincide com a formatação obrigatória e com o nome do evento em questão (um_nome_qualquer_handles_nome_do_evento). Se essa função já estiver anexada ao array, e por consequente já tiver sido executada, a classe não a executa novamente. Se ainda não estiver anexada, a classe executa-a e, caso a opção Auto_index esteja activa, indexa a função ao array do respectivo evento.

Sugestões de sintaxe dos nomes dos eventos

Numa aplicação de grandes dimensões torna-se importante a sintaxe que usamos e a forma como organizamos os nomes dos eventos, para que não existam conflitos e seja mais fácil memorizar o grande número de eventos que uma aplicação possa ter. Para isso os nomes dos eventos necessitam de ter lógica, e apesar de serem um pouco compridos, serão óbvios. Primeiro teremos de ter em conta algumas considerações.
Os nomes dos eventos podem conter qualquer carácter, incluindo pontos, que podem servir de separador entre as várias “secções virtuais” do nome do evento. No entanto nomes de eventos com pontos não serão possíveis de aceder através da funcionalidade Auto-Index e Auto-Run pois as funções não suportam, obviamente, este tipo de caracteres no seu nome. Assim sendo, sugiro o uso do underscore como separador.
Em todas as aplicações há uma “secção” que deve existir em todos os eventos, que indica se o evento retrata alguma acção em PHP ou HTML. Ou seja, e apesar de todas as instruções em código PHP sejam de PHP, poderão existir eventos que retratam a impressão de texto para o browser, e assim sendo, o nome do evento deve começar por html_, senão, caso retratem acções PHP, como uma conexão a uma Base de Dados, a leitura de um ficheiro, o fim de um ciclo, a execução de uma qualquer estrutura de controlo, etc., deverão começar por php_.
Para a secção de HTML, podemos ainda destinguir se nos estamos a referir a alguma parte genérica do HTML, como por exemplo, um menu, que seja constituído por vários elementos HTML, deve-se adicionar um generic_ a seguir ao html_, ou seja, ficaria html_generic_menu, por exemplo.
Caso seja em PHP, deve-se adicionar o nome da “categoria” da acção que se está a utilizar. Por exemplo se for uma acção qualquer relacionada com a base de dados MySQL, como inserir um registo, coloca-se o mysq_ depois do php_, ficando, por exemplo, php_mysql_query_insert_user.

Nota: Isto é apenas um exemplo de nomenclatura dos eventos, nada de obrigatório.

Exemplos e Demos

Plugins

Actualmente, é quase obrigatório qualquer aplicação, seja ela Web ou Desktop, suportar plugins. Só que isto é muitas vezes uma fonte de dor de cabeça para quem programa em PHP, criar um sistema versátil suficiente para suportar plugins. O PHP-SES permite a criação de Aplicações Web que facilmente suportam plugins. Vamos ver o seguinte exemplo.

require("..\..\Events.php");
 
//Inicia a configuração
Events::setConf("Auto_run", true);
Events::setConf("Auto_index", true);
 
//Carrega os nomes ficheiros dos plugins.
$plugins = scandir("plugins");
 
//Percorre o array com todos os ficheiros de plugins
foreach ($plugins as $index=> $file_name){
        //Verifica se o index actual é um ficheiro e não uma pasta
        if (is_file("plugins/".$file_name)){
                //Inclui e executa o plugin
                require("plugins/".$file_name);
                //Por uma questão de segurança e para não comprometer o funcionamento da aplicação
                //Depois de se carregar um plugin deve-se sempre habilitar a classe
                //Para não se dar o caso de algum plugin a desabilitar e não a habilitar novamente.
                Events::Enable();
        }
}
 
 
echo '< !DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
        <meta http-equiv="Content-Type" content="text/html; charset=iso-8856-16" />';
        //Declara uma variável que permitirá adicionar conteúdo dentro dos plugins para a página
        $content = "";
        //Corre todos os eventos anexados para quando os headers HTML são mostrados
        //Esta é apenas um exemplo da sintaxe para o nome dos eventos.
        Events::Run("html_headers");
        echo $content;
        echo '<title>';
 
        $content = "PHP-SES Plugins Example";
 
        Events::Run("html_show_title");
        echo $content.'</title>
</head><body>';
 
echo "<h1>Título</h1>";
 
$content = "<a href=\"#\">Link1</a><br />";
//Aqui corre os eventos que permitem alterar o menu
Events::Run("html_generic_body_menu");
 
echo $content;
echo '</body>
</html>
'

JavaScript Events

Muitas vezes torna-se cansativo estar a chamar vários exemplos por AJAX, ou até fazer a verificação no PHP através de QueryStrings. Assim sendo, e com este exemplo aplicado, basta, no evento JavaScript, chamar uma função, JavaScript também, o nome do evento em PHP, e depois é só ir adicionando funções PHP ao código PHP.

index.php

< ?php 
require("..\..\Events.php");
 
?>
< !DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
        <meta http-equiv="Content-Type" content="text/html; charset=iso-8856-16" />
        <script type="text/javascript">
        function RunEvent(event_name){
 
                if (window.XMLHttpRequest){// code for IE7+, Firefox, Chrome, Opera, Safari
                        xmlhttp=new XMLHttpRequest();
                } else {// code for IE6, IE5
                        xmlhttp=new ActiveXObject("Microsoft.XMLHTTP");
                }
 
                xmlhttp.onreadystatechange=function(){
                        if (xmlhttp.readyState==4 && xmlhttp.status==200){
                                document.getElementById("count_number").innerHTML=xmlhttp.responseText;
                        }
                }
 
                xmlhttp.open("GET","run.php?event=" + event_name + "",true);
                xmlhttp.send();
        }
        </script>
        <title>JavaScript Buttons Example</title>
        </head>
        <body>
        <input type="button" name="btn_sample" id="btn_sample" onclick="RunEvent('html_buttons_click_btn_sample')"  value="Test me. Click me." />
        <div id="count_number">0</div>
        </body>
        </html>

run.php

 
require("..\..\Events.php");
 
if (!defined(IS_AUTH)){
        exit;
}
 
//Se a variável $_GET["event"] não estiver declarada, termina a execução da página.
if (!isset($_GET["event"])){
        echo "Não foi definido nenhum evento.";
        exit;
}
 
//Define algumas configurações para não ser necessário anexar a função.
Events::setConf("Auto_run", true);
Events::setConf("Auto_index", true);
 
//Declara uma função anexada ao clique do botão
function update_file_handles_html_buttons_click_btn_sample (){
        //Vai buscar o número de clicks que o botão já tem
        $number_clicks = file_get_contents("clicks.txt");
 
        //Escreve outra vez para o ficheiro adicionando um clique
        file_put_contents("clicks.txt", $number_clicks + 1);
        echo $number_clicks + 1;
}
 
//Corre todos os eventos associados ao clique do botão.
Events::Run($_GET["event"]);

Pode ver os exemplos em funcionamento, aceda aqui.

Ser WebDeveloper não é uma tarefa fácil, não só temos de estar sempre actualizados relativamente ao que o mercado de trabalho exige relativamente a conhecimentos em ferramentas, frameworks e linguagens de programação como também temos de estar em cima dos hot topics na área do WebDesign e Usabilidade.

Construir um site do zero não é uma tarefa simples, pois exige muito planeamento, estruturação e pensamento criativo e ser criativo é muitas vezes uma dor de cabeça pois quando mais precisamos da nossa amiga criatividade ela pode não aparecer… E é preciso saber estimulá-la.

Tenho visto na Web Portuguesa bons sites a desaproveitar algumas áreas do site, e neste artigo vou referir-me ao footer.

Além do típico Acordo de Privacidade e Informações Legais (que é sempre uma boa forma de aproveitar o espaço) existem algum conteúdo especifico que pode e deve ser usado no footer.

Sitemap – É uma excelente forma de utilizar o espaço do footer pois é útil para os visitantes que se encontrem perdidos ou que simplesmente tenham pressa para encontrar o que procuram sem terem de fazer um scanning por todo o conteúdo do site, que pode ser moroso e por consequência pode fazer-nos perder utilizadores e possíveis clientes. Ninguém gosta de não encontrar rapidamente o que procura e cabe-nos a nós dar-lhes o que desejam.

Informação de Contacto - É também muito importante ter informações de como pode ser feito o contacto com o dono do site ou então criar um formulário de contacto para facilitar o contacto.

Ferramentas e Inspiração:
15 Great Online Form Building Tools
Beautiful Contact Forms For Your Inspiration

Sobre – A par da informação de contacto, uma rápida descrição do que é aquela página, quem é a empresa, quem é a pessoa, etc. algo que faça os utilizadores conhecer melhor.

Social Media –  É sem dúvida uma excelente forma de ganhar mais tráfego e/ou de manter os utilizadores actualizados quanto a informações relativos ao produto/conteúdo que o site tem ou vende.

Esta é uma lista de sugestões do que pode ser colocado no footer dos seus sites e dos sites que desenvolve, contudo a lista não termina por aqui existem muito mais coisas que podem ser colocados no footer, feed do Flickr com imagens interessantes, publicidade, formulários para subscrever a newsletters, feeds do twitter e/ou facebook, etc. etc. etc. Apenas a imaginação e originalidade de cada um é o limite.

É provavelmente ainda um bocado cedo para falar do WordPress 3.0 pois o lançamento desta só está previsto para finais de Maio, mas tenho vindo a brincar um pouco com ele  e com as suas novas funcionalidades.

A versão 3.0 do WordPress promete um visual mais soft da página de administração, vai também introduzir uma nova default theme, a “Twenty Ten”, que permite personalizar o fundo e as opções do cabeçalho ( header ), possibilidade de criar os menus com categorias, tags, posts, links externos, etc., entre outras modificações que podem ver na página oficial.

Neste post vou dar realce a apenas duas características que surgirão na versão 3.0 do WordPress, ou pelo menos que estão prevista e que estão em desenvolvimento.

WordPress + WordPress MU == WordPress 3.0

O WordPress MU ou WordPress Multi-User era uma versão modificada do sistema WordPress para permitir redes de blogs numa só instalação.

Site: http://mu.wordpress.org

Create a Network of Multiple Sites on WordPress 3.0

É tão simples como adicionar no ficheiro wp-config.php a seguinte linha:

define ('WP_ALLOW_MULTISITE', true);

Seleccionar o menu Tools -> Network e seguir as instruções.

Este é o menu que vos espera depois de tudo configurado.

Ver artigo: http://codex.wordpress.org/User:Andrea/Create_A_Network

Custom Post Types on WordPress 3.0

Quem já teve de desenvolver uma theme para WordPress um pouco mais complexo provavelmente já teve de fazer uns quantos hacks de forma a conseguir ter estilos diferentes para categorias diferentes… Os developers do WordPress pensaram em nós e decidiram tornar a possibilidade de ter vários estilos para diferentes tipos de posts de uma forma mais simples na versão 3.0 do WordPress.

Para tirar partido desta funcionalidade é necessário adicionar o seguinte código no ficheiro wp-content/themes/yourtheme/functions.php :

register_post_type('testemunials', array(
    'label' => __('Testemunials'),
    'singular_label' => __('Testemunial'),
    'description' => 'Here goes my testemunials',
    'public' => true,
    'show_ui' => true,
    'capability_type' => 'post',
    'hierarchical' => false,
    'rewrite' => false,
    'query_var' => false,
    'supports' => array(
        'title',
        'editor',
        'author',
        'excerpts',
        'comments'
    )
));

Tal como é possível definir vários tipos de posts também é possível utilizar esta funcionalidade para páginas diferentes alterando o parâmetro ‘capability_type’ para ‘capability_type’=>’page’.

Function Reference/register post type: http://codex.wordpress.org/Function_Reference/register_post_type

É com orgulho que vos apresento o mais recente projecto patrocinado pelo The Blog of a WebDeveloper. O CD Submundos um Projecto Nacional do Mundo da Música.

O CD Submundos é um CD criado com músicas dos membros do fórum submundos, e partilhado pela Internet, com a finalidade de divulgar os seus talentos. O CD Submundos é partilhado na Internet através de vários sites, com as melhores músicas escolhidas através de votação pelos membros.
Esta versão contou com 7 músicas, organizadas de acordo com a maior percentagem de votos.

CD Submundos:

1 – Insubmysso – 69
2 – Dj Bu5a – My Soul (DJ DeepBlue & Maurillo Remix)
3 – Isolaz – Mudam os Tempos
4 – Mister Music – How I feel
5 – Vedeta – Honey i got money
6 – dmL – Sem Ar
7 – MRK – Se Soubesses (O Quanto)

Download: [35mb]

hotfile | megaupload

Para cada projecto que tenho desenvolvido ultimamente utilizando a linguagem de programação server-side PHP, tenho-me guiado por uma checklist de forma a não me esquecer  de nada evitando assim falhas graves nas aplicações que desenvolvo. Pois a segurança é uma das preocupações que tenho.

Esta checklist aborda diversas situações como, casos gerais, casos de input, file uploads, autenticação, entre outros.

Click on image to download

Recomendo vivamente a sua utilização e até sugestões de melhorias, apesar de ela não ser da minha autoria.

O que acham desta checklist? Conhecem alguma melhor? Como se guiam no desenvolvimento de aplicações web de forma  a manter a segurança da mesma?

Hoje, dia 17 de Março de 2010, lanço uma primeira versão “estável” de um serviço que já corre à algum tempo no dominio ConnectionDetails.info.

Este serviço pretende dar informações precisas relativas ao browser bem como algumas características da ligação do utilizador. Numa primeira fase as informações disponíveis são:

• IP
• Browser
• Sistema Operativo
• De onde veio o utilizador (Referrer)
• Porta que está a ser usada para efectuar a ligação
• Velocidade da ligação

Ainda existem alguns bugs quer na aquisição de informações quer no design. Agradecia que fosse feito o report das falhas encontradas e imprecisões.

No futuro pretendo lançar uma versão mais precisa a identificar as informações, bem como adicionar funcionalidades como tentar descobrir qual os routers por trás da ligação, identificar características especificas do browser como as versões de JavaScript suportadas, CSS, versão do Java e do Flash em utilização, etc. Uma outra funcionalidade é o fetching das bases de dados de vulnerabilidades existentes online de forma a encontrar falhas de segurança para a versão dos software instalados.

Agradeço desde todo o suporte que possam dar em especial ao nível de sugestões de funcionalidades, bug catching, criticas/comentários e divulgação.

Já há algum tempo que tenho andado a investigar sites nacionais em busca de falhas de segurança e quase todos as têm, as mais frequentes são as falhas XSS mas também é muito comum encontrar falhas de SQL Injection.

Hoje tive acesso através de um tweet do Público (http://bit.ly/aU0kuy) à informação de que o site das Novas Oportunidades tinha sido explorado e alterado por  alguém… Decidi então enquanto era tempo verificar as falhas que existiam no site e qual o meu espanto (not) quando vejo presentes falhas de XSS, falhas de SQL Injection e falhas de validação de parâmetros que permitem Impersonation Attack através de injecção de URL.

O ataque relatado pelo público foi feito através de SQL Injection possivelmente na página seguinte pois esta está totalmente aberta a ataques deste género: http://testemunhos.novasoportunidades.gov.pt/detalhe_video.aspx

O ataque que referi relativo a problemas de validação de parâmetros que permitem injecção de URL: http://www.novasoportunidades.gov.pt/outerFrame.jsp?link=http://joaopedropereira.com/blog/

Com alguma imaginação pode-se fazer alguns ataques interessantes a partir daqui…

Na pesquisa também podemos facilmente fazer ataques de XSS (Cross Site Scripting) como referi anteriormente: http://www.novasoportunidades.gov.pt/np4/q?q=%3Cscript%3Ealert%28%22The+Blog+of+a+WebDeveloper%22%29%3C%2Fscript%3E

Isto mostra a preparação e conhecimentos ao nível de segurança informática que os WebDevelopers que o estado contrata têm… Atenção este não é o único site governamental com problemas graves de segurança, existem mais e talvez que transaccionem dados mais importantes…

Nota: Este post não tem como intuito incentivar qualquer tipo de ataque informático, pretende apenas informar e alertar para os problemas informáticos que podem surgir num futuro nas infraestruturas governamentais (e não só). É importante ter as nossas plataformas o mais seguras possíveis, para não sermos surpreendidos um dia.

EDIT

As falhas estão a ser corrigidas, quase completas por isso para registo futuro adicionei screenshots das falhas. É também de valor ler e participar nos comentários a este post que estão a dar uma boa análise do Web Development nacional.

EDIT 2

Governo desmente ataque informático: Portal Novas Oportunidades não foi alvo de ataque informático . Provavelmente precisam que venha algo abaixo e que cause danos a muitas pessoas para admitirem os erros…

E já começou a fase de Votação para o Super Bock Super Blog Awards, onde serão eleitos os melhores blogs de Portugal e de Angola em diversas áreas como a que está este blog inscrito Tecnologia.

Como é que podem votar no meu blog?

Fácil: basta clicar no dístico de participação, que colocaste no teu blog aquando da fase de inscrição. Em alternativa, podes pesquisar no site pelo nome do blog ou autor, e aceder ao perfil de cada blog no site Super Bock para registares o teu voto.

Preciso de estar registado no site Super Bock para votar?

Sim. O registo é necessário para evitar situações de fraude na votação, assegurando que os blogs têm uma justa classificação e são avaliados de forma autêntica.
Para quem ainda não é registado, tem ainda a vantagem de poder participar nos futuros passatempos Super Bock, de música a cinema e outras oportunidades.

Com processadores multi-core semi-parados na maior parte das nossas tarefas e com a necessidade de processar grandes quantidades de informação / ficheiros é importante aproveitar toda a potencialidade de todos os núcleos.

Nos sistemas Unix (neste caso testei num sistema Linux com a distro Ubuntu) é possível separar uma tarefa em vários processos de forma a que a tarefa seja distribuida por mais que um núcleo do processador (no caso dos processadores multi-core) e por vários processos (jobs) que podem ser executados em simultâneo não dependendo que o primeiro acabe para executar o segundo podendo ter vários a correr ao mesmo tempo aumentando assim a performance da acção.

Este comando suporta a opção -P com a qual podemos especificar a quantidade de processos (jobs) a correr em paralelo.

$ man xargs
(...)
 --max-procs=max-procs
-P max-procs
Run  up  to max-procs processes at a time; the default is 1.
If max-procs is 0, xargs will run as many processes as possible  at a  time.
Use the -n option with -P; otherwise chances are that only one exec will be done.
(...)

Exemplo de Utilização

$ ls . | xargs -P 0 -i -t cp -R {} ../novo/

Decompondo o Exemplo

Listagem dos ficheiros da pasta

$ ls .

Xargs

xargs -P 0 -i -t

“-P 0″ utiliza o número máximo de processos
“-t” verbose mode activo

Cópia

cp -R {} ../novo/

“-R” copia de forma recursiva as pastas existentes
“{}” existe devido ao parâmetro “-i” do comando xargs utilizado, que corresponde a cada ficheiro/pasta que queremos copiar
“../novo” pasta de destino

Mais exemplos

Apagar todos os ficheiros com a extensão pdf

find ./ -name "*.pdf" | xargs -t -Istr rm str

Converter ficheiros pdf (.pdf) para ficheiros de texto simples (.txt)

find ./ -name "*.pdf" | xargs -Istr pdftotext str

Nestes exemplos podem acrescentar sempre a opção “-P x” em que x é o valor de processos que querem a correr em paralelo, em algumas situações permite-nos aumentar a performance do processamento através da resolução de tarefas em paralelo como veremos a seguir.

Testes de Performance

:~/teste$ ls
teste1  teste2
~/teste$ ls teste1/ | wc
33      58    1036
~/teste$ ls teste2/ | wc
33      58    1036

~/teste$ time find ./teste1/ -name "*.pdf" | xargs -Istr pdftotext str
real	1m9.805s
user	0m44.795s
sys	0m6.564s

~/teste$ time find ./teste2/ -name "*.pdf" | xargs -P 6 -Istr pdftotext str
real	0m39.911s
user	0m44.523s
sys	0m6.304s

Utilizando exactamente os mesmos ficheiros vemos alguma diferença a executar a mesma operação com e sem processamento distribuído da tarefa, que é realizada por diversos processos executados em paralelo.

~/teste$ time find ./teste1/ -name "*.pdf" | xargs -Istr rm str
real	0m0.296s
user	0m0.060s
sys	0m0.088s

~/teste$ time find ./teste2/ -name "*.pdf" | xargs -P 6 -Istr rm str
real	0m0.163s
user	0m0.060s
sys	0m0.084s

Novamente podemos verificar um aumento na performance das acções com o processamento em paralelo.

Outras utilizações

Além destas tarefas que foram mostradas em cima digamos, do dia-a-dia de qualquer utilizador de um sistema Unix que tenha descoberto as maravilhas da consola, podem ser destacadas utilizações mais direccionadas a áreas de trabalho:

• utilização do xargs em conjunto com o ping para detectar vários hosts simultaneamente diminuindo o tempo de espera para grandes pesquisas
• utilização do xargs em conjunto com o nmap. O nmap nos scans não utiliza muita bandwidth para não ser detectado e então podemos fazer scan a mais que um host em simultâneo aproveitando as capacidades da ligação e da máquina
• conversão de discografias completas ou de albuns inteiros de fotos

Mais ideias diferentes?

Man Pages

$ man cp
$ man rm
$ man xargs
$ man ls
$ man find