Vale a pena usar o cache?

Mostrando 1 a 10 de 13 registros

2011-12-18 10:17:14
Gilson Barbosa

Pessoal,

Estive fazendo alguns testes com o Speedr e me depararei com alguns problemas que me puseram a pensar se realmente o uso de um cache será vantajoso, veja minha situação:

  • Cerca de 100 clientes
  • Tenho 10 megas de banda
  • Uso simultâneo de cerca de 5 megas
  • Montei um Core i7 c/ 8gb de memória, placa mãe off, hd 1tb cache e 50gb p/ sistema

Bom a ideia do cache é muito boa, afinal poderei economizar link, porém com a minha situação acima e o tempo que fiquei testando em meu pc cheguei a seguinte conclusão:

  • Passando pelo cache o tempo de resposta dos sites é muito maior, ele demora para começar abrir o site (principalmente sites de vídeos), e se tiver o conteúdo do site no cache abre um pouco mais rápido, porém demora muito mais do que se tivesse ligado direto na internet, acho que isso ocorre por que ele tem que guardar os arquivos do site, ver se já tem algum salvo, etc.

  • Com o número de usuários que tenho qual será a probabilidade deles abrirem o mesmo conteúdo e assim fazer uso do cache, afinal hoje em dia tem tanta coisa para se ver e minha cliente-la é bem diversificada.

  • No caso dos vídeos, se o cliente visita o youtube e assiste um vídeo pela metade, ou não deixa carrega-lo até o fim não será gravado no cache, o que acontece muito concorda?

  • Também percebi que o cache salva imagens pequenas dos sites, sendo que estas imagens podem ser atualizadas e o cliente continuará recebendo a imagem antiga, isso é um problema, afinal sites são atualizados com muita frequência.

  • Identifiquei um problema com o 4shared que pode se estender a outros conteúdos, fui baixar dois arquivos diferentes (tamanhos diferentes) que tem aparentemente o mesmo nome, o primeiro baixou normalmente, agora o segundo ele converte para o tamanho do primeiro e o puxa direto do cache, ou seja, não consigo baixar de jeito nenhum o outro arquivo.

Enfim era isso,

Estou reavaliando o uso do cache aqui na empresa, vou fazer mais alguns testes e ajuste para ver se consigo chegar em algo ideal que me de muito mais vantagens do que desvantagens, afinal a ideia é economizar link e aumentar a resposta ao cliente, e não ficar tendo dores de cabeça por conteúdos que não abrem, dão erro, etc.

Obrigado.

2011-12-18 11:11:28
Henrique Fernandes Silveira
Developer
License Level: 8

Bom dia Gilson,

O cache de windows updates pode trazer muita vantagem e deixar seu link mais vazio para downloads uteis, como estava utilizando apenas 1 HD de cache, pode ser que a navegação não tenha ficado muito boa, por isso recomendamos usar mais de 8GB de RAM e mais de 2 discos de cache para que a navegação fique mais rápida, principalmente o acesso a arquivos pequenos na RAM.

Com relação ao Youtube, na versão 0.9.0, se o usuário não deixar gravar até o final o sistema para de baixar e não salva o vídeo, se ele assistir da metade vai funcionar normalmente.

Pelo seus comentários parece que ainda não testou a versão 0.9.0 RC10, pois os relatos que fez, são problemas da versão 0.8.1, estou certo?

2011-12-18 19:30:27
Guilherme Alves
Developer

Algumas observacoes:

Passando pelo cache o tempo de resposta dos sites é muito maior, ele demora para começar abrir o site (principalmente sites de vídeos), e se tiver o conteúdo do site no cache abre um pouco mais rápido, porém demora muito mais do que se tivesse ligado direto na internet, acho que isso ocorre por que ele tem que guardar os arquivos do site, ver se já tem algum salvo, etc.

A nossa arquitetura é muito rapida em verificar a existencia de arquivos ja guardados, pois existe um indice totalmente na memoria RAM que permite que os objetos sejam identificados em tempo linear (hash table), nao gerando para tanto um unico acesso de IO em disco para objetos que ainda nao estao em cache. Grandes porcoes de memoria (se a maquina permitir) sao reservadas tambem para cache de objetos inteiros apenas na memoria, reduzindo bastante a latencia dos acessos.

Os problemas relacionados a respostas lentas ja foram discutidos a exaustao aqui no forum, mas vamos as perguntas:

a) Marca/modelo da placa mae? O chipset suporta AHCI?

b) Marca/modelo dos discos? (de cache e sistema)

c) DNS configurado no speedr para resolucao de nomes. Caso seja interno, em que tipo de dispositivo esta esse DNS?

Com o número de usuários que tenho qual será a probabilidade deles abrirem o mesmo conteúdo e assim fazer uso do cache, afinal hoje em dia tem tanta coisa para se ver e minha cliente-la é bem diversificada.

Considere os conteudos automaticos, que geram volumes enormes de trafego (atualizacoes diversas, downloads de arquivcos grandes, tanto em HTTP quanto em FTP), e os usuarios que mantem listas de favoritos de videos de clipes de musica e etc).

Converse com outros usuarios que tem a ferramenta em uso (e nao sao poucos), e confira os indices de economia/desempenho (quando o hardware é bem dimensionado e o dimensionamento de rede e DNS tambem) que outros usuarios tem.

No caso dos vídeos, se o cliente visita o youtube e assiste um vídeo pela metade, ou não deixa carrega-lo até o fim não será gravado no cache, o que acontece muito concorda?

Por favor, teste nossa ultima versao liberada 0.9RC10.

Também percebi que o cache salva imagens pequenas dos sites, sendo que estas imagens podem ser atualizadas e o cliente continuará recebendo a imagem antiga, isso é um problema, afinal sites são atualizados com muita frequência.

O cabecalho HTTP define uma serie de cabecalhos especificos para cache, onde sao definidos tempo de vida dos objetos, se ele pode ser cacheado ou nao. Alem disso, podemos detectar quando um mesmo cliente da REFRESH em uma pagina qualquer, e eliminar os objetos cacheados antes do tempo definido no HEADER.

Pra completar, é possivel gerar requisicoes onde o speedr pode perguntar ao servidor de origem se tal objeto sofreu modificacoes nos ultimos X minutos.

Tudo isso é previsto no protocolo HTTP/1.1, e esta implementado na ultima versao da nossa ferramenta (0.9RC10).

Alem disso, podemos alterar o comportamento da ferramenta utilizando os plugins, e quebrar as regras do protocolo, forcando situacoes especificas, necessarias para cache de conteudo dinamico.

Os plugins permitem tambem controle fino de QoS, marcando individualmente cada trafego identificado com um DSCP diferente, permitindo que voce faca coisas que nao seriam possiveis sem o speedr, como por ex ter controles de banda individuais para atualizacoes de windows a antivirus que variam com o horario, enfileirando as requisicoes durante o dia com pouca banda, e liberando completamente a banda na madrugada para baixar esses objetos.

Identifiquei um problema com o 4shared que pode se estender a outros conteúdos, fui baixar dois arquivos diferentes (tamanhos diferentes) que tem aparentemente o mesmo nome, o primeiro baixou normalmente, agora o segundo ele converte para o tamanho do primeiro e o puxa direto do cache, ou seja, não consigo baixar de jeito nenhum o outro arquivo.

O 4Shared é um dos casos em que precisamos quebrar as regras do protocolo com um plugin especifico. Estamos trabalhando em um formato mais rapido de atualizacao de plugins (automatica, sem intervencao), que vai facilitar bastante a atuacao para corrigir problemas devido a mudanca em que o conteudo é servido.

Por enquanto, basta desabilitar o plugin relacionado ao servico que esta causando problemas, com um clique na interface web.

Podemos te ajudar em toda a avaliacao, comecando pelas perguntas A, B e C que te fiz no comeco dessa longa resposta. Respondi em detalhes por que as suas duvidas costumam ser duvidas comuns.

Espero ter sido util.

2011-12-18 20:18:10
Gilson Barbosa

Bom vamos lá,

Segue a configuração detalhada do servidor de cache:

- Placa Mãe Off-Board Asus P6x58d-e que suporta AHCI (fui conferir na BIOS e o mesmo estava desabilitado, agora eu habilitei).
- Processador Core i7 930 2.8Ghz
- 2x Memória DDR3 1333mhz Kingston
- 1 HD 1TB Samsung SataII p/ cache
- 1 HD 50GB Seagate p/ sistema

- Estou usando a versão 0.8.1 do speedr
- O DNS configurado são os do meu link, da embratel, já usei do google mas não percebi diferença.

Lembrando que fiz o teste com somente 2 computadores conectados, ou seja, a configuração da maquina é mais que suficiente, por isso estranhei a demora no acesso, algumas dúvidas:

- Faz diferença se usar hd 500gb ao inves de 1tb?
- E se usar dois hd's de 500gb é melhor que 1 só? ou seja quanto mais hd melhor?
- E se usar hd's sata3(minha placa mãe aceita) dá diferença?

O problema deste teste com mais hd's é o preço dos mesmos, estão bem salgados no momento hehe.

Bom, vou ver se consigo atualizar pra ultima versão (Speedr 0.9.0 RC10).

No aguardo, obrigado.

2011-12-19 07:57:01
Henrique Fernandes Silveira
Developer
License Level: 8

Gilson,

O AHCI vai fazer uma grande diferença, e também a quantidade de discos de cache é importante para um bom desempenho, portanto é melhor sim dois discos de 500GB do que 1 de 1TB.

Acredito que vai ver uma grande diferença também com a versão mais nova (0.9.0 RC10) que esta bem melhor em questão de desempenho.

2011-12-19 19:08:41
Guilherme Alves
Developer

Alem disso, testando a ferramenta com somente um cliente, voce nao vai sentir todo o potencial, visto que a coisa toda funciona como um motor, ou seja, as hash tables vao sendo populadas e os espacos de RAM FS vao sendo populados tambem.

Alem disso, o cache de DNS vai tambem sendo populado, aumentando a velocidade das respostas.

O ideal seria "testar" com pelo- 50 clientes, num hardware bem dimensionado.

2011-12-19 19:15:46
diogo calazans

Amigao, tenho ele a 12 dias, e minha rede nao pode ficar mais sem, seu tempo de resposta demorado, verifica o suporte a ahci, e tambem os dns, nao use o gateway do mikrotik, sobre, pow so tenho 100 user, onde vai estar a economia, como nosso amigo falou e complemento, windows update, ai vem youtube, "ah ,mas normalmente nao veem o mesmo video" ai respondo, eu aqui todo dia, tenho uma seleção que toco musica todo dia, isso eu, fora os user que tambem pode ter a mesma mania, e outra, temos um vicio rotineiro diario, orkut, globo.com etc, percebe se que o cache ganha muito nisso, e essa rotina te faz economizar link. para mim, comecei a usar ele nao com a itencao de economizar, e sim com intencao de entregar paginas com mais velocidades para meus clientes, e consegui, hoje minha rede está 300% mais rapida. E vi a consequencia de economizar banda com isso, ter sempre banda de sobra. Bom queria eu na epoca dos meus 100 user, poder ter um Speedr para auxiliar no meu provedor, na epoca so tinha squid e depox veio o thunder, que travava todo santo dia, mas vc tem essa oportunidade, usar algo bom com um prove pequeno. Teste mais, deixe redondo, os teus relatos nao sao problemas do speedr, e sim do conjunto nao tao bem alinhado.

DioX

2011-12-19 20:21:07
Gilson Barbosa

Bom, estou testando ele ainda,

Com a versão nova e o AHCI habilitados realmente melhorou bem a velocidade, agora vou fazer mais alguns ajustes e queria colocar para todos na rede.

Postarei novidades, obrigado.

2012-01-06 20:35:41
Gilson Barbosa

Pessoal,

Fiz os testes aqui, uma semana de uso e foi a semana que mais nosso suporte trabalhou.

As reclamações foram:

- Vídeos que estavam demorando muito para começar a carregar.
- Sites de jogos on-line onde o cliente não conseguia ficar conectado.
- Lentidão geral em diversos sites.
- Sites que não alteravam seu conteúdo mesmo após alguns dias (sites de notícia com noticias antigas).

Enfim, não tivemos muitas produtividade com o cache e infelizmente abandonamos a ideia.

Afinal, se for para ter que ficar criando milhares de regras para resolver problemas com determinados sites você irá ter muito trabalho, pois os sites são atualizados constantemente e assim será um trabalho sem fim, fora que muitos clientes não reclamam e no fim acaba simplesmente cancelando o serviço.

De todos os caches que testamos o Speedr foi o melhor e mais fácil de lidar, mas para nossa empresa não atendeu.

Nossa próximo passo será se conectar a um PTT próximo para assim fazer uso de um sistema eficiente de tráfego ilimitado.

Sorte a todos, obrigado.

2012-01-06 20:46:11
Guilherme Alves
Developer

Gilson, voce pode compartilhar com a gente qual foi o hardware utilizado (modelos de placa mae, memoria e discos) ou modelo do servidor utlizado?

Qual o volume de trafego (conexoes simultaneas e megabits/s) foi colocado no cache?

Os pontos 1, 2 e 3 normalmente sao relacionados a hardware mal dimensionado para a carga aplicada.

Ja o ponto 4 realmente eh um problema, e ocorre com alguns sites que enviam cabecalhos HTTP fora de padrao, e infelizmente esse eh um caso onde excessoes individuais precisam ser aplicadas.

Temos pensado em resolver o problema do ponto 4 com um sistema centralizado de excessoes, atualizado automaticamente, de forma a lidar com mais precisao e velocidade com os servicos fora de padrao, e remove-los dessa lista assim que possivel.

Sorte, e obrigado pela oportunidade dada testando o Speedr.

2012-01-07 08:38:03
A CARDOSO SANTOS JUNIOR - Ilhéus Telecom

Gilson Barbosa, sua primeira conclusão e errônea e não condiz com a realidade de quem usa o speedr(configurado corretamente), uma coisa e esta acontecendo algum problema de implantação a outra e afirma que o speedr aumenta o tempo de resposta.. se uma coisa funciona com 1000 pessoas e em 10 apresenta problema algum coisa ta errada com essas 10.

Mostrando 1 a 10 de 13 registros

To reply this post or create new ones you must login

Forgot Password?

*emphasis   **more emphasis**

(4 spaces)code

> quote

* List item
* Another list item

1. Ordered list item
2. Other ordered list item

# Fist level title (##, ###, ####)

[Link's Text](http://address.com)