SistemasdeArquivos Distribudos. Dissertac~aoApresentadaao FabioKon. AreadeConcentrac~ao:Ci^enciadaComputac~ao

Transcrição

1 SistemasdeArquivos Distribudos Dissertac~aoApresentadaao FabioKon AreadeConcentrac~ao:Ci^enciadaComputac~ao InstitutodeMatematicaeEstatsticada MestreemMatematicaAplicada paraaobtenc~aodograude UniversidadedeS~aoPaulo Orientador:Prof.Dr.ArnaldoMandel edafapesp(processono.93/0603-1) EstetrabalhorecebeuapoiodoCNPq {S~aoPaulo,novembrode1994{

2 SistemasdeArquivos Distribudos naldadissertac~aodevidamentecorrigida Esteexemplarcorrespondearedac~ao S~aoPaulo,25denovembrode1994. eaprovadapelacomiss~aojulgadora. edefendidaporfabiokon Prof.Dr.ArnaldoMandel(orientador){IME-USP Prof.Dr.MarkusEndler{IME-USP Profa.Dra.ReginaHelenaCarlucciSantana{ICMSC-USP Bancaexaminadora:

3 apaula

4 Harp,FroliceEcho. caractersticasdandoespecialatenc~aoaossistemasnfs,andrew,coda,sprite,zebra, lhaseseguranca.analisamosdiversossistemasdearquivosexistentesquantoaestas SistemasdeArquivosDistribudos,ouseja,espacodenomes,localizac~ao,cache,consist^encia,replicac~ao,disponibilidade,escalabilidade,heterogeneidade,toler^anciaafa- Estetrabalhoseiniciacomumadiscuss~aosobreasprincipaiscaractersticasdos Resumo emleases{ummecanismoparaagarantiadeconsist^enciaemsistemasdistribudos. Finalmente,descrevemosanossaimplementac~aodosistemadearquivosdistribudo SODA{queutilizaleases{apresentandodadossobreoseudesempenho. vosdistribudose,emseguida,apresentamosumnovomodeloparasistemasbaseados Descrevemosalgunsmodelosanalticosparaocomportamentodesistemasdearqui- Systems,namelylocality,namespace,cache,consistency,replication,availability,scalability,heterogeneity,faulttoleranceandsecurity.Weanalyzeseverallesystems basedonthesecharacteristics.wefocusmainlyonnfs,andrew,coda,sprite,zebra, Harp,Frolic,andEcho. WebeginwithadiscussionofsomeofthemaincharacteristicsofDistributedFile Wethendescribesomeanalyticalmodelsofthebehaviorofdistributedlesystems. Abstract performance. thesodadistributedlesystem{whichusesleases{presentingsomeresultsonits sureconsistencyonadistributedsystem.finallywedescribeourimplementationof Afterthatwepresentanewmodelofsystemsbasedonleases{amechanismtoas-

5 inumerastraduc~oestaiscomotrancaebloqueio.jadeadlock,porsuavez,podesertraduzido umatraduc~aosatisfatoriaeconsensualnanossaqueridalngua.termoscomolockpossuem Digoistoporqueumaseriedetermoschavesdateoriadesistemasoperacionaiscarecemde Escreverumadissertac~aosobresistemasoperacionaisemportugu^esn~aoeumatarefafacil. Preludio troduzoumnovoconceitoemportugu^es.algunstermos,comosoftware,porem,caramsem consigamosconvergirparaumvocabulariocomumnosproximosanos. traduc~aoesemagraacorretaemportugu^es(softuer)amden~aochoca-lo. comoparalisac~ao,bloqueiomorto,impasse.cadaautorpossuioseutermopreferido.oxala Nestetrabalho,opteiporcitarotermocorrespondentenalnguainglesasemprequein- ingl^es. Utilizaremos,tambem,oneologismoacessarcomomesmosignicadodoverbotoaccessdo apresentados. seencontranoaurelio.utilizei,semperd~ao,asformascacheia,cacheiam,cacheado.quem sabeelasaparecamfuturamenteemdicionariosdalnguaportuguesaaoladodecacheada (especiededancapraticadanafestadereisnonordeste)ecacheado(emformadecachos). Conto,portanto,comasuaboavontadeparaaassimilac~aodostermostecnicosaqui N~aoencontreinenhumaalternativasatisfatoriaparaautilizac~aodoverbocachear,quen~ao pessoasasquaisdevoumagradecimentoespecial.aoarnaldodevoumaboapartedetodoo meuconhecimentoemci^enciadacomputac~ao.desdeofuncionamentodosfamososcomputadoresapapelateaintersecc~aodematroidesco-gracos,desdeaanalisedabuscabinariaate oteoremadekleene,desdeamanipulac~aodearquivosdosateasidiossincrasiasinndasde umarededecomputadoresreal.n~aobastasseisso,devoaindaagradec^e-lopelasuadisposic~ao constanteemorientarinteligentementecadapassodaelaborac~aodestetrabalhosemnunca tolheraminhaliberdade. Estetrabalhon~aopoderiaserrealizadodemaneiraalgumasemacolaborac~aodeduas dissertac~aoesemprerespondeucriticamenteoferecendosugest~oesvaliosas.oseuentusiasmo contagianten~aoselimitouasquest~oestecnicas;estravasoueserviudeestmuloparaqueeu n~aoperdesseavontadedecontinuartrabalhando. tornouinevitavel.adilma,assimcomooarnaldo,examinou,emtemporeal,cadalinhada contribuic~aoseinicioumesmoantesdaescolhadotemadestadissertac~aomasfoidurantea pesardedistantesicamente,asuaproximidadefoienormeefundamental.sintoqueasua escolhadotemaqueasuaparticipac~aosetornouclarae,apartirda,suacumplicidadese UmagradecimentoespecialssimoeenderecadoaProfessoraDilmaMenezesdaSilva.A- eamigosquev^emmeauxiliandonosaspectostecnicosen~aotecnicosdavida:: leasesequeauxiliaramnaelaborac~aodomodeloanalticodocaptulo4.obrigado. tatsticadoimeeaoprofessorisaacmeilijsondodepartamentodematematicadauniversi- dadedetel-avivdevoalgumashorasqueforaminvestidasnaanalisedocomportamentodos Finalmente,gostariadeagradeceraPaula,aminham~ae,pai,irm~aos,cunhados,sobrinhos AosprofessoresAntonioGalveseVanderleidaCostaBuenodoDepartamentodeEs- ^

6 6

7 Conteudo 1Introduc~ao 1.1ConceitosBasicos::::::::::::::::::::::::::::::::::: NomeseLocalizac~ao::::::::::::::::::::::::::::: Cache::::::::::::::::::::::::::::::::::::: Disponibilidade:::::::::::::::::::::::::::::::: Escalabilidade:::::::::::::::::::::::::::::::: Seguranca::::::::::::::::::::::::::::::::::: Heterogeneidade::::::::::::::::::::::::::::::: Estudodecasos 1.1.9AcessoConcorrente::::::::::::::::::::::::::::: Toler^anciaaFalhas:::::::::::::::::::::::::::::: Replicac~ao:::::::::::::::::::::::::::::::::: Sem^anticadoAcessoConcorrente:::::::::::::::::::::: Operac~oesAt^omicas:::::::::::::::::::::::::::::24 2.3NFS::::::::::::::::::::::::::::::::::::::::::32 2.2UmaVis~aoGeral:::::::::::::::::::::::::::::::::::30 2.1UmPoucodeHistoria:::::::::::::::::::::::::::::::: Comotudoissoserelaciona?:::::::::::::::::::::::: UmProtocoloLivredeEstado::::::::::::::::::::::: Espacodenomes::::::::::::::::::::::::::::::: OProtocolo:::::::::::::::::::::::::::::::::: Seguranca::::::::::::::::::::::::::::::::::: ANDREW::::::::::::::::::::::::::::::::::::::: CacheInconsistente::::::::::::::::::::::::::::: Arquitetura:::::::::::::::::::::::::::::::::: Resumo::::::::::::::::::::::::::::::::::::41 2.5CODA::::::::::::::::::::::::::::::::::::::::: EspacodeNomes::::::::::::::::::::::::::::::: Replicac~ao:::::::::::::::::::::::::::::::::: Arquitetura:::::::::::::::::::::::::::::::::: Seguranca::::::::::::::::::::::::::::::::::: Cache::::::::::::::::::::::::::::::::::::: Resumo:::::::::::::::::::::::::::::::::::: Replicac~ao:::::::::::::::::::::::::::::::::: Desempenho::::::::::::::::::::::::::::::::: ControledaConsist^enciadasReplicas::::::::::::::::::: Osestadosdovenus::::::::::::::::::::::::::::: TratamentodosConitos::::::::::::::::::::::::::54 7

8 82.6SPRITE:::::::::::::::::::::::::::::::::::::::: Resumo:::::::::::::::::::::::::::::::::::: Seguranca::::::::::::::::::::::::::::::::::: TabelasdePrexos(Resoluc~aodospathnames):::::::::::::: Cache:::::::::::::::::::::::::::::::::::::60 CONTEUDO 2.7ZEBRA-UmSistemaListrado::::::::::::::::::::::::::: Disponibilidade:::::::::::::::::::::::::::::::: Comparac~oescomoNFSeoANDREW:::::::::::::::::: AnalisandooDesempenho:::::::::::::::::::::::::: Resumo::::::::::::::::::::::::::::::::::::71 2.8HARP::::::::::::::::::::::::::::::::::::::::: RAID::::::::::::::::::::::::::::::::::::: AsListrasdoZEBRA:::::::::::::::::::::::::::: SistemasdeArquivosBaseadosemlog::::::::::::::::::: FileManager::::::::::::::::::::::::::::::::: Desempenho:::::::::::::::::::::::::::::::::76 2.9FROLIC:::::::::::::::::::::::::::::::::::::::: Resumo:::::::::::::::::::::::::::::::::::: Implementandoareplicac~ao::::::::::::::::::::::::: Desempenho::::::::::::::::::::::::::::::::: ModoNormaldeOperac~ao::::::::::::::::::::::::: ECHO::::::::::::::::::::::::::::::::::::::::: Resumo:::::::::::::::::::::::::::::::::::: Replicac~aoDin^amica::::::::::::::::::::::::::::: Sem^antica::::::::::::::::::::::::::::::::::: Desempenho::::::::::::::::::::::::::::::::: Resumo:::::::::::::::::::::::::::::::::::: Toler^anciaaFalhas::::::::::::::::::::::::::::::89 3ModelosAnalticos 2.11ResumoComparativo:::::::::::::::::::::::::::::::: EspacodeNomes:::::::::::::::::::::::::::::::90 3.1ModelodeBorgho:::::::::::::::::::::::::::::::::: Cache::::::::::::::::::::::::::::::::::::: Desempenho::::::::::::::::::::::::::::::::: Resumo::::::::::::::::::::::::::::::::::::93 3.2ArquiteturadeCacheRemoto:::::::::::::::::::::::::::: IPELA::::::::::::::::::::::::::::::::::::: CFAP::::::::::::::::::::::::::::::::::::: Simulac~ao::::::::::::::::::::::::::::::::::: CrticasaoModelo:::::::::::::::::::::::::::::: SimulatedAnnealing::::::::::::::::::::::::::::: Simulac~ao::::::::::::::::::::::::::::::::::: Omodelo::::::::::::::::::::::::::::::::::: CrticasaoModelo::::::::::::::::::::::::::::::111

9 4Leases CONTEUDO 4.1UmMecanismoparaaConsist^enciadoCache::::::::::::::::::: OmodelodeGray:::::::::::::::::::::::::::::::::: ADurac~aodeumLease::::::::::::::::::::::::::: Sincronizac~aodeRelogios:::::::::::::::::::::::::: SODA::::::::::::::::::::::::::::::::::::::::: MelhorandooModelo:::::::::::::::::::::::::::::::: TrabalhoFuturo::::::::::::::::::::::::::::::: AnalisedoDesempenho::::::::::::::::::::::::::: SODAAdaptativo?:::::::::::::::::::::::::::::: Conclus~ao::::::::::::::::::::::::::::::::::: Implementac~ao:::::::::::::::::::::::::::::::: ComparandocomoSPRITE:::::::::::::::::::::::: EstimativasdoModelo::::::::::::::::::::::::::::122 5OFuturo Bibliograa AOSistemadeArquivosUNIX 5.2OSistemadeArquivosFsicoIdeal::::::::::::::::::::::::: Flexibilidade::::::::::::::::::::::::::::::::::::: Enm,oqueEsperamos:::::::::::::::::::::::::::::::

10 10 CONTEUDO

11 ListadeFiguras 2.4v-nodes::::::::::::::::::::::::::::::::::::::::40 1.2Relac~oesentreosConceitosBasicos:::::::::::::::::::::::::28 2.3Esbocodaac~aodecadaprocesso::::::::::::::::::::::::::39 2.2ProcedimentosdoprotocoloNFS::::::::::::::::::::::::::36 2.1Sequ^enciadecomandosmount:::::::::::::::::::::::::::34 2.5AArquiteturadoNFS::::::::::::::::::::::::::::::::40 1.1Cachesemsistemasdearquivosdistribudos:::::::::::::::::::: Compartilhamentodeumarquivo(concorrentesequencial)::::::::::: DesempenhocomparativodoNFS,ANDREWeSPRITE:::::::::::: Perldesalvaguarda:::::::::::::::::::::::::::::::::52 2.9ArquiteturaglobaldoAFS:::::::::::::::::::::::::::::47 2.8UmaceluladoAFS::::::::::::::::::::::::::::::::::46 2.7Identicadordearquivo(d)::::::::::::::::::::::::::::44 2.6Oespacodenomesdeumcliente:::::::::::::::::::::::::: Olistramento::::::::::::::::::::::::::::::::::::: Acriac~aodedoisarquivos::::::::::::::::::::::::::::::73 3.2SimulatedAnnealing::::::::::::::::::::::::::::::::: ModelodoFROLIC:::::::::::::::::::::::::::::::::86 3.3Padr~aodeacessoaosarquivos:::::::::::::::::::::::::::: UmaRedecom5Clusters:::::::::::::::::::::::::::::: Replicac~aonoECHO::::::::::::::::::::::::::::::::: Replicac~aodeservidoresediscos:::::::::::::::::::::::::: Modelotradicionaldecachenosclientes::::::::::::::::::::::85 4.6Registrodeumarquivonocliente:::::::::::::::::::::::::: EscalabilidadecomWpequeno::::::::::::::::::::::::::: Escalabilidade::::::::::::::::::::::::::::::::::::: Percursodeduassolicitac~oesaoservidor:::::::::::::::::::::: Numerodemensagensgeradaspeloprotocolo::::::::::::::::::: Sensibilidadearelac~aoentreReW::::::::::::::::::::::::: Leasesemumcliente::::::::::::::::::::::::::::::::: Utilizac~aodaCPUdoservidor::::::::::::::::::::::::::: Numerodemensagensdurac~aodosleases:::::::::::::::::::: EstruturadoSPRING:::::::::::::::::::::::::::::::: CarganaCPUdurac~aodosleases:::::::::::::::::::::::: Tempoparaefetuarumaescritade1Kbyte:::::::::::::::::::: Tempoparaefetuaraleiturade1Kbyte::::::::::::::::::::::131

12 12A.2Tabelasdescritorasdearquivos:::::::::::::::::::::::::::146 A.1ApontadoresparaosblocosdeumarquivoUNIX::::::::::::::::: SistemadearquivosctcioconstrudonoSPRING::::::::::::::::139 LISTADEFIGURAS

13 ListadeTabelas 2.4Atividadedosusuariosnossistemasanalisados::::::::::::::::::65 2.2ConitosnoAFSemumperododeumano::::::::::::::::::::55 2.5TamanhodocachenosclientesdoSPRITE::::::::::::::::::::66 2.1Servidorlivredeestado:::::::::::::::::::::::::::::::33 2.3Tabeladeprexos::::::::::::::::::::::::::::::::::58 1.1Deadlocknoprotocolodeduasfases::::::::::::::::::::::::26 2.7Eci^enciadocachedosclientes(%):::::::::::::::::::::::::67 2.8Acessodosprocessosdosclientesaosistemadearquivos:::::::::::::68 2.6Fontesdetrafegonocliente::::::::::::::::::::::::::::: Trafegonoservidor:::::::::::::::::::::::::::::::::: Trafegonoservidorsemmanutenc~aodeconsist^encia::::::::::::::: Acessoadadosdesatualizados::::::::::::::::::::::::::::68 2.9Carganoservidor(%):::::::::::::::::::::::::::::::: Desempenhodowrite-behinddediretorios::::::::::::::::::::: DesempenhodoECHOfrenteaoUNIXlocal:::::::::::::::::::93 3.2Perldasolicitac~aodeexecuc~aodeprogramas::::::::::::::::::99 3.4Par^ametrosdaRede::::::::::::::::::::::::::::::::: Perlmediodosprogramas:::::::::::::::::::::::::::::98 3.3Resultadosdasimulac~aodoCFAP::::::::::::::::::::::::: Par^ametrosdomodelodeGray::::::::::::::::::::::::::: Escritasequencialsemconcorr^encia:::::::::::::::::::::::::130 A.1PrincipaisdiretoriosdoUNIX:::::::::::::::::::::::::::: Leiturasequencialsemconcorr^encia::::::::::::::::::::::::129 A.2Conteudodeumi-node:::::::::::::::::::::::::::::::144 13

14 14 LISTADETABELAS

15 Introduc~ao Captulo1 crescidoquasequeexponencialmente.estefatopossibilitouque,nadecadade80,ocorresse Desdeosurgimentodoscomputadoreseletr^onicosnadecadade40,otamanhoeoprecodestas maquinasv^emcaindovertiginosamente.aomesmotempo,oseupoderdecomputac~aotem umaexplos~aodonumerodecomputadoresexistentesnasindustrias,estabelecimentoscomerciaisenosgrandescentrosdeensinoepesquisa.consequentemente,veioatonaodesejode interconectarasdiversasmaquinaslocalizadasemummesmoedifcioamdecompartilharos recursosdisponveis.destaforma,surgiramasredeslocaiseanecessidadedodesenvolvimento desoftwareparaaadministrac~aodosseusrecursos. ondeest~aoarmazenadososarquivosqueacessa.independentementedoassentoocupadopelo leitura. usuariomaioraproveitamentodosrecursosdistribudospelarede.assim,foramdesenvolvidos sistemasondecadausuariopodeler,criarealterararquivoslocalizadosemdiferentespontos darede.tudoistodemaneiratransparente,istoe,ousuarion~aotomaconhecimentode dediferentesmaquinaseocompartilhamentodeimpressorasoudediscosrgidossopara Comopassardotempo,foramelaboradossistemasmaiscomplexosqueoferecemao Inicialmente,foidada^enfaseaproblemassimplescomoatrocademensagensentreusuarios umanovatarefaeiniciada,ondeelaseraexecutada.seapenasumusuarioestiverconectado existememfuncionamentosistemasondeousuarion~aotemoconhecimentodequalmaquina estaexecutandocadatarefaativadaporele.eosistemaoperacionalqueescolhe,cadavezque transparentementedemodoqueaeci^encianaexecuc~aodastarefassejaamaiorpossvel.ja onaisdistribudosondetodasasatividadesdeumusuarioemumaredesejamdistribudas usuario,asuavis~aodosistemadearquivosesempreamesma. aumaredecommuitasmaquinaseeleexecutarvarioscomandosdecompilac~aodearquivos grandes,porexemplo,osistemairadistribuiratarefadacompilac~aoentrediversasmaquinas Muitapesquisatemsidofeitanosultimosanoscomointuitodecriarsistemasoperacicessos,ouseja,eletransfereprocessosdemaquinasqueest~aosobrecarregadasparamaquinas compoucacarga,maisumavez,demodotransparenteaousuario. em[tan92]: terminouoseutrabalhoeestalivreoucompoucacarga,eleexecutaumamigrac~aodepro- semqueousuariosed^econtadisso.emais,seosistemapercebequealgumadasmaquinas Umadenic~aomaisformaldeSistemaOperacionalDistribudoedadaporTanenbaum Umsistemadistribudobemimplementadopoderiaterdiversasvantagenssobreumsis- n~aopossuemmemoriacompartilhadamasqueseapresentamparaosseususuarios comoumunicocomputador." \UmSistemaDistribudoeaquelequeoperaemumacolec~aodemaquinasque 15

16 16 temacentralizadoesobreconjuntosdemaquinasisoladas: Emumsistemaondediversosusuarioseditamarquivos,compilamprogramaseusam correioeletr^onicoemuitasvezesmaisecientee,principalmente,maisbaratotervarias estac~oestrabalhandoemparalelodoqueumcomputadordegrandeportecomvarios terminaisfazendotudosozinho. CAPTULO1.INTRODUC~AO Emumsistemaheterog^eneo,cadamaquinapodeexecutartarefasdentrodasuaespecialidade.Assim,umsupercomputadorpodeserresponsavelporexecutarcomplicados disponveis. plotters,esimplesenatural. Adistribuic~aodotrabalhopodeserfeitaequitativamenteentreosdiversosequipamentos Seumamaquinapara,asoutraspodemcontinuarotrabalho. Ocompartilhamentodearquivos,bancosdedadosouperifericos,comoimpressorasou calculosmatematicosparaagerac~aodeumaanimac~aogracaenquantoqueumaestac~ao consolidadocomumgrandenumerodeusuarios.mas,semduvidanenhuma,sistemasoperacionaisquepossibilitemumaboaintegrac~aodoscomputadoresderedeslocaisederedesdalmente,n~aoexistenenhumsistemacomtodasascaractersticasdescritasacimaqueesteja Umsistemadistribudoefacilmenteexpandvelempequenospassos. Poroutrolado,osSistemasOperacionaisDistribudosest~aoapenasnasuainf^ancia.Atu- gracaseriaresponsavelpelasuavisualizac~ao. seguir,n~aopossuemtodasascaractersticasesperadasdeumsistemaoperacionaldistribudo e,portanto,n~aopodemserconsideradoscomotais. grandeareaser~aoosgrandescampe~oesnaprefer^enciadosusuariosdossistemascomputacionaisdofuturo. distribudoqueeoseusistemadearquivos.amaiorpartedossistemasapresentadosa Abordaremos,nestecaptulo,osprincipaisconceitosbasicosdosSistemasdeArquivos Nocaptulo2,analisamososprincipaisSistemasdeArquivosDistribudosdesenvolvidos Nestetrabalho,nosconcentraremosemapenasumdosaspectosdeumsistemaoperacional relac~oesentreelas. Distribudosanalisando,tambem,ascaractersticasdesejaveisemtaissistemasbemcomoas nosultimosanossegundoosconceitosdenidosnocaptulo1. consist^enciaemsistemasdistribudos.analisamosummodeloanalticopropostopelocriador doprotocolodosleasesparaapredic~aodotrafegogeradopelomesmo.aposindicarospontos descrevemos,detalhadamente,doissistemasadaptativospropostosrecentemente. nhodesistemasdistribudosbemcomoaimplementac~aodesistemasadaptativos.paratanto, fracosdestemodelo,apresentamosonossopropriomodeloresolvendoosproblemasdomodelo anterior.utilizandoonossomodelo,comparamosodesempenhodoprotocolodosleasescom Nocaptulo4,descrevemosofuncionamentodosleases,ummecanismoparacontrolede Nocaptulo3,abordamosaquest~aodaelaborac~aodemodelosanalticosparaodesempe- odesempenhodoprotocoloadotadopelosistemasprite. dosleases.aposadescric~aodaimplementac~ao,apresentamosoresultadodetestesavaliando oseudesempenho. mentodesistemasdistribudosapresentandopossveissoluc~oes.conclumosapontandoalguns caminhosparaossistemasdearquivosdistribudosdofuturoexpondooquedelesesperamos. Nasec~ao4.4apresentamososistemaSODA,queeanossaimplementac~aodoprotocolo Finalmente,nocaptulo5,relatamososprincipaisproblemasencontradosnodesenvolvi-

17 algunsconceitosfundamentais. warequeoperaemumaoumaismaquinas.umservidoreosoftwarequeoperaemuma 1.1.CONCEITOSBASICOS 1.1ConceitosBasicos N~aopodemosiniciarnenhumadiscuss~aosobresistemasdearquivosdistribudossemdenir Umservicoeumconjuntodefacilidadesoferecidasaosnosdeumaredeporumsoft- 17 umrepositoriodedadosdelongadurac~ao.umsistemadearquivosdistribudoeum amaquinaqueexecutaosoftwarecliente. determinadamaquinaequetratadeofereceroservico.chamaremos,tambem,deservidora maquinaqueexecutaessesoftware. SistemadeArquivosondevariosservidoress~aoresponsaveisporofereceroservicodearquivos paravariosclientesinstaladosemdiferentesmaquinas. UmSistemadeArquivoseumapartedeumSistemaOperacionalquetratadeoferecer Oclienteeosoftwarequeutilizaoservicodoservidor.Tambemchamaremosdecliente /procquenadamaisedoqueumainterfacecomonucleodosistemaoperacional(kernel) quefacilitaaobtenc~aodeinformac~oessobreoestadodosistema. Nessesistemaepossvelacessardispositivosdeentradaesadalocaisouremotosouexecutarfunc~oesrelativasaosistemadejanelasutilizandointerfacesqueimitamumsistemade narealidade,funcionamcomocanaisdecomunicac~aocomdispositivosdeentradaesada1. propositosalemdoarmazenamentodedados.ounixpossuicertosarquivosespeciaisque, Algumasimplementac~oesdoUNIX(comooLINUX,porexemplo)possuemodiretorio OsistemadistribudoPlan9vaiaindamaisfundonautilizac~aodestetipodeinterface. Existemsistemasqueutilizamamesmainterfacedossistemasdearquivosparaoutros deestudodestadissertac~aoassimcomoossistemasdearquivosvirtuais2. zamesteservicoenviandomensagensaosservidoressolicitandoinformac~oessobreosarquivos servidores:servicodenomes,servicodeimpress~ao,servicodecorreio,e,obviamente,servico dearquivos.nestetrabalho,nosconcentraremosapenasnoservicodearquivosqueeoferecidoporumaoumaismaquinasasquaisest~aoconectadasunidadesdearmazenamentode Ossistemasqueapenasaproveitamainterfacedossistemasdearquivosn~aoser~aoobjeto grandequantidadesdedadoscomodiscosrgidosmagneticosouopticos.osclientesutili- armazenadosnosseusdiscosoualterandooseuconteudo. Nasmodernasredesdecomputadoresexistemdiversostiposdeservicosoferecidospelos queservir~aodebaseparaasanalisesdoscaptulossubsequentes NomeseLocalizac~ao Jafazmuitotempoqueaestruturadearvoredediretorioseutilizadaparaorganizaro acessodosusuariosaosarquivosemdisco.hojeemdiaeaestruturamaisdifundidaembora existamoutraspossibilidadesemestudo3.ousodearvoresdediretoriossepopularizoucom Nodecorrerdestecaptuloapresentaremosconceitosdesistemasdearquivosdistribudos ossistemasunixedos. caracteres)epelocaminho(path)ateele.ocaminhoeumasequ^enciadediretoriosseparados consoledamaquina. informac~oesemmemoriavolatil.porconseguinte,todososdadosseperdemquandoaconteceumaqueda repentinadosistema. 1Umexemploeoarquivo/dev/console.Osbytesescritosnestearquivos~aoecoadoscomocaracteresno 2UmSistemadeArquivosVirtual(RAMDISK)ofereceumservicomuitorapidoarmazenandotodasas 3Ver[GJSJ91] NoUNIX(verap^endiceA),cadaarquivoeidenticadopeloseunome(umasequ^enciade

18 18 CAPTULO1.INTRODUC~AO pelocaractere/queindicamalocalizac~aologicadoarquivo.agrupandoosarquivosem diretoriosesubdiretoriosfacilita-seasuamanipulac~aoporpartedosusuarios.acrescentandoseonomedoarquivoaopathobtem-seopathname. Dadaalocalizac~aologicadeumarquivo,istoe,ocaminhoateele,enecessarioanalisar oscomponentesdestecaminhoamdeencontraralocalizac~aofsicadoarquivo.epreciso descobriremquaisblocosdequaisdiscosdequaisservidoresseencontraoarquivoemquest~ao. Quandoosarquivosdeumsistemaest~aodistribudosentrevariosservidoreslocalizadosem diferentesmaquinas,edesejavelquealocalizac~aodestesarquivossejatransparente[flo89] aosusuariosdosistema.emoutraspalavras,quandoousuariodesejarteracessoaum determinadoarquivo,elen~aodeveterquesepreocuparcomalocalizac~aofsicadoarquivo. Assim,n~aoprecisariasaberemqualdiscodequalservidoreleestaguardado. Damesmaforma,quandoumclientedesejaguardarinformac~oesemumarquivoemdisco, eledeveapenasfornecerocaminhoeonomedoarquivonoqualelasdevemsergravadas Cache \Metidonumasobrecasacacorderape, cabelonegro,longoecacheado" VariasHistorias{MachadodeAssis Quaseatotalidadedossistemasdearquivosdistribudosseguemomodelocliente-servidor. Segundoestemodelo,osprocessosques~aoexecutadosnamaquinaclientefazemsolicitac~oes deacessoaosistemadearquivosaosistemaoperacionallocalque,porsuavez,asremetea umamaquinaremota(oservidor)atravesdarede. Noentanto,ocaminhoporondeassolicitac~oestrafegamapresentadoispontosemquea taxadetransfer^enciadeinformac~oesepequenasecomparadaavelocidadedosprocessadores atuaiseaotempodeacessoamemoriaprincipal. Oprimeirogargalo(bottleneck)eoacessoaodiscodoservidor.Amdeacessarosdados armazenadosemumdiscofsico,enecessariomoverobracodeleituraegravac~aoparaatrilha apropriada,esperaratequeosetordesejadopasseembaixodacabecaesoent~aoiniciara leituradosdadosarmazenadosnoritmodeterminadopelavelocidadederotac~aododisco. Todoesteprocessocostumasermuitomaislentodoqueoacessoamemoriaprincipal. Ooutrogargaloeoacessoaoservidoratravesdarede.Comosgrandesavancosna tecnologiaderedesdecomputadores,asuacapacidadedetransfer^enciadeinformac~oestem crescidoenormemente.mas,emmuitoscasos,atransfer^enciadedadosentreduasmaquinas deumaredeeconsideravelmentemaisdemoradadoqueatransfer^enciadedadosdentroda memoriaprincipal4. Alemdisso,seumaredeecompartilhadapormuitasmaquinasproduzindoumacarga muitogrande,otempomediodeenviodemensagensaumentapodendogerar,eventualmente, congestionamentos. Tudoissoencorajaautilizac~aodatecnicadecacheamentoqueconsisteemarmazenar osdadosmais\importantes"emumaporc~aodamemoriadeacessorelativamenterapido chamadadecache5.comisso,espera-seatenderaomaiornumeropossveldesolicitac~oesde acessoaosdadosatravesdestamemoriadeacessorapido. Otipomaiscomumdecacheencontradonaliteraturaeaqueleutilizadopelosprocessadoresquandoacessamamemoriaprincipal[Smi82].Oscomputadoresatuaispossuemuma pequenaporc~aodesuamemoriacujacapacidadedetransfer^enciadedadosemuitogrande. 4EmumamaquinaSPARCserver1000executandoosistemaoperacionalSunOS5.3,oacessoa1Kbyte demoracercade1milisegundonamemoriaprincipal,10milisegundosnosdiscoslocaise90milisegundosem servidoresremotosatravesdeumaredeethernet. 5Otermocacheederivadodofranc^escacherquesignicaesconder.

19 dememoriacacheeounicofatorlimitanteparaasuautilizac~aoeoseucustoelevado. desempenhoatravesdautilizac~aodecachesnoclienteenoservidor.cadaumdestestiposde 1.1.CONCEITOSBASICOS grandeaumentonodesempenhodamaquina.estamemoriadealtodesempenhoechamada Mantendoosdadosmaisacessadospeloprocessadornestaporc~aodamemoria,obtem-seum Nocontextodesistemasdearquivosdistribudos,epossvelobtergrandesganhosem 19 cacheatacaumdosgargalosdosistemadearquivos.agura1.1mostraesquematicamente opontodeatuac~aodestescaches. sistema,enecessarioumalgoritmoparadeterminarquaisarquivosdevemsercacheados,isto quantoemmemoriasecundaria(discoslocais)etemcomonalidadeevitaracessosaoservidor atravesdarede. osacessosaodisco.jaocachedoclientepodeserarmazenadotantonamemoriaprincipal Comooscachesn~aodisp~oemdeespacosucienteparaarmazenartodososarquivosdo Ocachedoservidorearmazenadonamemoriaprincipaletemcomonalidadeevitar Figura1.1:Cachesemsistemasdearquivosdistribudos e,permanecernocache. enviarasalterac~oesparaoservidor(nocasodocachedocliente)ouparaodisco(nocasodo espacodestinadoaocachetermine,oblocoquefoiacessadopelaultimavezhamaistempoe descartadoliberandooespacoqueocupava.casoesteblocotenhasidoalterado,enecessario blocodearquivoquen~aoestanocacheeacessado,esteblocoeincorporadoaocache.casoo futurassolicitac~oesdeacessoaosarquivos,ecomumaadoc~aodatecnicalru(leastrecently Used)paraescolherquaisblocosser~aocacheados.Segundoestatecnica,semprequeumnovo osarquivosquen~aoser~aoacessadosmais.mas,comon~aoepossvelpreverquaisser~aoas Oidealseriamanter,nocache,osarquivosqueser~aoacessadosemseguidaedescartar copiasdeummesmoarquivoemdiferentesclientes. cachedoservidor)antesdedescarta-lo. Consist^encia Aintroduc~aodocachenosclientestrazconsigooperigodaperdadaconsist^enciaentreas 2.3)eoANDREW(sec~ao2.4)limitammasn~aoevitamafaltadecoer^enciaentreoscaches acesseosdadosdesatualizadosqueest~aonoseucache. receberoarquivo,c1armazenaemseucacheumacopiadesteamdeatenderfuturasleituras. Se,emseguida,umoutroclientec2modicaoarquivoemquest~ao,acopiaarmazenada consist^enciaamdeevitarqueumaleiturasubsequenteefetuadaporumprocessodec1 nocachedec1setornadesatualizada.eprecisoadotaralgummecanismodecontroleda Esteproblemapodeserabordadodevariasmaneiras.SistemascomooNFS(versec~ao Suponha,porexemplo,queumclientec1solicitaaleituradeumarquivodoservidor.Apos cliente solicitacoes, ~ de acesso ao sistema de arquivos CACHE rede servidor CACHE disco

20 20 consist^enciaqueossistemascentralizados. concorrentementeosmesmosarquivos.estudaremos,noscaptulos2e4,asprincipaistecnicas dosclientes.jaoobjetivodosprite(sec~ao2.6)edosoda(sec~ao4.4)eofereceramesma empregadasnocontroledaconsist^encia. Nasec~ao1.1.9discutiremososproblemasquesurgemquandodiferentesprocessosacessam CAPTULO1.INTRODUC~AO Cachearerealmentenecessario? deque,sesereservassem8mbytesparaocachedosistemadearquivos,de80a90%dos sistemasacad^emicoscentralizadoscompartilhadosporvariosusuariosechegouaconclus~ao queoscachesnossistemasdearquivosproporcionavam.[smi85]estudouocomportamentode adicionaldemanteraconsist^enciaentreosseuscaches.seraquetodaestasobrecargaacaba fazendocomqueoscachesdeixemdeserumbomnegocio?aexperi^enciamostraquen~ao. sistema.quandovariosclientesacessamomesmoconjuntodedados,existeanecessidade Amanutenc~aodecachesnoclienteenoservidoracrescenta,obviamente,complexidadeao de8mbytesnamemoriaprincipaldosclientes.umaboapartedosarquivostemporariosnem chegariamaserenviadosparaoservidor.ja[hkm+88]mostraquegrandescachesemdiscos acessosaodiscopoderiamserevitadosoferecendoumgrandeganhoemdesempenho.segundo [NWO88]cercade70%dotrafegoentreosclienteseservidorespodeserevitadocomcaches Desdemeadosdadecadade80,estudosjademonstravamograndeganhoemdesempenho tandomuito.segundo[ous90],osprogressosnatecnologiadosacionadoresdediscon~aot^em arquivos6. acompanhadoocrescimentodopoderdecomputac~aodosprocessadoresprincipalmentedepoisdaintroduc~aodatecnologiarisc.destaforma,adiferencaentreavelocidadedeacesso adadosemdiscoseadadosnocachesotemaumentado,oqueincentivacadavezmaisa utilizac~aodecachessemprequepossvel. locaisdosclientespodematenderacercade80%dassolicitac~oesdeacessoaosistemade serconsideradoseriodeve,obrigatoriamente,conterumsistemadecache. Desdeaquelaepoca,otamanhomediodosarquivosacessadospelosusuariosvemaumen Disponibilidade Todousuarioderedesdecomputadoresjateveainfelicidadedeperceberquealgumservico oferecidopelasuareden~aoestavadisponvel.falhasdehardwareoudesoftwareefaltade energiaeletricapodemlevaraqueda(crash)deumamaquina,istoe,aumainterrupc~ao Atualmente,qualquersistemadearquivosdeusogeral,distribudooun~ao,quepretenda einterrompidaduranteumcertointervalodetempo. moment^aneanoseufuncionamento.aquedadeumnoouumafalhaemumcanaldecomunicac~aopodelevaraumapartic~aonarede,istoe,acomunicac~aoentredoispontosdarede partic~oesnarede.seumclienten~aoconsegueestabelecercontatocomalgunsdosservidores, osprocessosquezeramsolicitac~oesaoservicodearquivoss~aonoticadosdequeasinformac~oessolicitadasn~aoest~aodisponveisousimplesmentes~aobloqueadosatequeaconex~ao seestabeleca. Agrandemaioriadossistemasdearquivosdistribudosemoperac~aos~aomuitosensveisa universidades. sistemadearquivos.osartigoscitadosestudaramocomportamentomediodecentrosdecomputac~aode sidoareplicac~aodedados.osarquivoss~aoarmazenadosemdoisoumaisservidores;seum dosservidoresn~aoestadisponvel,algumoutroservidorpoderafornec^e-los. 6Obviamente,estastaxasdeacertodoscachesdependemdotipodeaplicac~aoqueeexecutadasobreo Ometodomaisutilizadoparaaumentaradisponibilidadedeumservicodearquivostem

21 1.1.CONCEITOSBASICOS oconceitodeoperac~aodesconectadacomoveremosnoproximocaptulo.nestemodode Doisclientesdesconectadospodemfazeralterac~oesemummesmoarquivosimultaneamente. operac~ao,umclientepodefazeralterac~oesemarquivosmesmosemestabelecercontatocomos servidores.obviamente,issopodetrazerseriasconsequ^enciasparaaconsist^enciadosdados. OsistemaCODA(versec~ao2.5)levouestemetodoasultimasconsequ^enciasintroduzindo 21 Quandoaredeserecuperadapartic~aoosistemaeobrigadoadescartaralterac~oesrealizadas porumdosclientes.osusuariosdestesistemaprecisamestarconscientesdosperigosque enfrentamparan~aosofreremsurpresasdesagradaveis. tivamente)oferecemgarantiasdeconsist^enciadosdadosmesmocompartic~oesnarede.como eradeseesperar,nestessistemasadisponibilidaden~aoet~aograndequantonocoda Escalabilidade Agrandemaioriadossistemasdearquivosdistribudosforamprojetadosparapequenasredes locaiscom,nomaximo,algumasdezenasdemaquinas.mas,comobarateamentodohardware,onumerodenosnasredestemcrescido.paralelamente,temaumentadoodesejode podemaparecerproblemasdecorrentesdograndenumerodeclientesedograndenumerode servidores.vejamosquaiss~aoeles. comcentenasoumilharesdeclientesedezenasdeservidores.emredescommuitosnos, locaisquepossuamalgumainterconex~ao. OutrossistemasquereplicamosdadoscomooECHOeoHARP(sec~oes2.10e2.8respec- compartilhararquivosn~aosolocalmentecomotambementremaquinasdediferentesredes madearquivosdistribudoapresentaraumbomcomportamentoemredesdegrandeescala arquivos.taisinformac~oespodemseruteis,porexemplo,paraevitarqueclientesdesautorizadostenhamacessoadadoscondenciaisoualteremdadosimportantescomoveremosna Quasesempre,osservidoresguardaminformac~oessobreosclientesqueacessamosseus Amenosquesetenhaestefatoemmentenomomentodoprojeto,dicilmenteumsiste- quaiseleguardaestasinformac~oespodecarmuitograndecomprometendoaoperacionalidade dosistema.alemdisso,seumarquivoqueecacheadoporcentenasdeclientessofreuma alterac~ao,oservidorpodegastarmuitotempoparainvalidarascopiaspresentesnoscaches detodososclientes,oqueseriaindesejavel7. maisdeumclientecomovimosem sec~ao1.1.6.mas,asuaprincipalfunc~aoegarantiraconsist^enciadosarquivoscacheadospor Seumservidorprecisaatenderacentenasdeclientes,oespacogastopelastabelasnas eoservidorresponsavelporumdeterminadoarquivo.se,cadavezqueumclienteprecisar grande. volatil.nestecaso,otemponecessarioparaosistemaserecuperardaquedapodesermuito certamentehaveraumenormecongestionamentonarede.seumadasmaquinasdaredefor abrirumnovoarquivo,eleperguntarparacadaservidorseeleeoresponsavelpeloarquivo, clientesocorrequandoelesofreumaquedaeperdetodasasinformac~oesdesuamemoria Poroutrolado,quandoonumerodeservidoresegrande,camaisdifcildescobrirqual Outroproblemadecorrentedofatodoservidorguardarmuitasinformac~oessobreosseus maquinavaisersobrecarregada. problemaatravesdadescentralizac~aodasinformac~oesedahierarquizac~aodarede.hojeem arquivosquecomp~oemosistemadenotciasderedeslocais.novasnotciaspodemserintroduzidasdiariamente pelosadministradoresdaredeelidas,atravesdosistemadearquivos,porusuariosemtodososclientes. responsabilizadapelatraduc~aodospathnamesnosrespectivosenderecosfsicos,ent~aoesta 7Umbomexemplodearquivosques~aocacheadosemmuitosclientesealteradoscomcertafrequ^encias~aoos OsistemaANDREW(sec~ao2.4)foioprimeiroaoferecerumasoluc~aosatisfatoriaparao

22 22 dia,oandrewintegramilharesdecomputadoresemdezenasdeuniversidadesecentrosde pesquisaamericanos,europeusejaponeses.noentanto,estagrandeescalabilidadefoiobtida reduzindo-seaconsist^enciaeatranspar^enciadelocalizac~ao Heterogeneidade CAPTULO1.INTRODUC~AO grandesdiculdades. Umadasgrandesdeci^enciasdossistemasdecomputac~aotemsidoaincompatibilidadetando dohardwarequantodosoftwarefabricadopordiferentescompanhias.cadavezmais,buscamsepadronizac~oesquepermitamquemaquinasdediferentesfabricantessecomuniquemsem paraassecretariasdigitarempequenostextos. estasmaquinassetornamobsoletas,aoinvesdeiremparaalatadolixo,podemseruteis peloprodutonal,precisadeumamaquinaquecombineotextocomasimagens.quando medidaemquecadatipodetarefapodeserexecutadaemumamaquinaapropriada. estac~aogracadealtodesempenhoparaprocessarassuasimagens,oredatorsecontentacom umamaquinaqueoferecaeditorac~aoeletr^onica.jaodiretordecriac~ao,queeoresponsavel Umaredeheterog^enea,istoe,quepossuinosdediferentestipos,podeservantajosana oferecendoservicoscomocorreioeletr^onicoecompartilhamentodearquivosmesmopossuindo Seriamuitobomparaaeci^enciadestaempresaqueassuasmaquinasfosseminterligadas Consideremos,porexemplo,umag^enciadepublicidade.Odiretordearteprecisadeuma chancesdeintegrac~aoemredesheterog^eneas.juntamentecomolancamentodonfsem degrandeescalapois,emsistemasdestetipo,qualquermaquinapodeutilizarouofereceros servicosdistribudosen~aoapenasummodelodemaquinadeumdeterminadofabricante. 1985,aempresaSUNMicrosystemsdivulgouaespecicac~aodoprotocoloNFS.Emposse hardwareesistemasoperacionaisdistintos. desteprotocolo,qualquerumpodedesenvolverclienteseservidoresnfsquesecomuniquem comaimplementac~aodasun. Entreossistemasdearquivosdistribudosemuso,apenasoNFS(sec~ao2.3)ofereceboas Sistemasquepermitamautilizac~aoderedesheterog^eneasfacilitamainstalac~aoderedes compartilhamentodosdadosdediversosusuarios.masissoeumafacadedoisgumespois dadossecretos,comoomovimentodecontasbancarias,informac~oessobredeclarac~oesde 1.1.6Seguranca Umadasgrandesvantagensdossistemasdearquivosdistribudosequeelespermitemo s~ao:ms-dos,macos,vax/vmsalemdasprincipaisimplementac~oesdounix. Hojeemdia,existemimplementac~oesdoNFSparadezenasdesistemas.Algunsexemplos rendaareceitafederal,oumesmoasprovasqueumprofessoraplicaranodiaseguinte,s~ao mecanismosquegarantamquepessoasn~aoautorizadasn~aotenhamacessoataisdados. arquivos(verap^endicea).cadaarquivopossuiumaseriedebitsdepermiss~aoqueindicam quaisusuariospodemacessaroarquivoedequemaneira. informac~oesqueodonon~aogostariadecompartilharcomqualquerum.enecessarioadotar OsistemaUNIXadotaummetodobaseadoempermiss~oesparacontrolaroacessoaos bememsistemasisoladosmas,emredeslocais,comecamasurgirproblemas. tipodepermiss~aoe,portanto,teracessoilimitadoaqualquerarquivo.estesistemafunciona fazendoessasolicitac~ao.oservidorconsultaosbitsdepermiss~aoparavericarseocliente podera,oun~ao,efetuaraoperac~aosolicitada. dadosdeumdeterminadoarquivo,oservidorrecebetambemaidenticac~aodequemesta CadamaquinaUNIXpossuiumusuarioespecialchamadorootquepodealterarqualquer EmsistemasdistribudosimplementadossobreoUNIX,aoreceberumasolicitac~aode

23 1.1.CONCEITOSBASICOS 23 Parafacilitarofuncionamentoderedeslocais,costuma-secongurarosistemademodo queasmaquinasconemnorootdemaquinasvizinhas.porexemplo,seorootdeumcliente remotodosistemadearquivosdesejaralterararquivospertencentesaorootlocaleletera essaliberdade.assim,eprecisotomarmuitocuidadopoisseumusuariomalintencionado consegueacessocomorootaumamaquinadaredequeeconsideradaconavelpelasdemais maquinas,ent~aoesteusuarioteraacessoilimitadoatodasasmaquinasdarede.umproblema semelhantepodeocorrerseumusuarioconseguefazersolicitac~oesaumservidordearquivos ngindoseroutrousuario. Outramaneiradesecontrolaroacessoaosarquivosebasearoacessoemcapacidades (capabilities).nosmetodosbaseadosemcapacidade,oclienteprecisaapresentaraoservidor umaprovadequeelepossuiacapacidadedeacessarumdeterminadoarquivo.emgeral,o clienteapresentaasuaidenticac~ao(e,possivelmente,aidenticac~aodousuarioquefeza solicitac~ao)quandopedeaaberturadoarquivo,recebendoemtrocaumcodigoqueeaprova dequeelepossuiacapacidadedeacessaroarquivo.noscontatossubsequentes,oclienten~ao precisamaisseidenticar,bastandoapresentaraprovadasuacapacidade.eprecisotomar cuidadoparaquen~aosejapossvelforjarprovasdecapacidadefalsas. Asegurancadosdadoscacomprometidase,nocaminhoentreduasmaquinasconaveis, existirumamaquinan~aoconavel.umintrusopodeseapoderardestamaquinaeinterceptarasmensagensentreasduasmaquinasdescobrindoinformac~oessecretasou,atemesmo, adultera-las.asoluc~aomaiscomumparaesteproblemaecriptografarasmensagensantesde transmiti-las.osistemadearquivosswallow[svo84],porexemplo,armazenaetransmite osarquivoscriptografados.oswallowfuncionacomosefosseumsistemabaseadoem capacidadesondeachavecriptogracaeaprovadacapacidade.umavantagemdestemetodo equeoservidorn~aoprecisavericarseaprovadacapacidadeeaut^entica,seelan~aofor correta,oclienten~aoconseguiradecodicarosdadosquerecebeu. Existeaindaummetodoquesebaseiaemlistasdecontroledeacesso.Inicialmente utilizadopelomultics,estemetodoehojeutilizadopeloandrewcomoveremosnasec~ao Emborapossaparecerpoucoprovavelqueintrusosatrapalhemavidadeusuarioscomuns, elespodemestarmaisproximosdoqueimaginamos.frequentemente,surgemnotciasde queforamdetectadasac~oesdeintrusosmonitorandootrafegonaredeinternacionalinternet. Maioresinformac~oessobresegurancaemredesdecomputadorespodemserobtidasem[Sit91] Toler^anciaaFalhas Umaboapartedacomplexidadedeumsistemadearquivosdistribudosdecorredofatode eleserimplementadosobreumarededecomputadoresquen~aoetotalmenteconavel. Enecessariaautilizac~aodeprotocolosquepossibilitemadetecc~aodeerrosnatransmiss~ao dosdados.taisprotocolosdevemacionararetransmiss~aodasmensagensquechegarem adulteradasaoseudestinoedasmensagensquen~aoforementreguesaoseudestinatario. Tantoosclientesquantoosservidoresdearquivospodemsofrerquedaseromperema comunicac~aocomosoutrosnosdaredeporintervalosquepodemvariardealgunssegundos atevariashoras.congestionamentosnaredepodemcausaratrasosnaentregademensagens. Aredepode,tambem,sofrerumapartic~ao,ouseja,poralgummotivoacomunicac~aoentre duasmaquinasdaredeeinterrompidaduranteumdeterminadoperodo. Masn~aoesoaredequen~aoeimuneafalhas.Qualquermecanismodearmazenamento permanentededadosestasujeitoaerrosdeleituraoudeescrita,sejamelesdiscosmagneticos rgidosouexveis,discosopticos,tasmagneticas,etc. Osistemadeveevitar,semprequepossvel,queestasfalhascausemumadepreciac~ao muitograndenotempoderespostaaosclientesouqueoservicosejainterrompido,emoutras

24 24 palavras,gostaramosqueadisponibilidadedoservicon~aofosseafetada. ameacassemaintegridadedosdadosarmazenados. aintegridadedosdadosnapresencadeerrosdeescritaemdiscoemanterinformac~oesredundantessobreessesdados.mas,amanutenc~aodaredund^anciaaumentaacarganoservidore, Outroaspectoimportanteeaconabilidade,istoe,gostaramosqueestasfalhasn~ao Muitasvezes,essascaractersticass~aoconitantes.Porexemplo,umamaneiradegarantir CAPTULO1.INTRODUC~AO Umaoperac~aosobreumarquivoeditaat^omicaquandoospassosquecomp~oemestaoperac~ao portanto,retardaasrespostasaosclientes. n~aopodemserobservadospornenhumprocessoexterioraestaoperac~ao.externamente,o emtrocadeumgrandeaumentonacomplexidadedosservidores.discutiremosestesmetodos aseguir Operac~oesAt^omicas Alemdareplicac~ao,astransac~oestambemcontribuemparaumamelhortoler^anciaafalhas falha,oarquivopermanececompletamenteinalterado. arquivoapresentaumestadoantesdaoperac~aoeoutroestadodepoisdaoperac~aosempassar pornenhumestadointermediarioperceptvelexternamente.sealgumapartedaoperac~ao Atomicidadeemrelac~aoaconcorr^encia:dadaumaac~aoforadeumaoperac~ao [Ree83]destacaosdoisaspectosprincipaisdaatomicidade: mentadasdemodoaapresentarestecaraterat^omico.astransac~oess~aomecanismosque permitemquesequ^enciasdeoperac~oessejamexecutadasatomicamente. Atomicidadeemrelac~aoafalhas:outodosospassosdeumaoperac~aoat^omicas~ao Operac~oesdeleitura,escrita,criac~aooueliminac~aodeumarquivos~aocomumenteimple- executadoscomsucessoounenhumoe. at^omica,ouestaac~aoprecedetodosospassosdaoperac~aoouelasucedetodosospassos. consegueexecutartodasasoperac~oescomsucesso,elepodechamarmdatransac~aoque dentrodeumatransac~ao,umerroedetectado,oprocessopodeexecutarocomandoaborta efetivamentecompromete(commit)asalterac~oesrealizadasnatransac~ao. datransac~ao.emgeral,quandoumprocessoiniciaumatransac~ao,elerecebeumidenticador datransac~aoqueeusadoemtodasasoperac~oesquedevemserexecutadasdentrodela.se, transac~aoquedescartatodasasoperac~oesrealizadasdentrodatransac~ao.seoprocesso Amaiorpartedossistemasqueoferecemtransac~oesdisp~oemdecomandosdeincioem aestaregra.oprimeiroartigopublicadonarevistaacmtransactionsoncomputersystems[ree83]apresentaummecanismodeimplementac~aodetransac~oesat^omicasemsistemas distribudos. mecanismodetoler^anciaafalhas.elasevitamquepequenasfalhasprejudiquemaintegridade dosistema. sistemasdearquivos.ossistemaslocus[mmp83]equicksilver[sw91]s~aoduasexcec~oes dedados[bh87],astransac~oesn~aos~aoimplementadascommuitafrequ^encianonucleodos s~aoconcludascomsucesso,ouent~ao,nenhuma.issofazdastransac~oesumimportante Apesardeconstituremumaexig^enciapraticamenteobrigatoriaemsistemasdebancos Assim,astransac~oesimplementamasem^anticadetudoounada.Outodasasoperac~oes distribudos,eocontroleaoacessoconcorrente.quandodiversosprocessosacessamosmesmos Umaspectofundamentalaseconsiderarnossistemasdearquivos,principalmentequando 1.1.9AcessoConcorrente

25 1.1.CONCEITOSBASICOS 25 dadossimultaneamente,eprecisotomarcuidadoparaqueessesprocessosrecebaminformac~oes corretasetambemparaqueaconsist^enciadosistemadearquivosn~aosejaafetada. Considere,porexemplo,aseguintesituac~ao.Umbancoguardaemumarquivoossaldos dascontascorrentesdeseusclientes.umdeterminadoclientepossuiumsaldode*$1.000 eefetuaumsaquede*$500.nestemesmoinstante,oseusalario,de*$10.000ecreditado. Suponhaqueestasduasoperac~aos~aorealizadosporaplicac~oesdistintas.Oquepodera acontecerseosisteman~aoforbemimplementado? Suponhaqueasduasaplicac~oesleiamsimultaneamentedoarquivodesaldosovalor1.000 guardando-oemvariaveisinternasdecadaaplicac~ao.aoperac~aodecreditodesalariosoma aessevaloreguardaonovosaldode*$11.000noarquivodesaldos.Logodepois,a operac~aodesaquesubtrai500dos1.000queestavamregistradosnasuavariavellocaleguarda noarquivoovalor500(apagandoocreditodosalario).osaldoregistradodepoisdasduas operac~oespoderaagradarodonodobancomas,semduvidanenhuma,provocaraprotestos docliente.aoinvesdeumsaldode*$10.500,oseuextratoindicaraumsaldode*$500! Paraevitarestetipodeproblema,asaplicac~oesqueacessamsimultaneamenteosmesmos dadospodemagruparasoperac~oescomessesdadosemtransac~oeseosistemaoperacional devefazercomqueestastransac~oesconcorrentestenhamumavis~aoconsistentedosdadoscom queoperam.[tan92]apresentanasec~ao11.4.4tr^esmecanismosdecontroledeconcorr^encia. Osbloqueios(locks)s~aoosmecanismosmaisamplamenteutilizadosparaocontroleda concorr^encia.antesdeacessarumdeterminadoarquivo,umprocessopodebloquearoacesso aestearquivoatravesdeumcomandodosistemaoperacional.seoutroprocessopedeum bloqueioparaomesmoarquivo,elerecebeumamensagemindicandoqueoacessoaquele arquivojaestabloqueado,ouent~ao,capenduradoatequeoprimeiroprocesso,detentor dobloqueio,executeocomandodeliberac~aodebloqueio8.haaindaapossibilidadede umprocessobloquearapenasasescritasemumarquivodeixandolivresasconsultasaoseu conteudo. Atravesdosbloqueiosepossveltornarastransac~oesserializaveis.Istoocorrequando oresultadodetransac~oesativadassimultaneamenteeigualaoresultadoqueseriaobtidose elasfossemexecutadasemserie,umasendoiniciadaaposoterminodaoutra.umprotocolo simplesparaaserializac~aodetransac~oesconcorrenteseoprotocolodebloqueioemduas fases(two-phaselockingprotocol).nesteprotocolo,quandoumatransac~aocomeca,todosos arquivosqueser~aoacessadosnodecorrerdatransac~aos~aoantecipadamentebloqueados(a primeirafase).emseguida,asoperac~oesdatransac~aos~aoexecutadas.quandoatransac~ao terminaoseutrabalho,todososbloqueioss~aoliberados(segundafase). Esteprotocolopodegerarumimpasse(deadlock).Ouseja,umasituac~aonaqualum processoesperapelaliberac~aodeumbloqueioporumsegundoprocessoqueporsuavez esperapelaliberac~aodeumoutrobloqueioquedealgummododependedaliberac~aode bloqueiosdoprimeiroprocesso. Vejamosumexemplobemsimplesondeocorredeadlock9.Suponhaqueduastransac~oes AeBprecisemdeacessoexclusivoaosarquivosarq1earq2comomostraatabela1.1. SeAeBs~aoexecutadassimultaneamente,podeocorrerumimpassenocasodeatransac~ao Aconseguirbloqueararq1eatransac~aoBbloqueararq2.Nenhumadasduastransac~oes conseguiracontinuaroseutrabalho. Aoobservarmosesteexemplopoderamoscarcomafalsaimpress~aodequedeadlockss~ao causadosporfalhasnaprogramac~aoquepoderiamserfacilmenteevitadas.defato,oimpasse 8Nesteultimocaso,estamossupondoqueapenasdoisprocessosest~aopedindobloqueiosparaestearquivo. Sevariosprocessospedembloqueiosparaomesmoarquivo,eless~aoinseridosemumalaev~aosendoatendidos amedidaemqueosbloqueiosv~aosendoliberados. 9[MOO87]contemumaseriedeexemplosdedeadlocksemdiversoscontextos.

26 26 processaarquivosprocessaarquivos Transac~aoA Transac~aoB CAPTULO1.INTRODUC~AO desbloqueiaarq1desbloqueiaarq2 eumfatorealemsistemascomplexos.ficadifcilprevercomosedaraautilizac~aodetodos doexemplopoderiaserevitadoseosarquivosfossembloqueadosnamesmaordempelasduas transac~oes.mas,comodissemos,esteeumexemplomuitosimples.aocorr^enciadedeadlocks Tabela1.1:Deadlocknoprotocolodeduasfases desbloqueiaarq2desbloqueiaarq1 mecanismosexigemacapacidadedeabortartransac~oesamdeliberarbloqueios.uma descric~aodastecnicasdecombateaosdeadlocksemsistemasdistribudospodeserencontrada em[tan92],sec~ao11.5. locks,previs~aodepossveisdeadlocksouutilizac~aodebloqueioscomlimitedetempo.estes osrecursosdosistema Sem^anticadoAcessoConcorrente Paraevitartaisimpassesenecessarioadotartecnicasautomaticascomodetecc~aodedead- Emsistemasdearquivosdistribudos,oproblemadoacessoconcorrenteeaindamaisgrave oresultadoesperadoquandovariosclientesacessamosmesmosarquivossimultaneamente: sistemascentralizados. evitarqueclientesacessemdadosdesatualizadosmesmoqueosseusprocessosn~aoestejam utilizandotransac~oesoubloqueios. dedadosremotos.edesejavelqueosistemadistribudoapresenteamesmaconsist^enciados poisosclientespodempossuir,emseuscaches,copiaslocais(possivelmentedesatualizadas) Sem^anticaUNIX:Qualquerleituradedadosdeumarquivoecapazdeobservaras Comoobservamosnasec~ao1.1.2,mecanismosdecontroledaconsist^enciadocachedevem Existemduasprincipaissem^anticasdeacessoconcorrenteaarquivos.Elasindicamqual Sem^anticadeSess~ao:Escritasaumarquivos~aovisveisimediatamenteapenasaos alterac~oesrealizadasporqualquerescritaqueoantecedaindependentementedequal clienterealizoucadaoperac~ao.osistemadistribudosecomportacomosefosseuma Noscaptulosseguintes,ser~aodescritasediscutidasalgumastecnicasparaocontroleda efechadoatravesdocomandoclose,asalterac~oess~aoenviadasparaoservidorepassam processossendoexecutadosnomesmoclientequerealizouaescrita.quandooarquivo aservisveisparaosclientesqueabriremoarquivoapartirdaquelemomento. unicamaquinaunix. consist^enciadocacheatravesdaimplementac~aodasem^anticaunix,sem^anticadesess~aoou deumavariante Replicac~ao Amanutenc~aodecopiasdeummesmoarquivoemdiversosservidoresdeumsistemadistribudoproporcionaimportantesvantagens:

27 1.1.CONCEITOSBASICOS Seumdiscoedanicado,asinformac~oesnelecontidasn~aos~aoperdidas,podendoser obtidasdeoutrosdiscosemoutrosservidores.emalgunslugarescomo,porexemplo,a California,ondeosolon~aoedosmaisestaveis,einclusiverecomendavelqueosarquivos importantessejamreplicadosemservidoreslocalizadosaumagrandedist^anciaumdos outros. 27 Seumservidorestamomentaneamenteinoperanteouinacessvel,osseusarquivospodem Diretoriosmuitolidoscomo,porexemplo,odiretorio/usr/bindoUNIXouumbanco dedadosbibliogracodeumauniversidadepodemseroferecidosporvariosservidores. Dessemodo,aaltademandaedistribudaequitativamenteentreosdiversosservidores seracessadosemservidoresalternativos.emoutraspalavras,haumamaiordisponibilidadedoservicodearquivos. daconsist^enciaentreasreplicasdosarquivosnosdiversosservidores.nocaptuloseguinte, Noentanto,oprincipalobjetivodocacheeaumentararapidezdoservicoenquantoqueo veremoscomosistemascomooharp,oechoeocodaresolvemesteproblema. principalobjetivodareplicac~aoeoferecerumamaiortoler^anciaafalhas. Poroutrolado,eclaroqueareplicac~aopossuiumproblemaintrnsecoqueeamanutenc~ao Notequeocachetambempodeserencaradocomoumaformadereplicac~aodearquivos. aumentandoodesempenhoglobaldosistema. umexcelentedesempenhoemrelac~aoaumdeterminadoconceito,eletendeaapresentarum descritosmas,infelizmente,isson~aoepossvel.quandoumsistemaeelaboradodemodoater Seriadesejavelqueumsistemadearquivosdistribudosfosseecientesobtodososaspectos Comotudoissoserelaciona? Todososconceitosapresentadosnestecaptuloformamumacomplexateiadeinter-relac~oes. rotulosnasechasdaguraindicamonomedeumsistemanoqualarelac~aosugeridapela ayindicaqueumaumentodextendeaprovocarumadiminuic~aodey. sistemasdearquivosdistribudos.umalinhacontnuadexparaysignica,grossomodo,que echaseverica.todosestessistemasser~aodescritosdetalhadamentenocaptulo2. seaumentarmosxpoderemosesperarumaumentodey.jaumalinhadescontnualigandox desempenhofracoseanalisadosoboutrosaspectos.eoquesecostumachamardetradeo. Asrelac~oesentreosconceitospodem,ainda,variardeacordocomasimplementac~oes.Os Arelac~aoentrereplicac~aoerapidezeespecialmenteinteressante.NosistemaCODA(sec~ao Agura1.2eumarepresentac~aogracadasprincipaisrelac~oesentreosconceitosde disso,asalterac~oess~aopropagadasassincronamentepossibilitandoumamaiorrapidez. 2.5),areplicac~aopermiteoacessoacopiamaisproximadeumdeterminadoarquivo.Alem qualquermaquinadisponvelpodeseragregadaaosistemacomoocorrecomonfs(sec~ao 2.3).Iston~aoquerdizerqueoNFSoferecaumbomdesempenhoemredesdegrandeescala. (toleranteafalhas)mascommenorrapidez. tela.umsistemaquepermitaaintegrac~aodeequipamentosquediferemtantoemhardware quantoemsoftwarefacilitaaimplantac~aoderedesdegrandeescalasimplesmenteporque replicamumdeterminadoarquivo.consequentemente,eleofereceumservicomaisconavel Arelac~aoentreheterogeneidadeeescalabilidade,porsuavez,deveseranalisadacomcau- JaoHARP(sec~ao2.8)exigeacomunicac~aosncronacommuitosdosservidoresque Portanto,aheterogeneidadefavoreceaescalabilidadeapenasparcialmente.