`

TFS(Taobao File System)Java Client 使用经验

 
阅读更多

TFS Java客户端的说明

 

tfs-client-java版本选择:

---------------------------------------

tfs-client-java的版本有:
release-2.0.0/    
tfs-with-large-2.1.1/
tfs-client-java-2.1.3/    
release-2.2.2/
release-2.2.3/
release-2.2.4/
release-2.2.6/    
最终我选用了tfs-client-java-2.1.3/ 版本,因为最高的2.2.x版本,工作时必需要与rcserver通信。
我目前不需要rcserver所有没有安装rcserver,所以使用2.1.3版本。

 

检出

---------------------------------------

svn checkout http://code.taobao.org/svn/tfs-client-java/tags/release-2.2.6/
svn checkout http://code.taobao.org/svn/tfs-client-java/tfs-client-java-2.1.3/

导入、编译略。

 

 

依赖包说明 

---------------------------------------
common-tair.jar
下载地址:http://code.taobao.org/p/tair-client-java/wiki/index/ 
可以下载编译好的 tair-client-2.3.1.jar ,也可以下载源码自己编译。

common-monitor.jar
tfs-client-java 2.1.3不需要common-monitor.jar包,但2.2.x以后需要common-monitor.jar。

TMD,真的没找到这个common-monitor.jar包。分析tfs-client-java 2.2.x源码,只有一处记日志的地方需要使用它的,注释这段代码。

tfs-client-java源码中还有一处:
String tfsFileName .....
if (tfsFileName != null && !tfsFileName.isEmpty())
找不到isEmpty()方法,修改一下,就OK了.

 


使用tfs-client-java 访问TFS集群
----------------------------------------------

TFS 2.2.10 , 1台NameServer,4台DataServer,每台4块SAS数据盘, 30并发以上写入文件时(10并发时也有少量报错),有较多的报错。压力越大,报错的次数越多。

DataServer上的日志内容大体如下,我只记了error级别的日志。

[2012-11-29 18:14:44] ERROR check_block_version (index_handle.cpp:360) [1113774400] remote version is larger, set block version. blockid: 5367, remote version: 674, local version: 673
[2012-11-29 18:14:44] ERROR check_block_version (index_handle.cpp:360) [1176713536] remote version is larger, set block version. blockid: 3796, remote version: 706, local version: 705
[2012-11-29 18:14:44] ERROR check_block_version (index_handle.cpp:360) [1176713536] remote version is larger, set block version. blockid: 4651, remote version: 675, local version: 674
[2012-11-29 18:14:44] ERROR check_block_version (index_handle.cpp:360) [1155733824] remote version is larger, set block version. blockid: 5153, remote version: 634, local version: 633

 

后来重新部署了TFS 2.0.4,不再报上面的错误了,情况有所好转。但报了其它错误数量不多。

 

压力测试

----------------------------------------------

已形成测试报告,略。

 

分享到:
评论

相关推荐

    tfs-client-java

    taobao的分布式文件客户端,支持分布式存储

    淘宝分布式文件服务器taobao file system tfs配置文件

    淘宝分布式文件服务器taobao file system tfs配置文件 为线上正在使用的生产配置 具体配置项可视自己服务微调,配置项含义参考tfs.taobao.org的文档说明.有无备份集群不影响TFS的运行,若没有,则去掉备份集群的配置

    Taobao File System

    TFS(Taobao !FileSystem)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,主要针对海量的非结构化数据,它构筑在普通的Linux机器集群上,可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供...

    Python库 | tfs_seon_client-2.0.7-py3-none-any.whl

    python库,解压后可用。 资源全名:tfs_seon_client-2.0.7-py3-none-any.whl

    tfs-1.3 淘宝内部使用的分布式文件系统 代码

    TFS,Taobao File System,淘宝内部使用的分布式文件系统,主要针对海量小文件的随机读写访问性能做了特殊优化,承载着淘宝主站所有图片、商品描述等数据的存储。

    TFS安装部署

    TFS(Taobao File System)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,主要针对海量的非结构化数据,它构筑在普通的Linux机器集群上,可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供...

    VS2010使用TFS2010的图文教程.rar

    TFS,Taobao File System,淘宝内部使用的分布式文件系统,主要针对海量小文件的随机读写访问性能做了特殊优化,承载着淘宝主站所有图片、商品描述等数据的存储。 本文和大家讲下如何在VS2010里面创建项目并添加到...

    TFS2010使用手册

    TFS2010使用手册

    PyPI 官网下载 | tfs_seon_client-2.0.7-py3-none-any.whl

    资源来自pypi官网。 资源全名:tfs_seon_client-2.0.7-py3-none-any.whl

    阿里巴巴开源的分布式文件系统 TFS.zip

    淘宝在这一领域做了有效的探索和实践,Taobao File System(TFS)作为淘宝内部使用的分布式文件系统,针对海量小文件的随机读写访问性能做了特殊优化,承载着淘宝主站所有图片、商品描述等数据存储。 文章首先概括了...

    TFS Bug管理使用教程

    工具是使用了微软TFS(Team Foundation Server)团队管理工具自带的功能,与开发工具VS(Visual Studio)进行了无缝集成(并提供java版和IOS版插件),简化了开发人员处理Bug的流程。 选择Bug管理工具的原则:简单易用、...

    TFS(Taobao FileSystem)介绍

    TFS总体结构介绍;TFS平滑扩容原理;TFS存储机制;TFS容错机制;TFS并发机制;TFS安装和使用

    TFS使用文档说明

    TFS为淘宝提供海量小文件存储,通常文件大小不超过1M,满足了淘宝对小文件存储的需求,被广泛地应用在淘宝各项应用中。它采用了HA架构和平滑扩容,保证了整个文件系统的可用性和扩展性。同时扁平化的数据组织结构,...

    TFS的使用说明文档

    TFS的使用说明文档 里面有多个供其查看学习tfs的使用文档 其中不包含tfs的安装包,安装包请到其他网址下载

    TFS 插件14.0

    TFS 14.0

    TFS2013及TFS2015序列号

    TFS2013及TFS2015序列号,亲测可用!

    TFS安装与使用

    TFS的安装 使用 配置签入时 自动build

    TFS自动预热工具

    此PowerShell脚本用于自动预热TFS和与其集成的Sharepoint 由于IIS会在每日凌晨自动清除已编译好的aspx脚本,导致每日上午第一次登录TFS和sharepoint网站很慢,本脚本可以帮助管理员自动预热Sharepoint站点和TFS站点...

    tfs_client.rar_The Client

    Tell the TFS to flush any cached information it might be keeping for the current branch.

    TFS使用方法.pptx

    TFS使用方法.pptx

Global site tag (gtag.js) - Google Analytics