django文件上传源代码修改

当需要将上传的文件保存到别的服务器,而又不修改views里的代码,下面可能对你有点用。 Python26\Lib\site-packages\django\core\files\storage.py 这个文件里有一个FileSystemStorage类,类里的函数_save()进行了上传文件的保存。先上代码:
    def _save(self, name, content):
        full_path = self.path(name)
        print full_path,name
        # Create any intermediate directories that do not exist.
        # Note that there is a race between os.path.exists and os.makedirs:
        # if os.makedirs fails with EEXIST, the directory was created
        # concurrently, and we can continue normally. Refs #16082.
        directory = os.path.dirname(full_path)
        if not os.path.exists(directory):
            try:
                os.makedirs(directory)
            except OSError, e:
                if e.errno != errno.EEXIST:
                    raise
        if not os.path.isdir(directory):
            raise IOError("%s exists and is not a directory." % directory)

        # There's a potential race condition between get_available_name and
        # saving the file; it's possible that two threads might return the
        # same name, at which point all sorts of fun happens. So we need to
        # try to create the file, but if it already exists we have to go back
        # to get_available_name() and try again.

        while True:
            try:
                # This file has a file path that we can move.
                if hasattr(content, 'temporary_file_path'):
                    file_move_safe(content.temporary_file_path(), full_path)
                    content.close()

                # This is a normal uploadedfile that we can stream.
                else:
                    # This fun binary flag incantation makes os.open throw an
                    # OSError if the file already exists before we open it.
                    fd = os.open(full_path, os.O_WRONLY | os.O_CREAT | os.O_EXCL | getattr(os, 'O_BINARY', 0))
                    try:
                        locks.lock(fd, locks.LOCK_EX)
                        for chunk in content.chunks():
                            os.write(fd, chunk)
                    finally:
                        locks.unlock(fd)
                        os.close(fd)
            except OSError, e:
                if e.errno == errno.EEXIST:
                    # Ooops, the file exists. We need a new file name.
                    name = self.get_available_name(name)
                    full_path = self.path(name)
                else:
                    raise
            else:
                # OK, the file save worked. Break out of the loop.
                break

        if settings.FILE_UPLOAD_PERMISSIONS is not None:
            os.chmod(full_path, settings.FILE_UPLOAD_PERMISSIONS)

        return name
代码在这个文件的158行,函数传入参数name,第二句的print语句是我自己加上的,name路径就是存入数据库的路径,full_path路径是全路径,所以调用self.path的作用不言而喻了(代码在242行)。这里不需要全路径。 再往下两个if语句9行,功能:去掉文件名(就是文件夹路径),判断是否存在,不存在创建,然后创建不成功报错。这里也需要创建文件夹目录。 再往下的while语句就是存储文件代码了(\(≧▽≦)/激动~)。第一个if语句不明白是什么意思,在前面不知道怎么有这个属性,我也没往前找,不过应该不碍事,解释中介绍说普通上传在else里面。else里面的代码我只懂for循环,那个locks,在同一目录下有locks.py,看到一堆windows接口没兴趣研究,看注释好像是“有两个线程同时对同名文件写文件,会重新获取文件名”涉及到下面的except。这里直接设置保存图片代码。 最后的if语句应该是设置文件夹的权限。 找到这个文件,开始乱找一气,从models里的save开始没找到。后来想起调试了,没有设置错的上传路径,报错“Attempted access to '\a.jpg' denied”。然后根据Traceback,找到了文件。记录下执行顺序: views里的save(),下面省略若干,到了\lib\site-packages\django\db\models\fields\files.py 249行 file.save(file.name, file, save=False), 86行 self.name = self.storage.save(name, content) 然后到了文件\lib\site-packages\django\core\files\storage.py 44行 name = self.get_available_name(name) , 70行 while self.exists(name):, 230行 return os.path.exists(self.path(name)), 没错时,在45行,转到_save函数。
Read more...

erlang学习笔记-列表解析和断言

  1.列表解析。 1> L=[1,2,3,4] . [1,2,3,4] 4> lists:map(fun(X) -> 2*X end,L). [2,4,6,8] 5> [2*X || X <- L]. [2,4,6,8] [F(X) || X <- L] 代表由F(X)组成的列表,X取值于列表L。||右边用于匹配列表L中元素的模式,左边是一个构造器。 右边模式匹配可以像过滤器一样操作,注意大小写的区别。 6> [X || {a,X} <- [{a,1},{b,2},{c,3},{a,4},hello,"wow"]]. [1,4] 7> [X || {A,X} <- [{a,1},{b,2},{c,3},{a,4},hello,"wow"]]. [1,2,3,4] 2.列表解析快速排序算法。  
-module(lib_misc).
-export([qsort/1]).

qsort([]) -> [];
qsort([Pivot|T]) ->
qsort([X || X <- T, X < Pivot])
++ [Pivot] ++
qsort([X || X <- T,X >= Pivot]).
++中缀添加操作符 19> [1]++[2]++[3,4]. [1,2,3,4] 3.毕达哥拉斯三元组。  
pythag(N) ->
    [{A,B,C} ||
        A <- lists:seq(1,N),
        B <- lists:seq(1,N),
        C <- lists:seq(1,N),
        A+B+C =< N,
        A*A+B*B =:= C*C
    ].
lists:seq(1,N)返回一个1到N组成的列表。 4.断言。 功能:断言是一种用于强化模式匹配功能的结构。 断言序列: 用分号(;)分开的集合,只要有一个True,整个序列就为True。 用逗号(,)分开的集合,必须都为true,整个断言序列才为true。 断言序列的合法语法形式:(表格,p43) 原子true,其他常量(条件,或者绑定变量)求值为false, 断言谓词或BIF(内建函数),比较表达式,算术表达式,布尔表达式,短路布尔表达式 布尔表达式中,orelse,andalso与 or/and 区别:and/or 需要对参数都进行求值。
Read more...

vim使用小技巧,在工作目录打开vim

前面在找vim教程的时候,看到有介绍怎么修改vim打开的默认工作目录。当时看了配置文件比较麻烦,然后用vim编辑文档也不可能只在一个盘,一个目录下,输入打开路径也麻烦。 今天早上在shell下学习erlang想到了批处理,用批处理在工作目录打开vim。
:: open_vim.bat
@echo off
vim
vim字典:http://vimcdoc.sourceforge.net/doc/
Read more...

vim学习

  关于工作路径的快捷键 cd :                              改变vim的当前工作路径 lcd:                            改变当前窗口的工作路径 pwd:                            查看当前的工作路径 set autochdir:              自动设当前编辑的文件所在目录为当前工作路径   推荐一篇学习vim的文章:http://coolshell.cn/articles/5426.html 该篇文章的小补充: 用处不大,了解就好。 u → undo ,<C-r> → redo   ,我试了<C-z>也能实现撤销操作,<C-v>能实现复制,不过这可能与系统有关系(现在在windows下用的,以后再测试ununtu),不过需要按两个键,但是在编辑模式下也可以使用。 :e <path/to/file> → 打开一个文件, 使用vi <path/to/file>一样的功能 vim中翻页的命令 整页翻页 ctrl-f ctrl-b f就是forword b就是backward 翻半页 ctrl-d ctlr-u d=down u=up 滚一行 ctrl-e ctrl-y zz 让光标所杂的行居屏幕中央 zt 让光标所杂的行居屏幕最上一行 t=top zb 让光标所杂的行居屏幕最下一行 b=bottom
Read more...

erlang学习笔记--顺序型编程

妙不可言的函数编程。为什么这么说呢,当我看完第三章时,被erlang的编程方式深深的吸引住了,但是作者总是在我觉得很精妙的地方说:“该方法在实际编程中很少用到”T_T。python也有函数编程的思想,不过一直没有用到过,可能还停留在初级阶段。下面的笔记也只是自己学习中的所悟,可能有着大量的错误,如果你发现我理解的不对,感谢留言指正。请带着怀疑的态度看此笔记。 1、模块。 模块文件存放在扩展名为.erl的文件中,编译完成后的扩展名为.beam。 文件名geometry.erl(博客不支持erlang语法高亮,蛋疼了。。) -module(geometry). -export([area/1]). area({rectangle,Width,Ht}) -> Width * Ht; area({circle,R}) -> 3.14 * R * R 执行过程:先需要将erlang shell目录移动到代码目录下,查看当前目录命令pwd(),cd(Dir)。 2> c(geometry). {ok,geometry} 6> geometry:area({rectangle,10,5}). 50 7> geometry:area({circle,1.4}). 6.1544 字句顺序不重要,但调用参数的匹配过程是从上向下的。函数不能处理模式匹配失败的情况,将会抛出一个运行时错误。 2、fun匿名函数 1> Z = fun(X) -> 2*X end. #Fun<erl_eval.6.82930912> 2> Z(3). 6 这个简单的例子介绍fun函数的用法,用一个"end"做结尾。第三行语句的值为一个函数Z(X)=2*X 以fun为参数的函数 3> Even = fun(X) -> (X rem 2) =:= 0 end. #Fun<erl_eval.6.82930912> 4> Even(8). true 5> Even(3). false 6> lists:map(Even,[1,2,3,4,5,6,7,8]). [false,true,false,true,false,true,false,true] 7> lists:filter(Even,[1,2,3,4,5,6,7,8]). [2,4,6,8] 第三个语句,我们定义了一个Even函数,用来求变量是否是偶数,是返回true。 第四第五语句是函数的使用。 第六行将函数Even作为参数,将列表中的每一个元素代入Even,得到的值生成一个新的列表。lists:filter是将满足使Even值为true的列表元素生成一个新列表。 返回fun的函数 11> Fruit = [apple,pear,orange]. [apple,pear,orange] 12> MakeTest = fun(L) -> (fun(X) -> lists:member(X,L)end) end. #Fun<erl_eval.6.82930912> 13> IsFruit = MakeTest(Fruit). #Fun<erl_eval.6.82930912> 14> IsFruit(pear). true 15> IsFruit(dog). false 17> BoxList = [dog,orange,cat,apple,bear]. [dog,orange,cat,apple,bear] 18> lists:filter(IsFruit,BoxList). [orange,apple] 11行定义了一个Fruit列表,里面都是水果(⊙﹏⊙b汗)。十二行定义了一个函数MakeTest(L),他的值为一个fun函数,这个fun函数的功能是看变量X是否是L中的元素,是返回True。(感觉就是二元一次方程,你必须知道两个变量才能求得一个结果值) 第13行定义函数IsFruit(X)=lists:member(X,Fruit),当然我这样表示是不正确的,只是为了写得像数学上的函数。正确是IsFruit = fun(X) -> lists:member(X,Fruit) end,这样这个函数的功能变成:看X是否是水果,是返回true。 第14,15行进行了函数测试。十七行定义了一个篮子,里面各种东西,我们要挑出水果,用我们的lists标准库,如果IsFruit为true,那么是水果,则挑拣到另一个篮子里。哇哈哈~ 定义自己的抽象流程控制: 这里更是可以举一反三,做你想做的^_^。 书上给了一个for循环控制结构的实现:(语法不支持高亮,就用截图了,不高亮我自己看着别扭) [caption id="attachment_578" align="alignnone" width="300" caption="erlang编程"]erlang编程[/caption] 这是实现了for(i=0,i<10,i++),for i in range(0,10),简单的你可以实现一个for i in range(0,10,2)。 解释一下程序:如果第一个参数值与第二个相同,返回执行 F(Max),否则匹配第二个,F(I)作为列表的头,for(I+1,Max,F)作为列表尾。 如果看到这里,你也会有疑问,为什么不写第二条语句在第一条上面呢?因为交换以后,for(I,Max,F)将满足任何语句,就不会执行第二条语句。编译器也会提示给你:lib_misc.erl:6: Warning: this clause cannot match because a previous clause at line 5 always matches。你的执行将会死循环。当然如果你输入的匹配I>Max,也会进入死循环。 我感觉这将比其他语言的for循环更加灵活。 25> c(lib_misc). {ok,lib_misc} 26> lib_misc:for(1,10,fun(I) -> I end). [1,2,3,4,5,6,7,8,9,10] 27> lib_misc:for(1,10,fun(I) -> I*I end). [1,4,9,16,25,36,49,64,81,100] 28> 编译,26行打印1-10整数列表,27行打印平方列表。   先整理这么多,第二章的笔记是边学边记,第三章是一口气给看完了。⊙﹏⊙b汗
Read more...

vim erlang插件配置

The Erlang plugin for Vim,地址:https://github.com/onlychoice/vimerl/ windows下将文件复制到“安装目录/Vim/vimfiles”里面就行了。 安装完直接带有自动补全功能, Ctrl+c,Ctrl+o,应该是正确的。 这里找到一个管理vim插件的工具:pathogen。 地址:http://www.vim.org/scripts/script.php?script_id=2332 这个工具可以很方便的管理插件的安装和卸载,windows下在\vimfiles里建立一个 bundle 目录, 以后插件可以以整个文件夹的形式存放在里面。 方便安装删除。 下载的pathogen.vim文件放到Vim\vimfiles\autoload里,linux下安装到/.vim/。 配置pathogen: 修改~/.vimrc配置文件,加入: List代码 call pathogen#infect() syntax on filetype plugin indent on vim字体的修改方法参考文章:http://www.vimer.cn/2009/11/ vim%EF%BC%88gvim%EF%BC%89%E7%BC%96%E7%A8%8B%E5%AD%97%E4%BD%93%E6%8E%A8%E8%8D%90.html
Read more...

mysql图形化界面工具

当需要修改数据库表名字的时候,发现命令超长超麻烦,就想找一个可以界面显示的工具。以前接触phpmyadmin,那个需要php环境,但被我卸载了,又到网上搜索,随便找了一个,名字mysql-gui-tools-5.0-r17-win32.zip。具体叫什么我也不清楚,下载地址:http://dev.mysql.com/downloads/gui-tools/5.0.html 使用后发现很好操作,功能还没有都熟悉,感觉挺强大的。 安装目录下有个MySQLAdministrator.exe,打开后填写host,username,password进入。我只使用了导入导出功能、表的名字修改,字段的添加删除,名字修改。  
Read more...

网站采集小体会

这几天用python采集了两个网站,一个国内的一个国外的。有点小体会,记录: 前面已经写了一篇《今天采集某站数据经验总结》,是介绍国外网站的,今天再一起总结一下。 1、国内外网站html规范比较。 国内代码写得很标准,class标签用的很多,想显示格式一样的数据,可能都采用后台一个for循环生成代码。冗余代码可以说没有。采集时不容易准确定位 国外代码很乱,在标签中换行,各种空行,各种空格,还有你想不到的符号用来闭合标签。用的id属性很多,每个标签基本上都会有。定位容易,但是各种报错。 2、javascript比较。 国内倾向于将javascript用于网站功能上,浏览器显示的代码和html源码相差不大。很方便找到关键字。 国外界面显示代码很多是javascript修改的,但是你浏览器不启用js功能页面也不会有太大变化。需要保存源码,查看代码。 3、用urllib模块进行采集时,国内必须加入发送包头信息,但是这个很容易伪造浏览器信息,用处不大。   我在第一次采集的时候,将提取url功能,提取产品列表功能,提取产品信息的功能分开写的,发生网络连接错误,提取url和产品列表都要重新获取,影响速度。 第二次写,将总的url提取时,保存文件了。写第二个功能进行想要数据过滤时再读取文件进行过滤保存,后面再提取列表,保存都采用这种方式,会好一点。以后慢慢优化代码,写出个比较方便的工具,就是有时候特殊情况太多,工具代码的逻辑是死的,还是不方便。
Read more...

erlang基本语法学习笔记

  在shell下学习erlang的语法 1.输入十六进制: 1> 16#f. 15 输入命令需要在末尾加上一个点号,否则会认为没有输入完整。(第一次安装完成,就迫不及待的在命令行下试了,没有成功,慌了。仔细阅读文档才发现输入不完整。) 2.erlang变量名大写: 13> i=9. ** exception error: no match of right hand side value 9 14> I=9. 9 3.erlang变量的单一赋值: 当执行I=9时,值9就被绑定到I上。没绑定之前是一个自由变量,绑定后变量的值将不会再发生改变。 “=”模式匹配操作符。 17> I=5. ** exception error: no match of right hand side value 5 “Erlang 是一个函数式语言,不存在可变状态。 当多核编程来临的时候,采用不可 变状态所带来的好处是难以估量的。 如果你用 C、Java 这样的传统编程语言为多核 CPU 编写程序,就不得不应付共享内存带来的问题。要想不破坏共享内存,就必须在访问时对其加锁。程序还要保证在操纵共享内存时不会崩溃。  而Erlang没有可变状态,也就没有共享内存,更没有锁,这一切都有利于并行化程序的编写。” “定义一个变量的词法单元就是这个变量的作用域。因此,如果在一个函数语句范围 内使用 X,那么 X 的值就不能―跳出‖语句之外。在同一个函数的不同子句中,彼此之间也不存在全 局或者共享的私有变量。如果 X 出现在许多个不同的函数当中,那么这些 X 的值也都是各自独立 的。”这个在看完函数后再进行验证。 4.浮点数运算: 18> 5/3. 1.6666666666666667 19> 4/2. 2.0 20> 5 div 3. 1 21> 10 rem 3. 1 22> 4 div 2. 2 23> 4 div 2.0. ** exception error: bad argument in an arithmetic expression      in operator  div/2         called as 4 div 2.0 24> 4.0 div 2 24> . ** exception error: bad argument in an arithmetic expression      in operator  div/2         called as 4.0 div 2 25> 5/3.0. 1.6666666666666667 经过测试,div运算两边必须是整数。rem取余。 5.erlang原子: 原子是一串以小写字母开头,后跟数字字母或下划线(_)或邮件符号(@)的字符,使用单引号引起来的也是原子。 原子的值就是他自身。 做了几个测试: 37> aaa. aaa 38> 'aaa'. aaa 39> "aaa". "aaa" 40> 111. 111 41> '1111'. '1111' 42> 'a111'. a111 43> ''. '' 44> '. 44> ' 44> . '.\n' 45> a'111'. * 1: syntax error before: '111' 45> +. * 2: syntax error before: '.' 45> '+'. '+' 46> AAA. * 1: variable 'AAA' is unbound 47> 'AAA' . 'AAA' '单引号是个特殊字符,用来区分原子,"双引号是定义字符串,在后面讲。符合定义的,单引号加与没加一样,不符合的(如:大写字母开头或者数字,或者特殊字符),需要加上单引号作为区分。  6.元组: 将若干个以逗号分割的值用一对花括号括起来,就形成了一个元组。值可以是数值和原子。 从元组获取值: 48> D = {a,5,b} . {a,5,b} 49> {a,C,B} = D. {a,5,b} 50> C. 5 51> B. b 书上的一个例子: 55> Person={person,{name,{first,joe},{last,armstrong}},{footsize,42}} 55> . {person,{name,{first,joe},{last,armstrong}},{footsize,42}} 56> {_,{_,{_,Who},_},_}=Person. {person,{name,{first,joe},{last,armstrong}},{footsize,42}} 57> Who. joe 58> 注意    在前面的样例中,将_作为占位符,表示那些我们不关心的变量。符号_称为匿名变量,与常规变量不同,在同一个模式中的不同地方,各个_所绑定的值不必相同。 7.erlang列表: 用列表存储可变的东西,将若干个以逗号分割的值用一对方括号括起来,就形成了一个列表。列表的第一个元素称为列表的头(head)。除去头,剩下的东西就称为列表的尾(tail)。 例如,如果有列表[1,2,3,4,5],那么列表的头就是整数 1,它的尾为[2,3,4,5]。注意,列表的头可以是任何东西,但是列表的尾通常还是一个列表。 访问列表的头是一个非常高效的操作,因此,实际上所有的列表处理函数都是从提取列表头开始的,先对头进行处理,然后继续处理列表的尾。 erlang列表定义:如果T 是一个列表,那么[H|T]也是一个列表 ,这个列表以H 为头,以T为尾。竖线符号(|)可以将列表的头和尾分隔开来,而[]则是空列表。 58> H = [1,a,{a,b,c}]. [1,a,{a,b,c}] 59> T = [1,2,3]. [1,2,3] 60> [H|T]. [[1,a,{a,b,c}],1,2,3] 提取列表中的值: 62> [Aa|Bb]=H. [1,a,{a,b,c}] 63> Aa. 1 64> Bb. [a,{a,b,c}] 8.erlang字符串: 严格来讲,erlang没有字符串,字符串就是一个整数列表,列表中的每一个值都是字符所对应的整数值。 shell打印一串列表值时,只有列表中的所有整数都是可打印字符,它才把这个列表当作字符串来打印: 66> [3,4,5]. [3,4,5] 67> [83,84,85]. "STU" 68> [3,83,84]. [3,83,84] 69> [$a,$b,$c].    "abc" 我们无须死记硬背哪一个整数表示哪一个特定的字符(ASCII码表),可以使用$符号来表示字符的整数值。例如,$a实际上是一个整数,表示字符 a。  命令f()会让shell释放它所绑定过的所有变量。执行这个命令后,所有的变量都变成自由变量。 72> X=333. 333 73> X=111. ** exception error: no match of right hand side value 111 74> f(). ok 75> X=111. 111 终于将第二章看完了,有种眼前一亮的感觉。
Read more...

Erlang研究研究

Erlang程序设计。pdf 这几天突然又迷茫了,再看c和c++的一些注意、要点。看了本《python网络编程》,与自己想学的东西差太多,看到后面就开始蹦跶着看了。 在网上看了一篇文章,决定小小的研究一下erlang,说不定以后用得着。 找了几篇文章 http://zhys9.com/blog/?tag=erlang http://jbpm.group.iteye.com/group/topic/7938 几本erlang相关的pdf书,从sina的共享文档找的,论坛不上,qq群加了。 开始搞erlang
Read more...

Previous Page 1 2 3 4 5 6 7 8 9 10 Next Page 最后一页