Fair Evaluation Methods for Image Watermarking Systems

               
 
    


                !   "

 #$%  & '  #$ 

$(  #$  #)* +,- &    $ 




                                       

                                      

              !                          !      "                      Æ                    #              $    %!  %    !   %       &         '()*+                    

                

            #    


         !    
    

      
        

   

,    -               

   
            

    

            .       /     - 0
1           . $            .              *   - 2                            

           "                         , 
, 
    3                    %         !            /  !                 )     ' 3 %   4   

+   !                &         #            5                             &                          &
 6  .                   1              
 2 
 7   &
 8    #          )              
 0

  
 

  
    


 &                  .                   &  

           9  #         

  - 

        :  
          '

         +       .       $






 
;

    

               6 &         



 

  .                        
;


                 .     $

       !       
   "              
;
          .          
;
'
;





   +
   '  +   !           " 

 /    <  <    !$ 
;
      = '
;






   -+

&  "      

                  !        

      

        '
;




    -+ 

    !         %                  %       1>1           

        ,            

   


 

     '         +    

      !       
        &   

 "       '   +       $
;



    

 

?    

            

       ,

                           



    

    '     +         

            

,    #               

      @             A  %                                 &     

                            &
3B '   - +   &
(* '   -6      + )                           

     C  

              "         

      @      #         '     +  !  &   !                  

        @ ,    

         



                      D     

        E  

       

   !                      E ?                       

   

         

 /                              >                         '    + ,             F          "   #    

      ! " @ ,                 .                             ! " #         $ # %  &' ' '  '   '( #' '  (  (   "(   # )( (  ( # ' # *  


    

' +'  '    '+  % (   " ,  ' '  +   ( ' (

          

                 "                                    

  
 
    ,                         A                                     
                  "                  #      '5>
+

  !"# $%&" D      !                 

 

 

 .       C      #        

  

   #           .                                                    G      B           .            

                  

      '3+$

 ' +

H -   ' +

                  5    

   #                           

         "         5>
 I      !                     !              

             &             %  "   .         )         #              -  #   (    #,  ( '  "
,  
  '"'     


 %&'$(! (! $) $%&"     " %            &                            #  
 &                  3  J    

    !    "           5>
      %       *       

 $                     .           "           .              

             'KB1+   

  ! 

              

      !    $

  

H -  

688


'-+




      
  !       "        3      

   '3+ ,    !        

E   &I%(

( 8

!        $



H

8

'6+

-L


              



 

       

       !     6            !   &I                  

  

!                                            
  

 

*  

  

 E                  / E     #       

 # $%  @ K?G:                                    

 %   

& '  ( @ D    A      ,     A  

                 

& )  @


           

   %               %  (        F             .  .                                 ."      

& * @ &        /                        E           D 
      "     

&   @ ,                                 E                    E  
            %    I                F      B%     #        F      '   + >                  

& +     @    .              Æ           %  !   

 (              ! '- -+ '   " + 

                   !

& %       @ ,           %   %       

& )    , " @                  %                %      

& %   # $% @ (                    K?G:  
    

.                                      

    5  "                   

    &  Æ      !     K?G:    !    5 "         !      C M     ,     K?G: "   

 F 

 $  -

& .   / @      %  .  

!   .     

:      .  

&   @
                 .        #              #     !            D          J    $          
;
H


 
'


+          

& '  /  @         !           

& %   @ >   !               "   

& * -   @                :  &    ':& + "    E   *  !      

  #      ! & )  @  !   

     #  .                            

 0  @ ,                               ,           !              "     

   @         

 %           

@ :            #   

                    

   

    

 1   @ &              *   

  

             *!               5     

                Æ 

 1    @ E                   

        .    ,               '     +      
 )          

 " 5     

        %     E             ( %           

  

        

+ 
 

 
 
 

&                   

     #             &                       2            ."        

                 #            F                &          !   "                  

     

        #   &  

                    



 

            

"    .       "       

 #               

&    

                           3       %      #   )              %     '         1 0  .  +                             ! ,       %         !    



  
 26     K?G:  

,

        8-6
8-6 67%     

 

G       

          -



+ $,%%-% ."
$$!&/ $%01$2 %!'2 )                  I

      %               ! 
             "        !     

               

         2       "  G    -   #     

!    ."  78 &            !    %         

+ $,%%-% ." "(! (! $) %!'2  %    !          %      !    ."                " %      

!     

        !      %         7       "      -       #      K?G:%   C8M !              E       "    !     "   %    "      &    .     

       %     %       

   ! 

+
$$!&/ ." "(! (! $) %!'2     !    

   " 

         !         

      

         !    

     !         " 

                            #                   !    ." %     8       "   %    ."  -       8    #                   %         !          !      ! 

+* &.% '%!$01 2!%!&$%"$& %!'2" :           .

 $               

                      

 '     +     '      + &             $         

       

           .      

  $

       

 


 

   $


 

 

 

( )  *   '()*+            

             I

                       *  #        ."            ()*                     ()*         

  $  
%   %" 

$  $  %%   "%"    %   . $

 

 



H



     %    

'2+

L 





         %

   . $

 

 



H

 

'7+

L 

      %    



          &

    ()*    ? % ?               , 

                                                         !    5                     )                               %        &   

                            

  0   ()*     "  G    -    #      !     78    K?G:%    !        2 M  -

M    8M             %                               /    

3
 4
 ,                        

    I        

                      

             !$ K?G:    :    .                 
  





     .           %  

 &                                   D       
 7   

        
 D  $      
 D  

                         "      

          .       

               

3 5!1 !$!6!" &               #                     ?              $ " N   F            N                 &       "                Æ        " 5                                          $    "     
     "        I
*%
&?& & 1   "         .   $      I     

                                         *!      .                           '        /  +            

3 !$01 !0# %-&#(% E   

             $



G                #$  !   % . 
 26      7 &           & %       %      O %   



,  
 D                                                  *  
 D       ."         

  



    ' O M+   '

+       .                   ,   

"    

 @         @    

   

               6              .     7                        !    /            ,                .                             8  

 "                       &             E 

                        1        
  ' +  ,  '  #' + " 
         ./   #   #       '  ' #    " #   '   '

&' #'  + " 
      

     

 

        
   

  

         

            

        

   "   
              

      I   :        

%   9           

7    

&                        

    &  .              #                E                                  5>
 E                5>
           &     

           #      1        



 

                

     " 



             #         

 

                      

    E     #                

     #   E        ()*        

    

            

          #      ,                .      

           5             E                                                            6      

      '  " "'    '  ' ""'   '   '  '   0  "' +( 

            5                                           

  ,                     
 D         %.   '      ! +                 

        #    #   E         %                                       

  - ( K ,  E     6 ( K ,   

'    $  ('! 2C'--+$26@7  B - 7

 $   ) &      

  --C7 

*   

'    & B & *  G  D - 0
  %>  3  :  &
3B 2%87 %0- 0%O 2 1 ,  

 $ +  )       ,    -868  *   

'    ?   )  I
, - O
  %>  3  :  &
3B 2%87 %082O0%7 7 ( 3   1 G ?  !  J(     

     -   

* 27'- +$-O2C@-O2 
 - O 8 D  3   3   > *

  ,   ? , 1*%    %    

    

00'2+$28C@2C6 D - O G  , 
 ? 

'GI(,
&?+ 0 , '
!  + J    &> @    ? D 
  "     
          , - C &        1      ? D 

C :  E 3  (              &  ( &
3B %O- 7%6880%C &

B 6CC%CO0P   '  # (   "( ' 1   ' "' '' # ' "     #    '  '

O : *  G                 G5 QR 
F  , - 2  :  *  ,        & 55 3 R   E :  %5R    


 ./01  68-@602 > ?  * :  - 8

-  & K *" K 4   J   
 ,          & , 
 -O2@6 0 &
3B 2%87 %0- 0%O -- & K *"  D J D

  ,               & (F  ? &
3B %O- 7%676C%C &

B 6CC%CO0P -6 K  1   * 1 >    3 D! E            

     00'2+$2- @228 D - O G  , 
 ?  'GI(,
&?+ -2 K 1 ?  E   ?  5    ( 
F  

!     2

,   ('! ! /03   7-  4!  3   I 4
 - O ,*D :D1 @  F  &  :5 -7 , D G   ?
   & !        

---
   

 '    72'-6+$6 8 @6 08 1 - 8 -8  5   3  :  E         

    

00'2+$6O2@2 - D - O G  , 
 ?  'GI(,
&?+ S ( 5  ? 
  ?      ?
  -0 , " 5   K K 4 )     !    & ,  -0 @-  &
3B 2%87 %082O0%7 -C D  4F 1       E   B T   -- B - C -O G 4  K Q           &

,       

      786@788 B D   :  K - 8 &GGG -  1 4  1  5F ,          %  &

    ' $      

) - C &GGG &
3B %O-O0%O-O2%C

 877@87C
 3   *   I
,

6  1 4  1  5F 1            &

    ' $   (  5         '(   8  6 0 @6 C6


  E I
, D - O &GGG 6- D  4  E            &     $ -    

  . 5 . 5   '    B - O 66 D  4   K    3 1            

  $ -     C'6+$260@226 ,  - O 62 :  * J   K * ,   J  (  J J/ (          & & 4
  ( * K  

.   .

   $  

  2 66  6 O@2 
 K *   I
,    - C 
 

&
    '&
U+   & 
  ) G  '
?&G+
?&G &
3B %O- 7%6722%- &

B 6CC%CO0P 67 K%? D : J F  D   1/ ,               & ,  68O@6C6 &
3B 2%87 %082O0%7 68 D  D  $      ."      & ,  6 @2 8 &
3B 2%87 %082O0%7 60 :  B  G ) B%         &

     ' $  -6'7/03

0 -

 66O @66 6 &   ( :  O@--


- O &
3B 0 %C06 % 8%7 6C B B   & ? (        

     00'2+$2O8@7 2

D - O G  , 
 ?  'GI(,
&?+ 6O ?  (  ( J B ,  ,   DS  ( J  
  V          .    (  **(%-70 &3D 3   (
. *  ?) 3" 7067 6 

- (  K  3 F  ) - 6 S (    ? (             

6  K K 4 )     'GI(,
&?+

     00'2+$2 2@2-C D - O

G  , 
 ? 

2 
  ?   K K 4 )( SS  1

 : 

 *     ?         %     %   %   &

!   '!/00

    ' $  

 F C@- K -  &GGG   

S 2- ,  ?  ,          1    G  ? ! SS    J J
F     - C 26  , ? ?  E  "    
         ) - C

22  , ? ?   ( K ,  E       & 1      88@0- 27  , ? ?  ( K ,   D  : 4 ,       & ,  6-O@62O &
3B 2%87 %082O0%7 28  , ? ?   D  : 4
 D  6
      B - C

20 *  & ?   E/ Q 1         & (F  ?  -

@--- &
3B %O- 7%676C%C &

B 6CC%CO0P 2C
S (  K%J 1  DS  S  S      & '7

 -    8 (  '7-(/09 &% %D " 2O 3  G (F     B ?  

 D  - C

+ .  -       

2 -0
 K *   I
,    - C 
  &
    '&
U+   & 
  ) G  '
?&G+
?&G &
3B %O- 7%676C%C &

B 6CC%CO0P 2  4 


      '   C  -76 D  4 ?   - 0

7  D

1
 D 4  , 5 . D  %      

    $  --- O0'0+$- 07@- OC K - O

7- D

1
 3 Q  , 5 . (     &

9   

   ,    0:  2C@7  J B 
 - 0 &GGG 76 4  T B   4 D G             &

    $  ;00< --- ! '    ' $   6-0@66 
 - 

72 4  T B   4 D G          



 '    6-'C+ -  77 , Q    *  )    G 5

 &            00'2+$2C2@2O2 D - O G  , 
 ?  'GI(,
&?+ 78 , Q    : , ( ( D 
  E K 5 B ( , D  *  )  G      &

  ' 5
    (    '
(/0=  000@0C2 D! 

I 
 - 2 70 1  F  B 4   D :
 F (                &

0 -      ' $  -6'7/03



66O8@66OO &   ( :  O@--
 - O &
3B 0 %C06 % 8%7 7C *  K   3  J   K G  

 ?  !     

     &    

$ -6'7  --C8@--CO   & 
 - 0

7O (  J  (   7     ' $

 
  #    22-7
 K

*   I
, K  - O 
  &
    '&
U+   & 


  ) G  '
?&G+
?&G &
3B %O- 7%6880%C &

B 6CC%CO0P 7  ( : 
  , Q     *  )  ,     &

    ' $  

      6  O0@  , " I
, - 7 &GGG 8  : >F B B   & ? 1   $    &

0 -     

' $  -6'7/03  @-6 &   ( :  O@--
 - O &
3B 0 %C06 % 8%7 8- ,

 : E   %  $ >  8
  #  $    ) - C
  & ?  &   I  
  *  

86
 K ? E ( J J/  K 3 ?   !         5>
  &    

$ '(   7  628-@6287 - 8

82
 E   ,            &  > '   2  2 @7 2 * &J ) - O 87
 E   ,            &

 -       2077
 K *, K  - 

-     $ + .

88 ( 3 E   G  K 1  ,       &

    ' $  

     6- @666 J
F 
 - 0 &GGG 80 ( 3 E   G  K 1  ,    !    $    &

    ' $    5 5 
  

 6C @6OC J > B I
, 2

K@2 K  - C &GGG 8C K Q  G 4 G           &    

' 

      $    $ 5 ?    
   > ,  , - 8 8O D  5 Q  :   *

 ( @     '()*+  $ ,   %      

'   ' 2 '7+$80-@8CC - 2

Watermark (W) Watermarked image (I~)

Digital watermarking

Stego-image (I) Secret/public key (K)

2 3

:       

Watermark (W) and/or original image (I) Watermark detection

Test-image (I~')

Watermark or confidence measure

Secret/public key (K)

2 4

:        

0.35

Spatial Domain Multi−Resolution 0.3

Bit−Error Rate

0.25

0.2

0.15

0.1

0.05

0 30

2 5

40

50

60 70 JPEG−Quality

80

90

100

3%        %         %    

  !   ."  78 &          %        

0.7

Spatial Domain Multi−Resolution 0.6

Bit−Error Rate

0.5

0.4

0.3

0.2

0.1

0 3.5

4

4.5

5

Visual Quality

2 6

3%    !      %         %  

     ."  K?G:    C8M !  ,   %          

100

Spatial Domain Multi−Resolution 90

JPEG−Quality

80

70

60

50

40

30 3.8

2 7

4

4.2

4.4 Visual Quality

4.6

4.8

5

,   !                %    %

  %      -           %     

         ! 

1

0.9

0.8

True Positive Rate

0.7

0.6

0.5

Spatial Domain Multi−Resolution

0.4

0.3

0.2

0.1

0

0

2 8

0.1

0.2

0.3

0.4 0.5 0.6 False Positive Rate

0.7

0.8

0.9

1

()*               %       

     %                      



     


  
 

     
   

   
 
 
    

  
  
" #


 

    
    
    

        


    


  




    






      
  



























  
  





 




! 
  







   $










% &    $



' ( )









   
     



  

    

   * *

 *

 +)





 



 

  

  
 
   -.        &  &


 

 -.

 / / "  #     

 
"  #  11  &
  "# "# -.  "#  .     )



    *  ,     $





    $



  

 $



0   )






 /        12     

 3   4 4   4 4 4   5 

9  3










*   "      







   "      

' +         
;
    "     ' +      

   



 

!             

"  ' 7
7 " + D        B




  



   

9  4

@

8

&  

G"



7

?    

:

2


  

6

,

?

-

>  

3



&I%( ( 8

V         -  8

 4


. @  

(

A

(  

."

  

  

."

(   ! 

  

  

."

."

,   ! 

  

."

  

."

()*

."

."

." N   

."

9  5

1#           


         
   
       











       





















"  # # #   











$%&          











'
(











)*  +











, - 











, - 











          !

9  6

G    ', - O+          >      

        8   ' F      +        76        
 D  6 G                      ,             ' 

             %  +    .              


       .    







,  







.  








,/"



















2. $%& 







2. $%& 











3







4





3

5



3

3

6#



3



6# 







 8  ( 







)*  +







"    







  $%& '
0 1    

  2. $%&  2. $%&  . 

" 

7.   

9  7


                E   

  

 $ 1  3 G  -

-2 1  (D  -8O        I   : '  -8 K  - + 
  
 

  - 7              "       #  
 
  "